Umelá inteligencia aplikovaná v našich projektoch
AI integrujeme tam, kde pridáva skutočnú hodnotu: automatizácia opakujúcich sa procesov, extrakcia informácií z dokumentov, generovanie kontextového obsahu a inteligentná asistencia pre používateľov. Implementačné rozhodnutia robíme na základe ROI, nie trendov.
Integrácia LLM — Claude API a OpenAI
Claude (Anthropic) používame ako hlavný model pre úlohy zložitého uvažovania, analýzy dokumentov a generovania dlhého obsahu — kontextové okno 200k tokenov umožňuje spracovať celý právny spis alebo finančný report jediným volaním. GPT-4o volíme pre multimodálne úlohy (obraz + text) a tam, kde je potrebný ekosystém OpenAI (Whisper, DALL-E).
Tool use (function calling) umožňuje LLM komunikovať s internými API: vyhľadávať v databáze, spúšťať akcie v existujúcich systémoch, vracať štruktúrované dáta validované cez Pydantic. Streaming odpovedí znižuje vnímanú latenciu v konverzačných rozhraniach — používateľ vidí text postupne pribúdať, nečaká 5 – 10 s.
- Prompt caching (Anthropic) znižuje náklady o 90 % pri opakujúcom sa kontexte (system prompty, referenčné dokumenty)
- Structured outputs (JSON mode) pre typovo bezpečné odpovede bez regexov nad voľným textom
- Automatický fallback Claude → GPT-4o → Gemini pri chybách dostupnosti
- Sledovanie nákladov na používateľa a na funkciu — využitie LLM je viditeľné v admin dashboarde
RAG — AI so znalosťami z dát klienta
Retrieval-Augmented Generation (RAG) umožňuje LLM odpovedať na základe dokumentov špecifických pre klienta (zmluvy, manuály, legislatíva, e-maily) bez opätovného trénovania. Dokumenty sa rozdeľujú na chunky, embedujú cez text-embedding-3-large (OpenAI) alebo embed-english-v3 (Cohere), ukladajú do pgvector (rozšírenie PostgreSQL) a vyhľadávajú pomocou kosínusovej podobnosti.
Pipeline RAG zahŕňa: document ingestion (PDF, DOCX, HTML), inteligentný chunking (s prekryvom pre kontext), re-ranking cez Cohere Rerank pre vyššiu relevantnosť, injekciu do kontextu LLM a citovanie zdrojov s číslom strany. Výsledkom je chatbot, ktorý odpovedá presne na základe reálnych dokumentov, s overiteľnými zdrojmi.
- pgvector pre vektorové vyhľadávanie podobnosti priamo v PostgreSQL — bez Pinecone/Weaviate
- Hybrid search: dense vektory + sparse BM25 (kľúčové slová) → RRF fusion
- Hodnotenie RAG s RAGAS — precision, recall, faithfulness merané automaticky
- Filtrovanie podľa metadát pre multi-tenant: používateľ A nevidí dokumenty používateľa B
Computer Vision a spracovanie dokumentov
Na extrakciu dát zo skenovaných alebo odfotených dokumentov (faktúry, zmluvy, doklady totožnosti) používame kombinovaný pipeline: predspracovanie obrazu (deskew, redukcia šumu cez OpenCV), OCR cez Google Document AI alebo Amazon Textract (štruktúrované, nie surové OCR), následné spracovanie cez LLM na normalizáciu a validáciu. Presnosť >98 % pri typických biznis dokumentoch.
Klasifikácia obrázkov (produkty, kategórie, detekcia NSFW) sa robí modelmi fine-tuned na CLIP alebo EfficientNet, nasadenými ako mikroslužby FastAPI s voliteľným GPU inference (CUDA). Pre projekty bez rozpočtu na GPU ponúkajú cloudové API (Google Vision, AWS Rekognition) presnosť 95 %+ pri marginálnych nákladoch.
- Automatická extrakcia dát z faktúr vo formáte PDF/obrázok → štruktúrovaná databáza
- Overenie identity: OCR dokladu + selfie liveness detection
- Moderovanie obsahu vytvoreného používateľmi cez cloudové API + fallback LLM
- Speech-to-text s Whisper large-v3 pre prepis zvuku zo stretnutí
Výhody a obmedzenia
Výhody
- Automatizuje opakujúce sa procesy: extrakcia dát, klasifikácia, podpora.
- RAG odpovedá na dokumentoch klienta, s overiteľnými zdrojmi.
- Prompt caching znižuje náklady až o 90 % pri opakujúcom sa kontexte.
- Fallback medzi modelmi (Claude → GPT-4o → Gemini) pre dostupnosť.
Obmedzenia
- LLM môžu halucinovať — každý kritický výstup vyžaduje validáciu a zdroje.
- Cena za token pri vysokom objeme rýchlo rastie bez dôkladného cachovania.
- Citlivé dáta odosielané do API tretích strán vyvolávajú otázky dôvernosti.
- Latencia vygenerovanej odpovede môže dosiahnuť niekoľko sekúnd.
Stručné zhrnutie
AI integrujte tam, kde prináša skutočné ROI: automatizácia, RAG nad dokumentmi, extrakcia dát. Vyhnite sa AI pre AI pri úlohách, kde stačí jednoduché pravidlo alebo klasické vyhľadávanie.
Tabuľka špecifikácií
| Schopnosť | Limit / prah | Typické použitie | |
|---|---|---|---|
| Kontext LLM | Až 200k tokenov (Claude) | Veľký kontext zvyšuje náklady a latenciu | Analýza dlhých dokumentov, reportov |
| RAG | pgvector, hybrid search, re-ranking | Kvalita závisí od chunkingu a zdrojov | Chatbot nad vlastnými dokumentmi |
| Computer vision | Štruktúrované OCR, presnosť > 98 % | GPU inference zvyšuje náklady | Extrakcia faktúr, overenie ID |
| Typické náklady | Účtované za token / za volanie API | Rastú s objemom bez cachovania | Od chatbota po kompletný pipeline |
RAG vs fine-tuning
| Kritérium | RAG | Fine-tuning |
|---|---|---|
| Aktualizácia znalostí | Okamžite (pridáte dokumenty) | Vyžaduje opätovné trénovanie |
| Overiteľné zdroje | Áno, s citovaním | Nie |
| Počiatočné náklady | Nízke | Vysoké (dáta + GPU) |
Často kladené otázky
Čo je RAG a kedy ho použiť?
RAG (Retrieval-Augmented Generation) umožňuje AI odpovedať na vašich dokumentoch (zmluvy, manuály, legislatíva) bez opätovného trénovania. Použijete ho, keď chcete presné odpovede so zdrojmi, založené na vlastných dátach.
RAG alebo fine-tuning?
RAG pre znalosti, ktoré sa často menia, a pre overiteľné zdroje — aktualizujete ho pridaním dokumentov. Fine-tuning pre pevný štýl alebo formát, s vyššími počiatočnými nákladmi. Pre väčšinu biznis prípadov je správnou voľbou RAG.
Ako kontrolujete halucinácie AI?
Používame RAG s citovaním zdrojov, structured outputs (JSON) validované cez Pydantic a ľudskú validáciu pri kritických výstupoch. AI odpovedá na základe reálnych dokumentov, nie z pamäte, a každé tvrdenie má pripojený zdroj.
Zostanú moje dáta dôverné?
Citlivé dáta môžu byť izolované pre každého tenanta a podľa potreby spracované self-hosted modelmi alebo API s klauzulami no-training. Pri regulovaných prípadoch volíme poskytovateľov, ktorí dáta nepoužívajú na trénovanie.