AI a automatizácia

Umelá inteligencia aplikovaná v našich projektoch

AI integrujeme tam, kde pridáva skutočnú hodnotu: automatizácia opakujúcich sa procesov, extrakcia informácií z dokumentov, generovanie kontextového obsahu a inteligentná asistencia pre používateľov. Implementačné rozhodnutia robíme na základe ROI, nie trendov.

Integrácia LLM — Claude API a OpenAI

Claude (Anthropic) používame ako hlavný model pre úlohy zložitého uvažovania, analýzy dokumentov a generovania dlhého obsahu — kontextové okno 200k tokenov umožňuje spracovať celý právny spis alebo finančný report jediným volaním. GPT-4o volíme pre multimodálne úlohy (obraz + text) a tam, kde je potrebný ekosystém OpenAI (Whisper, DALL-E).

Tool use (function calling) umožňuje LLM komunikovať s internými API: vyhľadávať v databáze, spúšťať akcie v existujúcich systémoch, vracať štruktúrované dáta validované cez Pydantic. Streaming odpovedí znižuje vnímanú latenciu v konverzačných rozhraniach — používateľ vidí text postupne pribúdať, nečaká 5 – 10 s.

  • Prompt caching (Anthropic) znižuje náklady o 90 % pri opakujúcom sa kontexte (system prompty, referenčné dokumenty)
  • Structured outputs (JSON mode) pre typovo bezpečné odpovede bez regexov nad voľným textom
  • Automatický fallback Claude → GPT-4o → Gemini pri chybách dostupnosti
  • Sledovanie nákladov na používateľa a na funkciu — využitie LLM je viditeľné v admin dashboarde

RAG — AI so znalosťami z dát klienta

Retrieval-Augmented Generation (RAG) umožňuje LLM odpovedať na základe dokumentov špecifických pre klienta (zmluvy, manuály, legislatíva, e-maily) bez opätovného trénovania. Dokumenty sa rozdeľujú na chunky, embedujú cez text-embedding-3-large (OpenAI) alebo embed-english-v3 (Cohere), ukladajú do pgvector (rozšírenie PostgreSQL) a vyhľadávajú pomocou kosínusovej podobnosti.

Pipeline RAG zahŕňa: document ingestion (PDF, DOCX, HTML), inteligentný chunking (s prekryvom pre kontext), re-ranking cez Cohere Rerank pre vyššiu relevantnosť, injekciu do kontextu LLM a citovanie zdrojov s číslom strany. Výsledkom je chatbot, ktorý odpovedá presne na základe reálnych dokumentov, s overiteľnými zdrojmi.

  • pgvector pre vektorové vyhľadávanie podobnosti priamo v PostgreSQL — bez Pinecone/Weaviate
  • Hybrid search: dense vektory + sparse BM25 (kľúčové slová) → RRF fusion
  • Hodnotenie RAG s RAGAS — precision, recall, faithfulness merané automaticky
  • Filtrovanie podľa metadát pre multi-tenant: používateľ A nevidí dokumenty používateľa B

Computer Vision a spracovanie dokumentov

Na extrakciu dát zo skenovaných alebo odfotených dokumentov (faktúry, zmluvy, doklady totožnosti) používame kombinovaný pipeline: predspracovanie obrazu (deskew, redukcia šumu cez OpenCV), OCR cez Google Document AI alebo Amazon Textract (štruktúrované, nie surové OCR), následné spracovanie cez LLM na normalizáciu a validáciu. Presnosť >98 % pri typických biznis dokumentoch.

Klasifikácia obrázkov (produkty, kategórie, detekcia NSFW) sa robí modelmi fine-tuned na CLIP alebo EfficientNet, nasadenými ako mikroslužby FastAPI s voliteľným GPU inference (CUDA). Pre projekty bez rozpočtu na GPU ponúkajú cloudové API (Google Vision, AWS Rekognition) presnosť 95 %+ pri marginálnych nákladoch.

  • Automatická extrakcia dát z faktúr vo formáte PDF/obrázok → štruktúrovaná databáza
  • Overenie identity: OCR dokladu + selfie liveness detection
  • Moderovanie obsahu vytvoreného používateľmi cez cloudové API + fallback LLM
  • Speech-to-text s Whisper large-v3 pre prepis zvuku zo stretnutí

Výhody a obmedzenia

Výhody

  • Automatizuje opakujúce sa procesy: extrakcia dát, klasifikácia, podpora.
  • RAG odpovedá na dokumentoch klienta, s overiteľnými zdrojmi.
  • Prompt caching znižuje náklady až o 90 % pri opakujúcom sa kontexte.
  • Fallback medzi modelmi (Claude → GPT-4o → Gemini) pre dostupnosť.

Obmedzenia

  • LLM môžu halucinovať — každý kritický výstup vyžaduje validáciu a zdroje.
  • Cena za token pri vysokom objeme rýchlo rastie bez dôkladného cachovania.
  • Citlivé dáta odosielané do API tretích strán vyvolávajú otázky dôvernosti.
  • Latencia vygenerovanej odpovede môže dosiahnuť niekoľko sekúnd.

Stručné zhrnutie

AI integrujte tam, kde prináša skutočné ROI: automatizácia, RAG nad dokumentmi, extrakcia dát. Vyhnite sa AI pre AI pri úlohách, kde stačí jednoduché pravidlo alebo klasické vyhľadávanie.

Tabuľka špecifikácií

SchopnosťLimit / prahTypické použitie
Kontext LLMAž 200k tokenov (Claude)Veľký kontext zvyšuje náklady a latenciuAnalýza dlhých dokumentov, reportov
RAGpgvector, hybrid search, re-rankingKvalita závisí od chunkingu a zdrojovChatbot nad vlastnými dokumentmi
Computer visionŠtruktúrované OCR, presnosť > 98 %GPU inference zvyšuje nákladyExtrakcia faktúr, overenie ID
Typické nákladyÚčtované za token / za volanie APIRastú s objemom bez cachovaniaOd chatbota po kompletný pipeline

RAG vs fine-tuning

KritériumRAGFine-tuning
Aktualizácia znalostíOkamžite (pridáte dokumenty)Vyžaduje opätovné trénovanie
Overiteľné zdrojeÁno, s citovanímNie
Počiatočné nákladyNízkeVysoké (dáta + GPU)

Často kladené otázky

Čo je RAG a kedy ho použiť?

RAG (Retrieval-Augmented Generation) umožňuje AI odpovedať na vašich dokumentoch (zmluvy, manuály, legislatíva) bez opätovného trénovania. Použijete ho, keď chcete presné odpovede so zdrojmi, založené na vlastných dátach.

RAG alebo fine-tuning?

RAG pre znalosti, ktoré sa často menia, a pre overiteľné zdroje — aktualizujete ho pridaním dokumentov. Fine-tuning pre pevný štýl alebo formát, s vyššími počiatočnými nákladmi. Pre väčšinu biznis prípadov je správnou voľbou RAG.

Ako kontrolujete halucinácie AI?

Používame RAG s citovaním zdrojov, structured outputs (JSON) validované cez Pydantic a ľudskú validáciu pri kritických výstupoch. AI odpovedá na základe reálnych dokumentov, nie z pamäte, a každé tvrdenie má pripojený zdroj.

Zostanú moje dáta dôverné?

Citlivé dáta môžu byť izolované pre každého tenanta a podľa potreby spracované self-hosted modelmi alebo API s klauzulami no-training. Pri regulovaných prípadoch volíme poskytovateľov, ktorí dáta nepoužívajú na trénovanie.