AI a automatizace

Umělá inteligence nasazená v našich projektech

AI integrujeme tam, kde přináší skutečnou hodnotu: automatizace opakujících se procesů, extrakce informací z dokumentů, generování kontextového obsahu a inteligentní asistence pro uživatele. Implementační rozhodnutí děláme podle ROI, ne podle trendů.

Integrace LLM — Claude API a OpenAI

Claude (Anthropic) používáme jako hlavní model pro úlohy složitého uvažování, analýzu dokumentů a generování dlouhého obsahu — kontextové okno o velikosti 200 tisíc tokenů umožňuje zpracovat celý právní spis nebo finanční zprávu jediným voláním. GPT-4o volíme pro multimodální úlohy (obraz + text) a tam, kde je potřeba ekosystém OpenAI (Whisper, DALL-E).

Tool use (function calling) umožňuje LLM komunikovat s interními API: vyhledávat v databázi, spouštět akce ve stávajících systémech, vracet strukturovaná data validovaná přes Pydantic. Streamované odpovědi snižují vnímanou latenci u konverzačních rozhraní — uživatel vidí text postupně se objevovat, místo aby čekal 5–10 s.

  • Prompt caching (Anthropic) snižuje náklady o 90 % u opakujícího se kontextu (systémové prompty, referenční dokumenty)
  • Structured outputs (režim JSON) pro typově bezpečné odpovědi bez regexů nad volným textem
  • Automatický fallback Claude → GPT-4o → Gemini při výpadcích dostupnosti
  • Sledování nákladů na uživatele a na funkci — využití LLM viditelné v administračním dashboardu

RAG — AI se znalostí z dat klienta

Retrieval-Augmented Generation (RAG) umožňuje LLM odpovídat na základě dokumentů konkrétního klienta (smlouvy, příručky, legislativa, e-maily) bez nutnosti přetrénování. Dokumenty se dělí na chunky, embedují se modelem text-embedding-3-large (OpenAI) nebo embed-english-v3 (Cohere), ukládají se do pgvector (rozšíření PostgreSQL) a vyhledávají se kosinovou podobností.

Pipeline RAG zahrnuje: ingestion dokumentů (PDF, DOCX, HTML), inteligentní chunking (s překryvem pro zachování kontextu), re-ranking s Cohere Rerank pro vyšší relevanci, vložení do kontextu LLM a citování zdrojů s číslem stránky. Výsledkem je chatbot, který odpovídá přesně na základě skutečných dokumentů s ověřitelnými zdroji.

  • pgvector pro vektorové vyhledávání podobnosti přímo v PostgreSQL — bez Pinecone/Weaviate
  • Hybridní vyhledávání: husté vektory + řídké BM25 (klíčová slova) → fúze RRF
  • Hodnocení RAG pomocí RAGAS — precision, recall, faithfulness se měří automaticky
  • Filtrování podle metadat pro multi-tenant: uživatel A nevidí dokumenty uživatele B

Počítačové vidění a zpracování dokumentů

Pro extrakci dat ze skenovaných nebo vyfotografovaných dokumentů (faktury, smlouvy, doklady totožnosti) používáme kombinovanou pipeline: předzpracování obrazu (deskew, redukce šumu pomocí OpenCV), OCR přes Google Document AI nebo Amazon Textract (strukturované, ne surové OCR) a následné zpracování přes LLM pro normalizaci a validaci. Přesnost nad 98 % u typických obchodních dokumentů.

Klasifikace obrázků (produkty, kategorie, detekce NSFW) probíhá pomocí modelů dotrénovaných nad CLIP nebo EfficientNet, nasazených jako mikroslužby ve FastAPI s volitelnou GPU inferencí (CUDA). U projektů bez rozpočtu na GPU nabízejí cloudová API (Google Vision, AWS Rekognition) přesnost 95 %+ za okrajové náklady.

  • Automatická extrakce dat z faktur v PDF/obrázku → strukturovaná databáze
  • Ověření identity: OCR dokladu + liveness detection selfie
  • Moderace obsahu vytvářeného uživateli přes cloudová API + záložní LLM
  • Speech-to-text s Whisper large-v3 pro přepis zvukových záznamů schůzek

Výhody a omezení

Výhody

  • Automatizuje opakující se procesy: extrakci dat, klasifikaci, podporu.
  • RAG odpovídá nad dokumenty klienta s ověřitelnými zdroji.
  • Prompt caching snižuje náklady až o 90 % u opakujícího se kontextu.
  • Fallback mezi modely (Claude → GPT-4o → Gemini) pro dostupnost.

Omezení

  • LLM mohou halucinovat — každý kritický výstup vyžaduje validaci a zdroje.
  • Náklady na token při velkém objemu rychle rostou bez pečlivého cachování.
  • Citlivá data posílaná API třetích stran vyvolávají otázky důvěrnosti.
  • Latence vygenerované odpovědi může dosáhnout několika sekund.

Stručný verdikt

AI integrujte tam, kde přináší skutečné ROI: automatizace, RAG nad dokumenty, extrakce dat. Nepoužívejte AI jen proto, že je AI, u úloh, kde stačí jednoduché pravidlo nebo klasické vyhledávání.

Tabulka specifikací

SchopnostLimit / práhTypické použití
Kontext LLMAž 200 tisíc tokenů (Claude)Velký kontext zvyšuje náklady a latenciAnalýza dlouhých dokumentů, zpráv
RAGpgvector, hybridní vyhledávání, re-rankingKvalita závisí na chunkingu a zdrojíchChatbot nad vlastními dokumenty
Počítačové viděníStrukturované OCR, přesnost > 98 %GPU inference zvyšuje nákladyExtrakce z faktur, ověření dokladů
Typické nákladyÚčtováno za token / za volání APIRoste s objemem bez cachováníOd chatbota po kompletní pipeline

RAG vs. fine-tuning

KritériumRAGFine-tuning
Aktualizace znalostíOkamžitá (přidáte dokumenty)Vyžaduje přetrénování
Ověřitelné zdrojeAno, s citacíNe
Počáteční nákladyNízkéVysoké (data + GPU)

Často kladené otázky

Co je RAG a kdy ho použít?

RAG (Retrieval-Augmented Generation) umožňuje AI odpovídat nad vašimi dokumenty (smlouvy, příručky, legislativa) bez přetrénování. Použijete ho, když chcete přesné odpovědi se zdroji založené na vlastních datech.

RAG, nebo fine-tuning?

RAG pro znalosti, které se často mění, a pro ověřitelné zdroje — aktualizujete ho přidáním dokumentů. Fine-tuning pro pevný styl nebo formát, s vyššími počátečními náklady. Ve většině obchodních případů je správnou volbou RAG.

Jak kontrolujete halucinace AI?

Používáme RAG s citováním zdrojů, structured outputs (JSON) validované přes Pydantic a lidskou kontrolu u kritických výstupů. AI odpovídá nad skutečnými dokumenty, ne z paměti, a ke každému tvrzení je připojen zdroj.

Zůstanou moje data důvěrná?

Citlivá data lze izolovat podle tenantů a v případě potřeby zpracovávat self-hostovanými modely nebo API s klauzulemi zákazu trénování. U regulovaných případů volíme poskytovatele, kteří data k trénování nepoužívají.