Umělá inteligence nasazená v našich projektech
AI integrujeme tam, kde přináší skutečnou hodnotu: automatizace opakujících se procesů, extrakce informací z dokumentů, generování kontextového obsahu a inteligentní asistence pro uživatele. Implementační rozhodnutí děláme podle ROI, ne podle trendů.
Integrace LLM — Claude API a OpenAI
Claude (Anthropic) používáme jako hlavní model pro úlohy složitého uvažování, analýzu dokumentů a generování dlouhého obsahu — kontextové okno o velikosti 200 tisíc tokenů umožňuje zpracovat celý právní spis nebo finanční zprávu jediným voláním. GPT-4o volíme pro multimodální úlohy (obraz + text) a tam, kde je potřeba ekosystém OpenAI (Whisper, DALL-E).
Tool use (function calling) umožňuje LLM komunikovat s interními API: vyhledávat v databázi, spouštět akce ve stávajících systémech, vracet strukturovaná data validovaná přes Pydantic. Streamované odpovědi snižují vnímanou latenci u konverzačních rozhraní — uživatel vidí text postupně se objevovat, místo aby čekal 5–10 s.
- Prompt caching (Anthropic) snižuje náklady o 90 % u opakujícího se kontextu (systémové prompty, referenční dokumenty)
- Structured outputs (režim JSON) pro typově bezpečné odpovědi bez regexů nad volným textem
- Automatický fallback Claude → GPT-4o → Gemini při výpadcích dostupnosti
- Sledování nákladů na uživatele a na funkci — využití LLM viditelné v administračním dashboardu
RAG — AI se znalostí z dat klienta
Retrieval-Augmented Generation (RAG) umožňuje LLM odpovídat na základě dokumentů konkrétního klienta (smlouvy, příručky, legislativa, e-maily) bez nutnosti přetrénování. Dokumenty se dělí na chunky, embedují se modelem text-embedding-3-large (OpenAI) nebo embed-english-v3 (Cohere), ukládají se do pgvector (rozšíření PostgreSQL) a vyhledávají se kosinovou podobností.
Pipeline RAG zahrnuje: ingestion dokumentů (PDF, DOCX, HTML), inteligentní chunking (s překryvem pro zachování kontextu), re-ranking s Cohere Rerank pro vyšší relevanci, vložení do kontextu LLM a citování zdrojů s číslem stránky. Výsledkem je chatbot, který odpovídá přesně na základě skutečných dokumentů s ověřitelnými zdroji.
- pgvector pro vektorové vyhledávání podobnosti přímo v PostgreSQL — bez Pinecone/Weaviate
- Hybridní vyhledávání: husté vektory + řídké BM25 (klíčová slova) → fúze RRF
- Hodnocení RAG pomocí RAGAS — precision, recall, faithfulness se měří automaticky
- Filtrování podle metadat pro multi-tenant: uživatel A nevidí dokumenty uživatele B
Počítačové vidění a zpracování dokumentů
Pro extrakci dat ze skenovaných nebo vyfotografovaných dokumentů (faktury, smlouvy, doklady totožnosti) používáme kombinovanou pipeline: předzpracování obrazu (deskew, redukce šumu pomocí OpenCV), OCR přes Google Document AI nebo Amazon Textract (strukturované, ne surové OCR) a následné zpracování přes LLM pro normalizaci a validaci. Přesnost nad 98 % u typických obchodních dokumentů.
Klasifikace obrázků (produkty, kategorie, detekce NSFW) probíhá pomocí modelů dotrénovaných nad CLIP nebo EfficientNet, nasazených jako mikroslužby ve FastAPI s volitelnou GPU inferencí (CUDA). U projektů bez rozpočtu na GPU nabízejí cloudová API (Google Vision, AWS Rekognition) přesnost 95 %+ za okrajové náklady.
- Automatická extrakce dat z faktur v PDF/obrázku → strukturovaná databáze
- Ověření identity: OCR dokladu + liveness detection selfie
- Moderace obsahu vytvářeného uživateli přes cloudová API + záložní LLM
- Speech-to-text s Whisper large-v3 pro přepis zvukových záznamů schůzek
Výhody a omezení
Výhody
- Automatizuje opakující se procesy: extrakci dat, klasifikaci, podporu.
- RAG odpovídá nad dokumenty klienta s ověřitelnými zdroji.
- Prompt caching snižuje náklady až o 90 % u opakujícího se kontextu.
- Fallback mezi modely (Claude → GPT-4o → Gemini) pro dostupnost.
Omezení
- LLM mohou halucinovat — každý kritický výstup vyžaduje validaci a zdroje.
- Náklady na token při velkém objemu rychle rostou bez pečlivého cachování.
- Citlivá data posílaná API třetích stran vyvolávají otázky důvěrnosti.
- Latence vygenerované odpovědi může dosáhnout několika sekund.
Stručný verdikt
AI integrujte tam, kde přináší skutečné ROI: automatizace, RAG nad dokumenty, extrakce dat. Nepoužívejte AI jen proto, že je AI, u úloh, kde stačí jednoduché pravidlo nebo klasické vyhledávání.
Tabulka specifikací
| Schopnost | Limit / práh | Typické použití | |
|---|---|---|---|
| Kontext LLM | Až 200 tisíc tokenů (Claude) | Velký kontext zvyšuje náklady a latenci | Analýza dlouhých dokumentů, zpráv |
| RAG | pgvector, hybridní vyhledávání, re-ranking | Kvalita závisí na chunkingu a zdrojích | Chatbot nad vlastními dokumenty |
| Počítačové vidění | Strukturované OCR, přesnost > 98 % | GPU inference zvyšuje náklady | Extrakce z faktur, ověření dokladů |
| Typické náklady | Účtováno za token / za volání API | Roste s objemem bez cachování | Od chatbota po kompletní pipeline |
RAG vs. fine-tuning
| Kritérium | RAG | Fine-tuning |
|---|---|---|
| Aktualizace znalostí | Okamžitá (přidáte dokumenty) | Vyžaduje přetrénování |
| Ověřitelné zdroje | Ano, s citací | Ne |
| Počáteční náklady | Nízké | Vysoké (data + GPU) |
Často kladené otázky
Co je RAG a kdy ho použít?
RAG (Retrieval-Augmented Generation) umožňuje AI odpovídat nad vašimi dokumenty (smlouvy, příručky, legislativa) bez přetrénování. Použijete ho, když chcete přesné odpovědi se zdroji založené na vlastních datech.
RAG, nebo fine-tuning?
RAG pro znalosti, které se často mění, a pro ověřitelné zdroje — aktualizujete ho přidáním dokumentů. Fine-tuning pro pevný styl nebo formát, s vyššími počátečními náklady. Ve většině obchodních případů je správnou volbou RAG.
Jak kontrolujete halucinace AI?
Používáme RAG s citováním zdrojů, structured outputs (JSON) validované přes Pydantic a lidskou kontrolu u kritických výstupů. AI odpovídá nad skutečnými dokumenty, ne z paměti, a ke každému tvrzení je připojen zdroj.
Zůstanou moje data důvěrná?
Citlivá data lze izolovat podle tenantů a v případě potřeby zpracovávat self-hostovanými modely nebo API s klauzulemi zákazu trénování. U regulovaných případů volíme poskytovatele, kteří data k trénování nepoužívají.