Umetna inteligenca, uporabljena v naših projektih
UI vključujemo tam, kjer prinaša resnično vrednost: avtomatizacija ponavljajočih se procesov, črpanje informacij iz dokumentov, ustvarjanje kontekstualizirane vsebine in pametna pomoč uporabnikom. Odločitve o izvedbi sprejemamo na podlagi ROI, ne trendov.
Integracija LLM — Claude API in OpenAI
Claude (Anthropic) uporabljamo kot glavni model za naloge kompleksnega sklepanja, analizo dokumentov in ustvarjanje dolge vsebine — kontekstno okno 200k žetonov omogoča obdelavo celotne pravne mape ali finančnega poročila z enim samim klicem. GPT-4o izberemo za multimodalne naloge (slika + besedilo) in kadar je potreben ekosistem OpenAI (Whisper, DALL-E).
Uporaba orodij (function calling) omogoča LLM-u interakcijo z notranjimi API-ji: iskanje v zbirki podatkov, sprožanje dejanj v obstoječih sistemih, vračanje strukturiranih podatkov, preverjenih s Pydantic. Pretočni odgovori (streaming) zmanjšajo zaznano zakasnitev pri pogovornih vmesnikih — uporabnik vidi besedilo, ki se pojavlja postopoma, ne da bi čakal 5–10 s.
- Prompt caching (Anthropic) zniža strošek za 90 % pri ponavljajočem se kontekstu (sistemski pozivi, referenčni dokumenti)
- Strukturirani izhodi (način JSON) za tipsko varne odgovore brez regexa nad prostim besedilom
- Samodejni preklop Claude → GPT-4o → Gemini ob napakah razpoložljivosti
- Sledenje stroškom po uporabniku in po funkciji — uporaba LLM je vidna v nadzorni plošči
RAG — UI z znanjem iz podatkov stranke
Retrieval-Augmented Generation (RAG) omogoča LLM-u, da odgovarja na podlagi dokumentov, specifičnih za stranko (pogodbe, priročniki, zakonodaja, e-pošta), ne da bi ga bilo treba ponovno učiti. Dokumenti se razrežejo na dele (chunking), vdelajo z text-embedding-3-large (OpenAI) ali embed-english-v3 (Cohere), shranijo v pgvector (razširitev PostgreSQL) in poiščejo prek kosinusne podobnosti.
Cevovod RAG vključuje: vnos dokumentov (PDF, DOCX, HTML), pametno rezanje (s prekrivanjem za kontekst), ponovno razvrščanje s Cohere Rerank za večjo ustreznost, vstavljanje v kontekst LLM in navajanje virov s številko strani. Rezultat je klepetalni robot, ki odgovarja natančno na podlagi resničnih dokumentov, s preverljivimi viri.
- pgvector za iskanje po vektorski podobnosti neposredno v PostgreSQL — brez Pinecone/Weaviate
- Hibridno iskanje: gosti vektorji + redki BM25 (ključne besede) → zlitje RRF
- Ocenjevanje RAG z RAGAS — natančnost, priklic in zvestoba, merjeni samodejno
- Filtriranje po metapodatkih za večnajemništvo: uporabnik A ne vidi dokumentov uporabnika B
Računalniški vid in obdelava dokumentov
Za črpanje podatkov iz skeniranih ali fotografiranih dokumentov (računi, pogodbe, osebne izkaznice) uporabljamo kombiniran cevovod: predobdelava slike (deskew, zmanjšanje šuma z OpenCV), OCR z Google Document AI ali Amazon Textract (strukturiran, ne surov OCR), naknadna obdelava z LLM za normalizacijo in preverjanje. Natančnost >98 % pri tipičnih poslovnih dokumentih.
Razvrščanje slik (izdelki, kategorije, zaznavanje NSFW) poteka z modeli, fino prilagojenimi na CLIP ali EfficientNet, nameščenimi kot mikrostoritve FastAPI z neobveznim sklepanjem na GPU (CUDA). Za projekte brez proračuna za GPU API-ji v oblaku (Google Vision, AWS Rekognition) ponujajo 95 %+ natančnost za mejni strošek.
- Samodejno črpanje podatkov iz računov PDF/slik → strukturirana zbirka podatkov
- Preverjanje identitete: OCR dokumenta + zaznavanje živosti selfija
- Moderiranje uporabniško ustvarjene vsebine z API-ji v oblaku + rezerva LLM
- Govor v besedilo z Whisper large-v3 za prepis zvočnih posnetkov sestankov
Prednosti in omejitve
Prednosti
- Avtomatizira ponavljajoče se procese: črpanje podatkov, razvrščanje, podpora.
- RAG odgovarja na dokumentih stranke, s preverljivimi viri.
- Prompt caching zniža strošek do 90 % pri ponavljajočem se kontekstu.
- Preklop med modeli (Claude → GPT-4o → Gemini) za razpoložljivost.
Omejitve
- LLM-ji lahko halucinirajo — vsak kritičen izhod zahteva preverjanje in vire.
- Strošek na žeton hitro naraste pri velikem obsegu brez skrbnega predpomnjenja.
- Občutljivi podatki, poslani API-jem tretjih oseb, odpirajo vprašanja zaupnosti.
- Zakasnitev ustvarjenega odgovora lahko doseže nekaj sekund.
Kratek povzetek
UI vključite tam, kjer prinaša resničen ROI: avtomatizacija, RAG nad dokumenti, črpanje podatkov. Izogibajte se UI zaradi UI pri nalogah, kjer zadostuje preprosto pravilo ali klasično iskanje.
Tabela specifikacij
| Zmožnost | Omejitev / prag | Tipična uporaba | |
|---|---|---|---|
| Kontekst LLM | Do 200k žetonov (Claude) | Velik kontekst poveča strošek in zakasnitev | Analiza dolgih dokumentov, poročil |
| RAG | pgvector, hibridno iskanje, ponovno razvrščanje | Kakovost je odvisna od rezanja in virov | Klepetalni robot nad lastnimi dokumenti |
| Računalniški vid | Strukturiran OCR, natančnost > 98 % | Sklepanje na GPU poveča strošek | Črpanje računov, preverjanje osebnih izkaznic |
| Tipičen strošek | Zaračunano na žeton / na klic API | Raste z obsegom brez predpomnjenja | Od klepetalnega robota do celotnega cevovoda |
RAG v primerjavi s fino prilagoditvijo (fine-tuning)
| Merilo | RAG | Fine-tuning |
|---|---|---|
| Posodobitev znanja | Z dodajanjem dokumentov | Zahteva ponovno učenje |
| Preverljivi viri | Da, z navajanjem | Ne |
| Začetni strošek | Majhen | Velik (podatki + GPU) |
Pogosta vprašanja
Kaj je RAG in kdaj ga uporabim?
RAG (Retrieval-Augmented Generation) omogoča UI, da odgovarja na vaših dokumentih (pogodbe, priročniki, zakonodaja), brez ponovnega učenja. Uporabite ga, kadar želite natančne odgovore z viri, ki temeljijo na lastnih podatkih.
RAG ali fine-tuning?
RAG za znanje, ki se pogosto spreminja, in za preverljive vire — posodobite ga z dodajanjem dokumentov. Fine-tuning za fiksen slog ali format, z višjim začetnim stroškom. Pri večini poslovnih primerov je izbira RAG.
Kako nadzorujete halucinacije UI?
Uporabljamo RAG z navajanjem virov, strukturirane izhode (JSON), preverjene s Pydantic, in človeško preverjanje kritičnih izhodov. UI odgovarja na podlagi resničnih dokumentov, ne iz spomina, vsaka trditev pa ima priložen vir.
Ali moji podatki ostanejo zaupni?
Občutljive podatke je mogoče izolirati po najemnikih in jih po potrebi obdelati z modeli na lastnih strežnikih ali API-ji s klavzulami o prepovedi učenja. Pri reguliranih primerih izberemo ponudnike, ki podatkov ne uporabljajo za učenje.