Veštačka inteligencija primenjena u našim projektima
AI integrišemo tamo gde donosi stvarnu vrednost: automatizacija repetitivnih procesa, izdvajanje informacija iz dokumenata, generisanje kontekstualizovanog sadržaja i inteligentna pomoć korisnicima. Odluke o implementaciji donosimo na osnovu ROI-ja, a ne trendova.
LLM integracija — Claude API i OpenAI
Claude (Anthropic) koristimo kao glavni model za zadatke složenog zaključivanja, analizu dokumenata i generisanje dugog sadržaja — kontekstni prozor od 200k tokena omogućava obradu čitavog pravnog spisa ili finansijskog izveštaja u jednom pozivu. GPT-4o biramo za multimodalne zadatke (slika + tekst) i kada je potreban OpenAI ekosistem (Whisper, DALL-E).
Tool use (function calling) omogućava LLM-u da komunicira sa internim API-jima: da pretražuje bazu podataka, pokreće akcije u postojećim sistemima i vraća strukturisane podatke validirane pomoću Pydantic-a. Streaming odgovori smanjuju osećaj latencije u konverzacionim interfejsima — korisnik vidi tekst kako se postepeno pojavljuje, umesto da čeka 5–10 s.
- Prompt caching (Anthropic) smanjuje trošak za 90% kod ponavljajućeg konteksta (system prompti, referentni dokumenti)
- Structured outputs (JSON mode) za tipski bezbedne odgovore bez regex-a nad slobodnim tekstom
- Automatski fallback Claude → GPT-4o → Gemini pri greškama dostupnosti
- Praćenje troškova po korisniku i po funkciji — upotreba LLM-a vidljiva u admin kontrolnoj tabli
RAG — AI sa znanjem iz podataka klijenta
Retrieval-Augmented Generation (RAG) omogućava LLM-u da odgovara na osnovu dokumenata specifičnih za klijenta (ugovori, priručnici, propisi, email poruke) bez ponovnog treniranja. Dokumenti se dele na chunk-ove, embeduju pomoću text-embedding-3-large (OpenAI) ili embed-english-v3 (Cohere), čuvaju u pgvector-u (PostgreSQL ekstenzija) i pronalaze putem kosinusne sličnosti.
RAG pipeline obuhvata: unos dokumenata (PDF, DOCX, HTML), inteligentno deljenje na chunk-ove (sa preklapanjem radi konteksta), re-ranking pomoću Cohere Rerank-a za veću relevantnost, ubacivanje u LLM kontekst i navođenje izvora sa brojem stranice. Rezultat je čet-bot koji odgovara na osnovu vaših dokumenata, uz navođenje izvora.
- pgvector za vector similarity search direktno u PostgreSQL-u — bez Pinecone-a/Weaviate-a
- Hibridna pretraga: gusti vektori + retki BM25 (ključne reči) → RRF fuzija
- Evaluacija RAG-a pomoću RAGAS-a — precision, recall, faithfulness mere se automatski
- Filtriranje po metapodacima za multi-tenant: korisnik A ne vidi dokumente korisnika B
Computer Vision i obrada dokumenata
Za izdvajanje podataka iz skeniranih ili fotografisanih dokumenata (fakture, ugovori, lične karte) koristimo kombinovani pipeline: predobrada slike (deskew, uklanjanje šuma pomoću OpenCV-a), OCR pomoću Google Document AI ili Amazon Textract-a (strukturisan, a ne sirov OCR), naknadna obrada LLM-om radi normalizacije i validacije.
Klasifikacija slika (proizvodi, kategorije, detekcija NSFW sadržaja) radi se modelima fine-tuned na CLIP-u ili EfficientNet-u, isporučenim kao FastAPI mikroservisi sa opcionalnim GPU inference-om (CUDA). Za projekte bez GPU budžeta, cloud API-ji (Google Vision, AWS Rekognition) su alternativa bez sopstvene infrastrukture.
- Automatsko izdvajanje podataka iz PDF/slika faktura → strukturisana baza podataka
- Provera identiteta: OCR dokumenta + selfie liveness detection
- Moderacija sadržaja koji generišu korisnici pomoću cloud API-ja + LLM fallback
- Speech-to-text pomoću Whisper large-v3 za transkripciju audio snimaka sastanaka
Prednosti i ograničenja
Prednosti
- Automatizuje repetitivne procese: izdvajanje podataka, klasifikaciju, podršku.
- RAG odgovara na osnovu dokumenata klijenta, sa proverljivim izvorima.
- Prompt caching smanjuje trošak do 90% kod ponavljajućeg konteksta.
- Fallback između modela (Claude → GPT-4o → Gemini) radi dostupnosti.
Ograničenja
- LLM-ovi mogu da haluciniraju — svaki kritičan izlaz zahteva validaciju i izvore.
- Cena po tokenu brzo raste pri velikom obimu bez pažljivog keširanja.
- Osetljivi podaci poslati API-jima trećih strana otvaraju pitanja poverljivosti.
- Latencija generisanog odgovora može dostići nekoliko sekundi.
Kratak zaključak
Integrišite AI tamo gde donosi stvaran ROI: automatizacija, RAG nad dokumentima, izdvajanje podataka. Izbegavajte AI radi AI-ja u zadacima gde je dovoljno jednostavno pravilo ili klasična pretraga.
Tabela specifikacija
| Mogućnost | Ograničenje / prag | Tipična upotreba | |
|---|---|---|---|
| LLM kontekst | Do 200k tokena (Claude) | Veliki kontekst povećava trošak i latenciju | Analiza dugih dokumenata, izveštaja |
| RAG | pgvector, hibridna pretraga, re-ranking | Kvalitet zavisi od deljenja na chunk-ove i izvora | Čet-bot nad sopstvenim dokumentima |
| Computer vision | Strukturisan OCR nad dokumentima | GPU inference povećava trošak | Izdvajanje podataka iz faktura, provera ličnih dokumenata |
| Tipična cena | Naplata po tokenu / po pozivu API-ja | Raste sa obimom bez keširanja | Od čet-bota do kompletnog pipeline-a |
RAG naspram fine-tuning-a
| Kriterijum | RAG | Fine-tuning |
|---|---|---|
| Ažuriranje znanja | Trenutno (dodajete dokumente) | Zahteva ponovno treniranje |
| Proverljivi izvori | Da, sa citiranjem | Ne |
| Početni trošak | Mali | Veliki (podaci + GPU) |
Često postavljana pitanja
Šta je RAG i kada ga koristiti?
RAG (Retrieval-Augmented Generation) omogućava AI-ju da odgovara na osnovu vaših dokumenata (ugovori, priručnici, propisi) bez ponovnog treniranja. Koristite ga kada želite odgovore sa izvorima, zasnovane na sopstvenim podacima.
RAG ili fine-tuning?
RAG za znanje koje se često menja i za proverljive izvore — ažurirate ga dodavanjem dokumenata. Fine-tuning za fiksan stil ili format, uz veći početni trošak. U većini poslovnih slučajeva RAG je pravi izbor.
Kako kontrolišete halucinacije AI-ja?
Koristimo RAG sa navođenjem izvora, structured outputs (JSON) validirane Pydantic-om i ljudsku proveru za kritične izlaze. AI odgovara na osnovu dokumenata koje ste dali, uz navođenje izvora.
Da li moji podaci ostaju poverljivi?
Osetljivi podaci mogu se izolovati po tenant-u i, po potrebi, obrađivati self-hosted modelima ili API-jima sa klauzulama o zabrani treniranja. Za regulisane slučajeve biramo dobavljače koji podatke ne koriste za treniranje.