AI i automatizacija

Veštačka inteligencija primenjena u našim projektima

AI integrišemo tamo gde donosi stvarnu vrednost: automatizacija repetitivnih procesa, izdvajanje informacija iz dokumenata, generisanje kontekstualizovanog sadržaja i inteligentna pomoć korisnicima. Odluke o implementaciji donosimo na osnovu ROI-ja, a ne trendova.

LLM integracija — Claude API i OpenAI

Claude (Anthropic) koristimo kao glavni model za zadatke složenog zaključivanja, analizu dokumenata i generisanje dugog sadržaja — kontekstni prozor od 200k tokena omogućava obradu čitavog pravnog spisa ili finansijskog izveštaja u jednom pozivu. GPT-4o biramo za multimodalne zadatke (slika + tekst) i kada je potreban OpenAI ekosistem (Whisper, DALL-E).

Tool use (function calling) omogućava LLM-u da komunicira sa internim API-jima: da pretražuje bazu podataka, pokreće akcije u postojećim sistemima i vraća strukturisane podatke validirane pomoću Pydantic-a. Streaming odgovori smanjuju osećaj latencije u konverzacionim interfejsima — korisnik vidi tekst kako se postepeno pojavljuje, umesto da čeka 5–10 s.

  • Prompt caching (Anthropic) smanjuje trošak za 90% kod ponavljajućeg konteksta (system prompti, referentni dokumenti)
  • Structured outputs (JSON mode) za tipski bezbedne odgovore bez regex-a nad slobodnim tekstom
  • Automatski fallback Claude → GPT-4o → Gemini pri greškama dostupnosti
  • Praćenje troškova po korisniku i po funkciji — upotreba LLM-a vidljiva u admin kontrolnoj tabli

RAG — AI sa znanjem iz podataka klijenta

Retrieval-Augmented Generation (RAG) omogućava LLM-u da odgovara na osnovu dokumenata specifičnih za klijenta (ugovori, priručnici, propisi, email poruke) bez ponovnog treniranja. Dokumenti se dele na chunk-ove, embeduju pomoću text-embedding-3-large (OpenAI) ili embed-english-v3 (Cohere), čuvaju u pgvector-u (PostgreSQL ekstenzija) i pronalaze putem kosinusne sličnosti.

RAG pipeline obuhvata: unos dokumenata (PDF, DOCX, HTML), inteligentno deljenje na chunk-ove (sa preklapanjem radi konteksta), re-ranking pomoću Cohere Rerank-a za veću relevantnost, ubacivanje u LLM kontekst i navođenje izvora sa brojem stranice. Rezultat je čet-bot koji odgovara na osnovu vaših dokumenata, uz navođenje izvora.

  • pgvector za vector similarity search direktno u PostgreSQL-u — bez Pinecone-a/Weaviate-a
  • Hibridna pretraga: gusti vektori + retki BM25 (ključne reči) → RRF fuzija
  • Evaluacija RAG-a pomoću RAGAS-a — precision, recall, faithfulness mere se automatski
  • Filtriranje po metapodacima za multi-tenant: korisnik A ne vidi dokumente korisnika B

Computer Vision i obrada dokumenata

Za izdvajanje podataka iz skeniranih ili fotografisanih dokumenata (fakture, ugovori, lične karte) koristimo kombinovani pipeline: predobrada slike (deskew, uklanjanje šuma pomoću OpenCV-a), OCR pomoću Google Document AI ili Amazon Textract-a (strukturisan, a ne sirov OCR), naknadna obrada LLM-om radi normalizacije i validacije.

Klasifikacija slika (proizvodi, kategorije, detekcija NSFW sadržaja) radi se modelima fine-tuned na CLIP-u ili EfficientNet-u, isporučenim kao FastAPI mikroservisi sa opcionalnim GPU inference-om (CUDA). Za projekte bez GPU budžeta, cloud API-ji (Google Vision, AWS Rekognition) su alternativa bez sopstvene infrastrukture.

  • Automatsko izdvajanje podataka iz PDF/slika faktura → strukturisana baza podataka
  • Provera identiteta: OCR dokumenta + selfie liveness detection
  • Moderacija sadržaja koji generišu korisnici pomoću cloud API-ja + LLM fallback
  • Speech-to-text pomoću Whisper large-v3 za transkripciju audio snimaka sastanaka

Prednosti i ograničenja

Prednosti

  • Automatizuje repetitivne procese: izdvajanje podataka, klasifikaciju, podršku.
  • RAG odgovara na osnovu dokumenata klijenta, sa proverljivim izvorima.
  • Prompt caching smanjuje trošak do 90% kod ponavljajućeg konteksta.
  • Fallback između modela (Claude → GPT-4o → Gemini) radi dostupnosti.

Ograničenja

  • LLM-ovi mogu da haluciniraju — svaki kritičan izlaz zahteva validaciju i izvore.
  • Cena po tokenu brzo raste pri velikom obimu bez pažljivog keširanja.
  • Osetljivi podaci poslati API-jima trećih strana otvaraju pitanja poverljivosti.
  • Latencija generisanog odgovora može dostići nekoliko sekundi.

Kratak zaključak

Integrišite AI tamo gde donosi stvaran ROI: automatizacija, RAG nad dokumentima, izdvajanje podataka. Izbegavajte AI radi AI-ja u zadacima gde je dovoljno jednostavno pravilo ili klasična pretraga.

Tabela specifikacija

MogućnostOgraničenje / pragTipična upotreba
LLM kontekstDo 200k tokena (Claude)Veliki kontekst povećava trošak i latencijuAnaliza dugih dokumenata, izveštaja
RAGpgvector, hibridna pretraga, re-rankingKvalitet zavisi od deljenja na chunk-ove i izvoraČet-bot nad sopstvenim dokumentima
Computer visionStrukturisan OCR nad dokumentimaGPU inference povećava trošakIzdvajanje podataka iz faktura, provera ličnih dokumenata
Tipična cenaNaplata po tokenu / po pozivu API-jaRaste sa obimom bez keširanjaOd čet-bota do kompletnog pipeline-a

RAG naspram fine-tuning-a

KriterijumRAGFine-tuning
Ažuriranje znanjaTrenutno (dodajete dokumente)Zahteva ponovno treniranje
Proverljivi izvoriDa, sa citiranjemNe
Početni trošakMaliVeliki (podaci + GPU)

Često postavljana pitanja

Šta je RAG i kada ga koristiti?

RAG (Retrieval-Augmented Generation) omogućava AI-ju da odgovara na osnovu vaših dokumenata (ugovori, priručnici, propisi) bez ponovnog treniranja. Koristite ga kada želite odgovore sa izvorima, zasnovane na sopstvenim podacima.

RAG ili fine-tuning?

RAG za znanje koje se često menja i za proverljive izvore — ažurirate ga dodavanjem dokumenata. Fine-tuning za fiksan stil ili format, uz veći početni trošak. U većini poslovnih slučajeva RAG je pravi izbor.

Kako kontrolišete halucinacije AI-ja?

Koristimo RAG sa navođenjem izvora, structured outputs (JSON) validirane Pydantic-om i ljudsku proveru za kritične izlaze. AI odgovara na osnovu dokumenata koje ste dali, uz navođenje izvora.

Da li moji podaci ostaju poverljivi?

Osetljivi podaci mogu se izolovati po tenant-u i, po potrebi, obrađivati self-hosted modelima ili API-jima sa klauzulama o zabrani treniranja. Za regulisane slučajeve biramo dobavljače koji podatke ne koriste za treniranje.