Tehisintellekt meie projektides
Integreerime AI-d seal, kus see lisab päris väärtust: korduvate protsesside automatiseerimine, teabe väljavõtmine dokumentidest, kontekstipõhise sisu genereerimine ja nutikas abi kasutajatele. Rakendusotsused teeme ROI põhjal, mitte trendide järgi.
LLM-i integreerimine — Claude API ja OpenAI
Kasutame Claude'i (Anthropic) põhimudelina keerulise arutluse, dokumentide analüüsi ja pika sisu genereerimise ülesannete jaoks — 200k tokeni kontekstiaken võimaldab töödelda tervet juriidilist toimikut või finantsaruannet ühe kutsega. GPT-4o valitakse multimodaalsete (pilt + tekst) ülesannete jaoks ja siis, kui on vaja OpenAI ökosüsteemi (Whisper, DALL-E).
Tool use (function calling) võimaldab LLM-il suhelda sisemiste API-dega: otsida andmebaasist, käivitada tegevusi olemasolevates süsteemides, tagastada Pydanticuga valideeritud struktureeritud andmeid. Streaming-vastused vähendavad vestlusliideste tajutavat latentsust — kasutaja näeb teksti järk-järgult ilmumas, mitte ei oota 5–10 s.
- Prompt caching (Anthropic) vähendab kulu 90% korduva konteksti puhul (süsteemipromptid, viitedokumendid)
- Structured outputs (JSON mode) tüübikindlate vastuste jaoks ilma vaba teksti regexita
- Automaatne fallback Claude → GPT-4o → Gemini kättesaadavusvigade korral
- Kulude jälgimine kasutaja ja funktsiooni kaupa — LLM-i kasutus on nähtav admin-töölaual
RAG — AI kliendi andmetel põhineva teadmisega
Retrieval-Augmented Generation (RAG) võimaldab LLM-il vastata kliendi konkreetsete dokumentide (lepingud, käsiraamatud, õigusaktid, e-kirjad) põhjal ilma uuesti treenimata. Dokumendid jagatakse tükkideks (chunking), neist tehakse embedding'ud mudelitega text-embedding-3-large (OpenAI) või embed-english-v3 (Cohere), salvestatakse pgvectorisse (PostgreSQL-i laiendus) ja otsitakse koosinussarnasuse alusel.
RAG-torujuhe sisaldab: dokumentide sissevõtt (PDF, DOCX, HTML), nutikas chunking (konteksti jaoks kattuvusega), re-ranking Cohere Rerankiga suurema asjakohasuse jaoks, LLM-i konteksti lisamine ning allikate tsiteerimine lehekülje numbriga. Tulemuseks on vestlusrobot, mis vastab täpselt päris dokumentide põhjal, kontrollitavate allikatega.
- pgvector vektorsarnasuse otsinguks otse PostgreSQL-is — ilma Pinecone'i/Weaviate'ita
- Hübriidotsing: tihedad vektorid + hõredad BM25 (märksõna) → RRF fusion
- RAG-i hindamine RAGAS-iga — precision, recall, faithfulness mõõdetakse automaatselt
- Metaandmete filtreerimine mitme rentniku jaoks: kasutaja A ei näe kasutaja B dokumente
Computer Vision ja dokumenditöötlus
Andmete väljavõtmiseks skannitud või pildistatud dokumentidest (arved, lepingud, ID-d) kasutame kombineeritud torujuhet: pildi eeltöötlus (deskew, mürasummutus OpenCV-ga), OCR Google Document AI või Amazon Textractiga (struktureeritud, mitte toores OCR), järeltöötlus LLM-iga normaliseerimiseks ja valideerimiseks. Täpsus >98% tüüpilistel äridokumentidel.
Piltide klassifitseerimine (tooted, kategooriad, NSFW-tuvastus) tehakse CLIP-ile või EfficientNetile peenhäälestatud mudelitega, mis juurutatakse FastAPI mikroteenustena valikulise GPU-järeldusega (CUDA). GPU-eelarveta projektide jaoks pakuvad pilve-API-d (Google Vision, AWS Rekognition) 95%+ täpsust marginaalse kuluga.
- Automaatne andmete väljavõtmine PDF-/pildiarvetest → struktureeritud andmebaas
- Identiteedi kontroll: dokumendi OCR + selfie liveness detection
- Kasutajasisu modereerimine pilve-API-dega + LLM-i fallback
- Speech-to-text Whisper large-v3 abil koosolekute helisalvestiste transkribeerimiseks
Eelised ja piirangud
Eelised
- Automatiseerib korduvaid protsesse: andmete väljavõtmine, klassifitseerimine, tugi.
- RAG vastab kliendi dokumentide põhjal, kontrollitavate allikatega.
- Prompt caching vähendab kulu kuni 90% korduva konteksti puhul.
- Mudelite vaheline fallback (Claude → GPT-4o → Gemini) teenusevigade korral.
Piirangud
- LLM-id võivad hallutsineerida — iga kriitiline väljund vajab valideerimist ja allikaid.
- Tokenipõhine kulu kasvab suure mahu korral kiiresti, kui vahemälu ei kasutata hoolikalt.
- Tundlike andmete saatmine kolmandate osapoolte API-dele tekitab konfidentsiaalsusprobleeme.
- Genereeritud vastuse latentsus võib ulatuda mõne sekundini.
Lühike kokkuvõte
Integreeri AI-d seal, kus see lisab päris ROI-d: automatiseerimine, RAG dokumentidel, andmete väljavõtmine. Väldi AI-d AI enda pärast ülesannetes, kus piisab lihtsast reeglist või klassikalisest otsingust.
Spetsifikatsioonide tabel
| Võimekus | Piir / lävi | Tüüpiline kasutus | |
|---|---|---|---|
| LLM-i kontekst | Kuni 200k tokenit (Claude) | Suur kontekst suurendab kulu ja latentsust | Pikkade dokumentide ja aruannete analüüs |
| RAG | pgvector, hübriidotsing, re-ranking | Kvaliteet sõltub chunkingust ja allikatest | Vestlusrobot oma dokumentidel |
| Computer vision | Struktureeritud OCR, täpsus > 98% | GPU-järeldus suurendab kulu | Arvete väljavõtmine, ID kontroll |
| Tüüpiline hind | Tasu tokeni / API-kutse kohta | Kasvab mahuga, kui vahemälu puudub | Vestlusrobotist täieliku torujuhtmeni |
RAG vs fine-tuning
| Kriteerium | RAG | Fine-tuning |
|---|---|---|
| Teadmiste uuendamine | Kohe (lisad dokumente) | Nõuab uuesti treenimist |
| Kontrollitavad allikad | Jah, tsiteerimisega | Ei |
| Algkulu | Väike | Suur (andmed + GPU) |
Korduma kippuvad küsimused
Mis on RAG ja millal seda kasutada?
RAG (Retrieval-Augmented Generation) võimaldab tehisintellektil vastata sinu dokumentide (lepingud, käsiraamatud, õigusaktid) põhjal ilma uuesti treenimata. Kasutad seda, kui tahad täpseid, allikatega vastuseid oma andmete põhjal.
RAG või fine-tuning?
RAG sageli muutuvate teadmiste ja kontrollitavate allikate jaoks — uuendad seda dokumente lisades. Fine-tuning kindla stiili või vormingu jaoks, suurema algkuluga. Enamikul äriolukordadest on õige valik RAG.
Kuidas te AI hallutsinatsioone kontrollite?
Kasutame RAG-i allikate tsiteerimisega, Pydanticuga valideeritud structured outputs'e (JSON) ja inimvalideerimist kriitilise väljundi puhul. AI vastab päris dokumentide, mitte mälu põhjal ning igal väitel on allikas juures.
Kas minu andmed jäävad konfidentsiaalseks?
Tundlikke andmeid saab rentniku kaupa isoleerida ja vajaduse korral töödelda ise majutatud mudelite või no-training-klauslitega API-dega. Reguleeritud juhtudel valime pakkujad, kes ei kasuta andmeid treenimiseks.