Mākslīgais intelekts, kas pielietots mūsu projektos
Integrējam AI tur, kur tas piešķir reālu vērtību: atkārtotu procesu automatizācija, informācijas izgūšana no dokumentiem, kontekstualizēta satura ģenerēšana un inteliģenta palīdzība lietotājiem. Ieviešanas lēmumus balstām uz ROI, nevis uz tendencēm.
LLM integrācija — Claude API un OpenAI
Kā galveno modeli sarežģīta spriešanas, dokumentu analīzes un garu tekstu ģenerēšanas uzdevumiem izmantojam Claude (Anthropic) — 200k tokenu konteksta logs ļauj vienā izsaukumā apstrādāt veselu juridisko lietu vai finanšu pārskatu. GPT-4o izvēlamies multimodāliem uzdevumiem (attēls + teksts) un gadījumos, kad nepieciešama OpenAI ekosistēma (Whisper, DALL-E).
Tool use (function calling) ļauj LLM mijiedarboties ar iekšējiem API: meklēt datubāzē, aktivizēt darbības esošajās sistēmās, atgriezt strukturētus datus, kas validēti ar Pydantic. Streaming atbildes samazina uztverto latentumu sarunu saskarnēm — lietotājs redz, kā teksts parādās pakāpeniski, nevis tikai pilnu atbildi.
- Prompt caching (Anthropic) samazina izmaksas par 90% atkārtotam kontekstam (system prompts, atsauces dokumenti)
- Structured outputs (JSON režīms) tipdrošām atbildēm bez regex brīvam tekstam
- Automātisks rezerves variants Claude → GPT-4o → Gemini pieejamības kļūdu gadījumā
- Izmaksu uzskaite katram lietotājam un katrai funkcijai — LLM lietojums redzams admin informācijas panelī
RAG — AI ar zināšanām no klienta datiem
Retrieval-Augmented Generation (RAG) ļauj LLM atbildēt, balstoties uz klienta specifiskiem dokumentiem (līgumi, rokasgrāmatas, tiesību akti, e-pasti), bez pārmācīšanas. Dokumenti tiek sadalīti chunk, pārveidoti embeddings ar text-embedding-3-large (OpenAI) vai embed-english-v3 (Cohere), glabāti pgvector (PostgreSQL paplašinājums) un izgūti pēc kosinusa līdzības.
RAG pipeline ietver: dokumentu ingestion (PDF, DOCX, HTML), inteliģentu chunking (ar pārklāšanos kontekstam), re-ranking ar Cohere Rerank augstākai atbilstībai, injekciju LLM kontekstā un avotu citēšanu ar lappuses numuru. Rezultāts ir čatbots, kas precīzi atbild, balstoties uz reāliem dokumentiem, ar pārbaudāmiem avotiem.
- pgvector vektoru līdzības meklēšanai tieši PostgreSQL — bez Pinecone/Weaviate
- Hibrīdmeklēšana: blīvie vektori + retie BM25 (atslēgvārdi) → RRF fusion
- RAG novērtēšana ar RAGAS — precision, recall, faithfulness tiek mērīti automātiski
- Metadatu filtrēšana daudznomnieku videi: lietotājs A neredz lietotāja B dokumentus
Computer Vision un dokumentu apstrāde
Datu izgūšanai no skenētiem vai fotografētiem dokumentiem (rēķini, līgumi, personu apliecinoši dokumenti) izmantojam kombinētu pipeline: attēla pirmsapstrāde (deskew, trokšņu samazināšana ar OpenCV), OCR ar Google Document AI vai Amazon Textract (strukturēts, nevis neapstrādāts OCR), pēcapstrāde ar LLM normalizēšanai un validēšanai.
Attēlu klasifikācija (produkti, kategorijas, NSFW detection) tiek veikta ar fine-tuned modeļiem uz CLIP vai EfficientNet, izvietotiem kā FastAPI mikropakalpojumi ar neobligātu GPU inference (CUDA). Projektiem bez GPU budžeta mākoņa API (Google Vision, AWS Rekognition) ir alternatīva ar marginālām izmaksām.
- Automātiska datu izgūšana no PDF/attēlu rēķiniem → strukturēta datubāze
- Identitātes pārbaude: dokumenta OCR + selfie liveness detection
- Lietotāju radītā satura moderēšana ar mākoņa API + LLM rezerves variants
- Speech-to-text ar Whisper large-v3 sapulču audio transkribēšanai
Priekšrocības un ierobežojumi
Priekšrocības
- Automatizē atkārtotus procesus: datu izgūšanu, klasifikāciju, atbalstu.
- RAG atbild, balstoties uz klienta dokumentiem, ar pārbaudāmiem avotiem.
- Prompt caching samazina izmaksas līdz pat 90% atkārtotam kontekstam.
- Rezerves varianti starp modeļiem (Claude → GPT-4o → Gemini) pieejamībai.
Ierobežojumi
- LLM var halucinēt — jebkurai kritiskai izvadei nepieciešama validācija un avoti.
- Izmaksas par tokenu strauji aug lielā apjomā bez rūpīgas kešošanas.
- Jutīgi dati, kas tiek sūtīti trešo pušu API, rada konfidencialitātes jautājumus.
- Ģenerētas atbildes latentums var sasniegt dažas sekundes.
Īss secinājums
Integrē AI tur, kur tas dod reālu ROI: automatizācijā, RAG uz dokumentiem, datu izgūšanā. Izvairies no AI lietošanas tikai AI pēc, uzdevumos, kur pietiek ar vienkāršu noteikumu vai klasisku meklēšanu.
Specifikāciju tabula
| Iespēja | Ierobežojums / slieksnis | Tipisks pielietojums | |
|---|---|---|---|
| LLM konteksts | Līdz 200k tokenu (Claude) | Liels konteksts palielina izmaksas un latentumu | Garu dokumentu un pārskatu analīze |
| RAG | pgvector, hibrīdmeklēšana, re-ranking | Kvalitāte atkarīga no chunking un avotiem | Čatbots uz saviem dokumentiem |
| Computer vision | Strukturēts OCR, nevis neapstrādāts teksts | GPU inference palielina izmaksas | Rēķinu izgūšana, ID pārbaude |
| Tipiskās izmaksas | Maksa par tokenu / par API izsaukumu | Pieaug ar apjomu bez kešošanas | No čatbota līdz pilnam pipeline |
RAG pret fine-tuning
| Kritērijs | RAG | Fine-tuning |
|---|---|---|
| Zināšanu atjaunināšana | Pievienojot dokumentus | Nepieciešama pārmācīšana |
| Pārbaudāmi avoti | Jā, ar citēšanu | Nē |
| Sākotnējās izmaksas | Zemas | Augstas (dati + GPU) |
Biežāk uzdotie jautājumi
Kas ir RAG un kad to izmantot?
RAG (Retrieval-Augmented Generation) ļauj AI atbildēt, balstoties uz taviem dokumentiem (līgumi, rokasgrāmatas, tiesību akti), bez pārmācīšanas. Izmanto to, kad vēlies precīzas atbildes ar avotiem, kas balstītas uz saviem datiem.
RAG vai fine-tuning?
RAG — zināšanām, kas bieži mainās, un pārbaudāmiem avotiem: to atjaunini, pievienojot dokumentus. Fine-tuning — fiksētam stilam vai formātam, ar augstākām sākotnējām izmaksām. Lielākajā daļā biznesa gadījumu izvēle ir RAG.
Kā kontrolējat AI halucinācijas?
Izmantojam RAG ar avotu citēšanu, structured outputs (JSON), kas validēti ar Pydantic, un cilvēka validāciju kritiskai izvadei. AI atbild, balstoties uz reāliem dokumentiem, nevis no atmiņas, un katram apgalvojumam ir pievienots avots.
Vai mani dati paliek konfidenciāli?
Jutīgos datus var izolēt katram nomniekam un, vajadzības gadījumā, apstrādāt ar self-hosted modeļiem vai API ar no-training klauzulām. Regulētos gadījumos izvēlamies pakalpojumu sniedzējus, kas datus neizmanto apmācībai.