Dirbtinis intelektas, taikomas mūsų projektuose
DI integruojame ten, kur jis suteikia realią vertę: pasikartojančių procesų automatizavimas, informacijos išgavimas iš dokumentų, kontekstualaus turinio generavimas ir išmanus pagalbininkas naudotojams. Įgyvendinimo sprendimus priimame pagal investicijų grąžą (ROI), o ne pagal madas.
LLM integracija – Claude API ir OpenAI
Claude (Anthropic) naudojame kaip pagrindinį modelį sudėtingo mąstymo užduotims, dokumentų analizei ir ilgo turinio generavimui – 200 tūkst. tokenų konteksto langas leidžia vienu kreipiniu apdoroti ištisą teisinę bylą ar finansinę ataskaitą. GPT-4o renkamasi multimodalinėms užduotims (vaizdas + tekstas) ir tada, kai reikalinga OpenAI ekosistema (Whisper, DALL-E).
Tool use (function calling) leidžia LLM sąveikauti su vidiniais API: ieškoti duomenų bazėje, inicijuoti veiksmus esamose sistemose, grąžinti struktūrizuotus duomenis, patikrintus su Pydantic. Streaming atsakymai sumažina juntamą delsą pokalbių sąsajose – naudotojas mato tekstą rodomą palaipsniui, o ne laukia 5–10 s.
- Prompt caching (Anthropic) sumažina kaštus 90 % pasikartojančiam kontekstui (sisteminiai promptai, atskaitos dokumentai)
- Structured outputs (JSON režimas) tipams saugiems atsakymams be regex laisvame tekste
- Automatinis perjungimas Claude → GPT-4o → Gemini esant prieinamumo klaidoms
- Kaštų sekimas pagal naudotoją ir funkciją – LLM naudojimas matomas admin skydelyje
RAG – DI, žinantis kliento duomenis
Retrieval-Augmented Generation (RAG) leidžia LLM atsakyti remiantis konkrečiais kliento dokumentais (sutartimis, vadovais, teisės aktais, el. laiškais) be pakartotinio mokymo. Dokumentai skaidomi į dalis (chunk), paverčiami embedding’ais su text-embedding-3-large (OpenAI) arba embed-english-v3 (Cohere), saugomi pgvector (PostgreSQL plėtinyje) ir ištraukiami pagal kosinuso panašumą.
RAG procesas apima: dokumentų įkėlimą (PDF, DOCX, HTML), išmanų skaidymą (su persidengimu kontekstui), perrikiavimą su Cohere Rerank didesniam tinkamumui, įterpimą į LLM kontekstą ir šaltinių citavimą su puslapio numeriu. Rezultatas – pokalbių robotas, tiksliai atsakantis pagal tikrus dokumentus, su patikrinamais šaltiniais.
- pgvector vektorių panašumo paieškai tiesiai PostgreSQL – be Pinecone/Weaviate
- Hibridinė paieška: tankūs vektoriai + retas BM25 (raktažodžiai) → RRF sujungimas
- RAG vertinimas su RAGAS – tikslumas (precision), aprėptis (recall), ištikimybė (faithfulness) matuojami automatiškai
- Metaduomenų filtravimas daugianuomei aplinkai: naudotojas A nemato naudotojo B dokumentų
Kompiuterinė rega ir dokumentų apdorojimas
Duomenims iš nuskenuotų ar nufotografuotų dokumentų (sąskaitų faktūrų, sutarčių, asmens dokumentų) išgauti naudojame kombinuotą procesą: vaizdo išankstinis apdorojimas (deskew, triukšmo mažinimas su OpenCV), OCR su Google Document AI arba Amazon Textract (struktūrizuotas, o ne grynas OCR), papildomas apdorojimas su LLM normalizavimui ir validacijai. Tikslumas priklauso nuo dokumento kokybės ir formato.
Vaizdų klasifikavimas (produktai, kategorijos, NSFW aptikimas) atliekamas su modeliais, pritaikytais (fine-tuned) ant CLIP arba EfficientNet, diegiamais kaip FastAPI mikropaslaugos su pasirenkamu GPU inference (CUDA). Projektams be GPU biudžeto debesų API (Google Vision, AWS Rekognition) yra praktiškas variantas už nedidelę kainą.
- Automatinis duomenų išgavimas iš PDF/vaizdinių sąskaitų faktūrų → struktūrizuota duomenų bazė
- Tapatybės patvirtinimas: dokumento OCR + selfie liveness detection
- Naudotojų sukurto turinio moderavimas su debesų API + LLM atsarginiu variantu
- Speech-to-text su Whisper large-v3 susitikimų garso įrašų transkripcijai
Privalumai ir apribojimai
Privalumai
- Automatizuoja pasikartojančius procesus: duomenų išgavimą, klasifikavimą, palaikymą.
- RAG atsako pagal kliento dokumentus, su patikrinamais šaltiniais.
- Prompt caching sumažina kaštus iki 90 % pasikartojančiam kontekstui.
- Perjungimas tarp modelių (Claude → GPT-4o → Gemini) padeda išlaikyti prieinamumą.
Apribojimai
- LLM gali haliucinuoti – bet kuriam kritiniam rezultatui reikia validacijos ir šaltinių.
- Kaina už tokeną greitai auga esant dideliam apimčiai be atidaus talpyklos naudojimo.
- Jautrių duomenų siuntimas trečiųjų šalių API kelia konfidencialumo problemų.
- Sugeneruoto atsakymo delsa gali siekti kelias sekundes.
Trumpa išvada
Integruokite DI ten, kur jis duoda realią ROI: automatizavimas, RAG dokumentams, duomenų išgavimas. Venkite DI dėl paties DI užduotyse, kur pakanka paprastos taisyklės ar klasikinės paieškos.
Specifikacijų lentelė
| Galimybė | Riba / slenkstis | Tipinis naudojimas | |
|---|---|---|---|
| LLM kontekstas | Iki 200 tūkst. tokenų (Claude) | Didelis kontekstas didina kaštus ir delsą | Ilgų dokumentų, ataskaitų analizė |
| RAG | pgvector, hibridinė paieška, perrikiavimas | Kokybė priklauso nuo skaidymo ir šaltinių | Pokalbių robotas pagal savus dokumentus |
| Kompiuterinė rega | Struktūrizuotas OCR ir LLM normalizavimas | GPU inference didina kaštus | Sąskaitų faktūrų išgavimas, tapatybės patikra |
| Tipinė kaina | Apmokestinama pagal tokenus / API kreipinį | Auga su apimtimi be talpyklos | Nuo pokalbių roboto iki pilno proceso |
RAG ir fine-tuning
| Kriterijus | RAG | Fine-tuning |
|---|---|---|
| Žinių atnaujinimas | Pridedant naujų dokumentų | Reikia pakartotinio mokymo |
| Patikrinami šaltiniai | Taip, su citavimu | Ne |
| Pradiniai kaštai | Maži | Dideli (duomenys + GPU) |
Dažniausiai užduodami klausimai
Kas yra RAG ir kada jį naudoti?
RAG (Retrieval-Augmented Generation) leidžia DI atsakyti pagal tavo dokumentus (sutartis, vadovus, teisės aktus) be pakartotinio mokymo. Jį naudoji, kai nori tikslių atsakymų su šaltiniais, paremtų savais duomenimis.
RAG ar fine-tuning?
RAG – dažnai besikeičiančioms žinioms ir patikrinamiems šaltiniams; jį atnaujini pridėdamas dokumentų. Fine-tuning – fiksuotam stiliui ar formatui, su didesniais pradiniais kaštais. Daugumai verslo atvejų tinkamiausias RAG.
Kaip valdote DI haliucinacijas?
Naudojame RAG su šaltinių citavimu, structured outputs (JSON), patikrintus su Pydantic, ir žmogaus patikrą kritiniam rezultatui. DI atsako pagal tikrus dokumentus, o ne iš atminties, ir kiekvienas teiginys turi pridėtą šaltinį.
Ar mano duomenys išlieka konfidencialūs?
Jautrius duomenis galima izoliuoti kiekvienam nuomininkui ir, prireikus, apdoroti savarankiškai talpinamais modeliais arba API su no-training sąlygomis. Reguliuojamais atvejais renkamės tiekėjus, kurie duomenų mokymui nenaudoja.