Alkalmazott mesterséges intelligencia a projektjeinkben
Ott vetjük be az AI-t, ahol valódi értéket teremt: ismétlődő folyamatok automatizálásában, dokumentumokból való adatkinyerésben, kontextushoz igazított tartalom előállításában és a felhasználók intelligens támogatásában. A megvalósításról ROI alapján döntünk, nem a divat alapján.
LLM-integráció — Claude API és OpenAI
Összetett gondolkodási feladatokhoz, dokumentumelemzéshez és hosszú szövegek előállításához a Claude-ot (Anthropic) használjuk fő modellként: a 200 ezer tokenes kontextusablakban egyetlen híváson belül feldolgozható egy teljes jogi akta vagy pénzügyi jelentés. A GPT-4o akkor kerül elő, ha multimodális a feladat (kép és szöveg), vagy ha az OpenAI-ökoszisztémára (Whisper, DALL·E) is szükség van.
A tool use (function calling) révén az LLM elér belső API-kat: keres az adatbázisban, műveleteket indít a meglévő rendszerekben, és Pydanticcal validált, strukturált adatot ad vissza. A streamelt válaszok csökkentik a párbeszédes felületek érzékelt késleltetését — a szöveg folyamatosan épül fel a képernyőn ahelyett, hogy 5-10 másodpercig semmi sem történne.
- A prompt caching (Anthropic) 90%-kal csökkenti az ismétlődő kontextus (rendszerpromptok, referenciadokumentumok) költségét
- Structured outputs (JSON mód) a típusbiztos válaszokért, szabad szövegre húzott regex nélkül
- Automatikus átváltás Claude → GPT-4o → Gemini sorrendben, ha az egyik szolgáltatás kiesik
- Költségkövetés felhasználónként és funkciónként — az LLM-használat látszik az admin felületen
RAG — AI, amely az ügyfél adataiból tud
A Retrieval-Augmented Generation (RAG) lehetővé teszi, hogy az LLM az ügyfél saját dokumentumaira (szerződések, kézikönyvek, jogszabályok, e-mailek) támaszkodva válaszoljon, újratanítás nélkül. A dokumentumokat darabokra bontjuk, text-embedding-3-large (OpenAI) vagy embed-english-v3 (Cohere) modellel beágyazzuk, pgvectorban (PostgreSQL-bővítmény) tároljuk, és koszinusz-hasonlóság alapján keressük vissza.
A RAG-folyamat lépései: dokumentumbeolvasás (PDF, DOCX, HTML), intelligens darabolás (átfedéssel, hogy megmaradjon a kontextus), újrarangsorolás Cohere Rerankkel a találati minőségért, betáplálás az LLM kontextusába, végül forrásmegjelölés oldalszámmal. Az eredmény olyan chatbot, amely valódi dokumentumok alapján válaszol pontosan, ellenőrizhető forrásokkal.
- pgvector a vektoros hasonlóságkereséshez közvetlenül PostgreSQL-ben — Pinecone és Weaviate nélkül
- Hibrid keresés: sűrű vektorok és sparse BM25 (kulcsszó) → RRF-fúzió
- RAG-kiértékelés RAGAS-szal — a precision, a recall és a faithfulness mérése automatikus
- Metaadat-szűrés több bérlős működéshez: az A felhasználó nem látja a B felhasználó dokumentumait
Computer vision és dokumentumfeldolgozás
Beszkennelt vagy lefotózott dokumentumokból (számlák, szerződések, igazolványok) összetett folyamattal nyerünk ki adatot: képelőkészítés (kiegyenesítés, zajszűrés OpenCV-vel), OCR Google Document AI-jal vagy Amazon Textracttel (strukturáltan, nem nyers OCR-ként), majd LLM-es utófeldolgozás a normalizáláshoz és az ellenőrzéshez.
A képosztályozást (termékek, kategóriák, NSFW-felismerés) CLIP vagy EfficientNet alapon finomhangolt modellek végzik, FastAPI-mikroszolgáltatásként kiszolgálva, opcionális GPU-s inferenciával (CUDA). Ha egy projektben nincs keret GPU-ra, a felhős API-k (Google Vision, AWS Rekognition) csekély határköltséggel használhatók.
- Automatikus adatkinyerés PDF- vagy képformátumú számlákból → strukturált adatbázis
- Személyazonosság-ellenőrzés: dokumentum-OCR és szelfis élőségvizsgálat
- Felhasználói tartalom moderálása felhős API-kkal, LLM-mel mint tartalék megoldással
- Speech-to-text Whisper large-v3 modellel a megbeszélésekről készült hanganyag leiratozásához
Előnyök és korlátok
Előnyök
- Automatizálja az ismétlődő folyamatokat: adatkinyerés, osztályozás, ügyfélszolgálat.
- A RAG az ügyfél dokumentumai alapján válaszol, ellenőrizhető forrásokkal.
- A prompt caching akár 90%-kal olcsóbbá teszi az ismétlődő kontextust.
- A modellek közötti átváltás (Claude → GPT-4o → Gemini) tartalék megoldást ad, ha az egyik szolgáltatás kiesik.
Korlátok
- Az LLM-ek hallucinálhatnak — minden kritikus kimenet ellenőrzést és forrást kíván.
- A tokenenkénti költség nagy forgalomnál gondos caching nélkül gyorsan elszáll.
- A harmadik fél API-jaihoz küldött érzékeny adatok bizalmassági kérdéseket vetnek fel.
- Egy generált válasz késleltetése akár több másodperc is lehet.
Rövid értékelés
Ott építs be AI-t, ahol valódi ROI-t hoz: automatizálás, dokumentumokra épülő RAG, adatkinyerés. Kerüld az AI-t önmagáért, ha egy egyszerű szabály vagy egy klasszikus keresés is elég a feladatra.
Specifikációs táblázat
| Képesség | Korlát / küszöb | Tipikus felhasználás | |
|---|---|---|---|
| LLM-kontextus | Legfeljebb 200 ezer token (Claude) | A nagy kontextus növeli a költséget és a késleltetést | Hosszú dokumentumok és jelentések elemzése |
| RAG | pgvector, hibrid keresés, újrarangsorolás | A minőség a darabolástól és a forrásoktól függ | Chatbot a saját dokumentumokra |
| Computer vision | Strukturált OCR, LLM-es utófeldolgozással | A GPU-s inferencia növeli a költséget | Számlakinyerés, igazolvány-ellenőrzés |
| Tipikus költség | Tokenenként, illetve API-hívásonként számlázva | Caching nélkül a forgalommal együtt nő | A chatbottól a teljes feldolgozási láncig |
RAG és fine-tuning összevetése
| Szempont | RAG | Fine-tuning |
|---|---|---|
| Tudás frissítése | Dokumentum hozzáadásával, újratanítás nélkül | Újratanítást igényel |
| Ellenőrizhető források | Igen, hivatkozással | Nem |
| Kezdeti költség | Alacsony | Magas (adat és GPU) |
Gyakori kérdések
Mi az a RAG, és mikor érdemes használni?
A RAG (Retrieval-Augmented Generation) révén az AI a saját dokumentumaid (szerződések, kézikönyvek, jogszabályok) alapján válaszol, újratanítás nélkül. Akkor használd, ha pontos, forrásokkal alátámasztott válaszokra van szükséged a saját adataidból.
RAG vagy fine-tuning?
RAG a gyakran változó tudáshoz és az ellenőrizhető forrásokhoz — új dokumentumok hozzáadásával frissíted. Fine-tuning a kötött stílushoz vagy formátumhoz, magasabb kezdeti költséggel. A legtöbb üzleti esetben a RAG a jó választás.
Hogyan tartjátok kordában az AI hallucinációit?
Forrásmegjelöléses RAG-ot, Pydanticcal validált structured outputot (JSON) és kritikus kimenetnél emberi ellenőrzést alkalmazunk. Az AI valódi dokumentumokból válaszol, nem emlékezetből, és minden állítás mögött ott a forrás.
Bizalmasak maradnak az adataim?
Az érzékeny adatok bérlőnként elkülöníthetők, és szükség esetén saját üzemeltetésű modellekkel vagy no-training záradékos API-kkal dolgozhatók fel. Szabályozott területen olyan szolgáltatót választunk, amely nem használja fel az adatokat tanításra.