Sztuczna inteligencja zastosowana w naszych projektach
Wdrażamy AI tam, gdzie daje realną wartość: przy automatyzacji powtarzalnych procesów, wydobywaniu informacji z dokumentów, tworzeniu treści osadzonych w kontekście i inteligentnym wsparciu użytkowników. Decyzje wdrożeniowe opieramy na zwrocie z inwestycji, a nie na modzie.
Integracja LLM — API Claude i OpenAI
Claude (Anthropic) wykorzystujemy jako model główny do złożonego wnioskowania, analizy dokumentów i tworzenia długich tekstów — okno kontekstu o pojemności 200 tys. tokenów pozwala przetworzyć całe akta prawne albo raport finansowy w jednym wywołaniu. GPT-4o wybieramy do zadań multimodalnych (obraz i tekst) oraz wtedy, gdy potrzebny jest ekosystem OpenAI (Whisper, DALL·E).
Tool use (wywoływanie funkcji) pozwala modelowi współpracować z wewnętrznymi API: przeszukiwać bazę danych, uruchamiać akcje w istniejących systemach i zwracać dane strukturalne walidowane Pydantikiem. Odpowiedzi strumieniowane zmniejszają odczuwalne opóźnienie w interfejsach konwersacyjnych — użytkownik widzi tekst pojawiający się stopniowo, zamiast czekać 5–10 sekund.
- Prompt caching (Anthropic) obniża koszt powtarzalnego kontekstu (prompty systemowe, dokumenty referencyjne) o 90%
- Structured outputs (tryb JSON) dla odpowiedzi o bezpiecznych typach, bez wyrażeń regularnych na swobodnym tekście
- Automatyczne przełączenie Claude → GPT-4o → Gemini przy problemach z dostępnością
- Śledzenie kosztów na użytkownika i na funkcję — zużycie LLM widać w panelu administracyjnym
RAG — AI korzystająca z danych klienta
RAG (generowanie wspomagane wyszukiwaniem) pozwala modelowi odpowiadać na podstawie dokumentów konkretnego klienta (umów, instrukcji, przepisów, korespondencji) bez ponownego trenowania. Dokumenty dzielimy na fragmenty, zamieniamy na wektory za pomocą text-embedding-3-large (OpenAI) albo embed-english-v3 (Cohere), przechowujemy w pgvectorze (rozszerzeniu PostgreSQL) i wyszukujemy przez podobieństwo kosinusowe.
Potok RAG obejmuje: wczytanie dokumentów (PDF, DOCX, HTML), inteligentny podział na fragmenty (z zakładką zachowującą kontekst), ponowne rankowanie przez Cohere Rerank dla większej trafności, wstrzyknięcie do kontekstu modelu oraz cytowanie źródeł z numerem strony. Efektem jest chatbot, który odpowiada precyzyjnie na podstawie rzeczywistych dokumentów, ze sprawdzalnymi źródłami.
- pgvector do wyszukiwania podobieństwa wektorowego bezpośrednio w PostgreSQL — bez Pinecone'a i Weaviate
- Wyszukiwanie hybrydowe: gęste wektory i rzadkie BM25 (słowa kluczowe) → fuzja RRF
- Ocena RAG za pomocą RAGAS — precyzja, kompletność i wierność mierzone automatycznie
- Filtrowanie po metadanych w trybie wielu najemców: użytkownik A nie widzi dokumentów użytkownika B
Wizja komputerowa i przetwarzanie dokumentów
Do wydobywania danych z dokumentów skanowanych lub fotografowanych (faktur, umów, dowodów tożsamości) używamy złożonego potoku: wstępnej obróbki obrazu (prostowania i redukcji szumu w OpenCV), OCR w Google Document AI albo Amazon Textract (strukturalnego, nie surowego) oraz obróbki końcowej modelem językowym w celu normalizacji i weryfikacji. Dokładność przekracza 98% na typowych dokumentach firmowych.
Klasyfikację obrazów (produktów, kategorii, wykrywanie treści wrażliwych) realizujemy modelami dostrojonymi na bazie CLIP albo EfficientNet, wdrażanymi jako mikrousługi FastAPI z opcjonalnym wnioskowaniem na GPU (CUDA). W projektach bez budżetu na GPU chmurowe API (Google Vision, AWS Rekognition) dają ponad 95% dokładności przy niewielkim koszcie krańcowym.
- Automatyczne wydobywanie danych z faktur w PDF lub obrazie do ustrukturyzowanej bazy danych
- Weryfikacja tożsamości: OCR dokumentu i wykrywanie żywotności na podstawie selfie
- Moderacja treści tworzonych przez użytkowników z użyciem chmurowych API i modelu językowego jako zapasu
- Transkrypcja mowy na tekst przez Whisper large-v3 dla nagrań ze spotkań
Zalety i ograniczenia
Zalety
- Automatyzuje powtarzalne procesy: wydobywanie danych, klasyfikację, obsługę klienta.
- RAG odpowiada na podstawie dokumentów klienta, ze sprawdzalnymi źródłami.
- Prompt caching obniża koszt powtarzalnego kontekstu nawet o 90%.
- Przełączanie między modelami (Claude → GPT-4o → Gemini) zapewnia ciągłość działania.
Ograniczenia
- Modele językowe potrafią halucynować — każdy krytyczny wynik wymaga weryfikacji i źródeł.
- Koszt za token szybko rośnie przy dużych wolumenach bez starannego buforowania.
- Wysyłanie wrażliwych danych do zewnętrznych API rodzi pytania o poufność.
- Opóźnienie wygenerowanej odpowiedzi może sięgać kilku sekund.
Krótki werdykt
Wdrażaj AI tam, gdzie przynosi realny zwrot: przy automatyzacji, RAG na dokumentach i wydobywaniu danych. Unikaj AI dla samej AI w zadaniach, w których wystarczy prosta reguła albo klasyczne wyszukiwanie.
Tabela specyfikacji
| Możliwość | Limit / próg | Typowe zastosowanie | |
|---|---|---|---|
| Kontekst modelu językowego | Do 200 tys. tokenów (Claude) | Duży kontekst podnosi koszt i opóźnienie | Analiza długich dokumentów i raportów |
| RAG | pgvector, wyszukiwanie hybrydowe, ponowne rankowanie | Jakość zależy od podziału na fragmenty i od źródeł | Chatbot na własnych dokumentach |
| Wizja komputerowa | Strukturalny OCR, dokładność powyżej 98% | Wnioskowanie na GPU podnosi koszt | Wydobywanie danych z faktur, weryfikacja tożsamości |
| Typowy koszt | Rozliczany za token lub za wywołanie API | Rośnie wraz z wolumenem przy braku buforowania | Od chatbota po kompletny potok przetwarzania |
RAG a dostrajanie modelu
| Kryterium | RAG | Dostrajanie modelu |
|---|---|---|
| Aktualizacja wiedzy | Natychmiastowa (wystarczy dodać dokumenty) | Wymaga ponownego trenowania |
| Sprawdzalne źródła | Tak, z cytowaniem | Nie |
| Koszt początkowy | Niski | Wysoki (dane i GPU) |
Najczęstsze pytania
Czym jest RAG i kiedy go stosować?
RAG (generowanie wspomagane wyszukiwaniem) pozwala AI odpowiadać na podstawie Twoich dokumentów (umów, instrukcji, przepisów) bez ponownego trenowania modelu. Stosuje się go, gdy potrzebujesz precyzyjnych odpowiedzi ze źródłami, opartych na własnych danych.
RAG czy dostrajanie modelu?
RAG przy wiedzy, która często się zmienia, i tam, gdzie liczą się sprawdzalne źródła — aktualizuje się go, dodając dokumenty. Dostrajanie sprawdza się przy stałym stylu lub formacie, ale kosztuje więcej na starcie. W większości zastosowań biznesowych wybiera się RAG.
Jak panujecie nad halucynacjami AI?
Stosujemy RAG z cytowaniem źródeł, structured outputs (JSON) walidowane Pydantikiem oraz weryfikację przez człowieka przy krytycznych wynikach. AI odpowiada na podstawie rzeczywistych dokumentów, a nie z pamięci, i każde twierdzenie ma przypisane źródło.
Czy moje dane pozostają poufne?
Dane wrażliwe można odizolować dla każdego klienta osobno, a w razie potrzeby przetwarzać modelami uruchomionymi na własnej infrastrukturze albo przez API z klauzulą zakazu trenowania. W obszarach regulowanych wybieramy dostawców, którzy nie wykorzystują danych do trenowania modeli.