Projelerimizde uygulamalı Yapay Zekâ
AI'ı gerçek değer kattığı yerlere entegre ediyoruz: tekrarlayan süreçlerin otomasyonu, belgelerden bilgi çıkarımı, bağlama uygun içerik üretimi ve kullanıcılar için akıllı destek. Uygulama kararlarımızı trendlere değil, yatırım getirisine (ROI) göre alırız.
LLM entegrasyonu — Claude API ve OpenAI
Karmaşık akıl yürütme, belge analizi ve uzun içerik üretimi görevlerinde ana model olarak Claude'u (Anthropic) kullanıyoruz — 200k token'lık bağlam penceresi, bütün bir hukuki dosyanın veya mali raporun tek bir çağrıda işlenmesine olanak tanır. GPT-4o ise çok modlu (görüntü + metin) görevler için ve OpenAI ekosistemi (Whisper, DALL-E) gerektiğinde seçilir.
Tool use (function calling), LLM'in dahili API'lerle etkileşime girmesini sağlar: veritabanında arama yapmak, mevcut sistemlerde eylemleri tetiklemek, Pydantic ile doğrulanmış yapılandırılmış veriler döndürmek. Streaming yanıtlar, sohbet arayüzlerinde algılanan gecikmeyi azaltır — kullanıcı 5-10 sn beklemek yerine metnin kademeli olarak belirdiğini görür.
- Prompt caching (Anthropic), tekrarlayan bağlamda (sistem prompt'ları, referans belgeler) maliyeti %90 düşürür
- Serbest metinde regex kullanmadan tip güvenli yanıtlar için structured outputs (JSON mode)
- Erişilebilirlik hatalarında otomatik Claude → GPT-4o → Gemini yedeklemesi
- Kullanıcı başına ve özellik başına maliyet takibi — LLM kullanımı admin panelinde görünür
RAG — müşterinin verilerinden bilgi alan AI
Retrieval-Augmented Generation (RAG), LLM'in yeniden eğitilmeden, müşteriye özel belgelere (sözleşmeler, kılavuzlar, mevzuat, e-postalar) dayanarak yanıt vermesini sağlar. Belgeler parçalara (chunk) bölünür, text-embedding-3-large (OpenAI) veya embed-english-v3 (Cohere) ile embedding'e dönüştürülür, pgvector'de (PostgreSQL eklentisi) saklanır ve kosinüs benzerliğiyle geri getirilir.
RAG pipeline'ı şunları içerir: belge alımı (PDF, DOCX, HTML), akıllı chunking (bağlam için örtüşmeli), daha yüksek alaka için Cohere Rerank ile yeniden sıralama, LLM bağlamına enjeksiyon ve kaynakların sayfa numarasıyla gösterilmesi. Sonuç, doğrulanabilir kaynaklarla, gerçek belgelere dayanarak yanıt veren bir chatbot'tur.
- Doğrudan PostgreSQL içinde vektör benzerlik araması için pgvector — Pinecone/Weaviate olmadan
- Hibrit arama: yoğun vektörler + seyrek BM25 (anahtar kelime) → RRF füzyonu
- RAGAS ile RAG değerlendirmesi — precision, recall, faithfulness otomatik ölçülür
- Çok kiracılı yapı için metadata filtreleme: A kullanıcısı B kullanıcısının belgelerini görmez
Bilgisayarlı görü ve belge işleme
Taranmış veya fotoğrafı çekilmiş belgelerden (faturalar, sözleşmeler, kimlikler) veri çıkarmak için birleşik bir pipeline kullanıyoruz: görüntü ön işleme (OpenCV ile deskew, gürültü azaltma), Google Document AI veya Amazon Textract ile OCR (ham OCR değil, yapılandırılmış), normalizasyon ve doğrulama için LLM ile son işleme.
Görüntü sınıflandırma (ürünler, kategoriler, NSFW tespiti), CLIP veya EfficientNet üzerinde fine-tune edilmiş modellerle yapılır ve isteğe bağlı GPU çıkarımıyla (CUDA) FastAPI mikroservisleri olarak dağıtılır. GPU bütçesi olmayan projelerde bulut API'leri (Google Vision, AWS Rekognition) sahip olunan GPU altyapısı gerektirmeyen bir alternatiftir.
- PDF/görüntü faturalardan otomatik veri çıkarımı → yapılandırılmış veritabanı
- Kimlik doğrulama: belge OCR + selfie canlılık (liveness) tespiti
- Kullanıcı tarafından üretilen içeriğin bulut API'leri + LLM yedeğiyle denetimi
- Toplantı seslerinin yazıya dökülmesi için Whisper large-v3 ile speech-to-text
Avantajlar ve sınırlamalar
Avantajlar
- Tekrarlayan süreçleri otomatikleştirir: veri çıkarımı, sınıflandırma, destek.
- RAG, müşterinin belgeleri üzerinden doğrulanabilir kaynaklarla yanıt verir.
- Prompt caching, tekrarlayan bağlamda maliyeti %90'a kadar düşürür.
- Erişilebilirlik için modeller arası yedekleme (Claude → GPT-4o → Gemini).
Sınırlamalar
- LLM'ler halüsinasyon görebilir — kritik her çıktı doğrulama ve kaynak gerektirir.
- Dikkatli önbellekleme olmadan yüksek hacimde token başına maliyet hızla artar.
- Üçüncü taraf API'lere gönderilen hassas veriler gizlilik sorunları doğurur.
- Üretilen bir yanıtın gecikmesi birkaç saniyeye çıkabilir.
Kısa değerlendirme
AI'ı gerçek ROI sağladığı yerlere entegre edin: otomasyon, belgeler üzerinde RAG, veri çıkarımı. Basit bir kuralın veya klasik bir aramanın yeterli olduğu görevlerde AI'ı sırf AI olsun diye kullanmaktan kaçının.
Teknik özellikler tablosu
| Yetenek | Sınır / eşik | Tipik kullanım | |
|---|---|---|---|
| LLM bağlamı | 200k token'a kadar (Claude) | Büyük bağlam maliyeti ve gecikmeyi artırır | Uzun belge ve rapor analizi |
| RAG | pgvector, hibrit arama, yeniden sıralama | Kalite chunking'e ve kaynaklara bağlıdır | Kendi belgeleriniz üzerinde chatbot |
| Bilgisayarlı görü | Yapılandırılmış OCR | GPU çıkarımı maliyeti artırır | Fatura çıkarımı, kimlik doğrulama |
| Tipik maliyet | Token başına / API çağrısı başına ücretlendirilir | Önbellekleme olmadan hacimle artar | Chatbot'tan eksiksiz pipeline'a |
RAG ve fine-tuning
| Kriter | RAG | Fine-tuning |
|---|---|---|
| Bilgi güncelleme | Anında (belge eklersiniz) | Yeniden eğitim gerektirir |
| Doğrulanabilir kaynaklar | Evet, atıfla | Hayır |
| Başlangıç maliyeti | Düşük | Yüksek (veri + GPU) |
Sık sorulan sorular
RAG nedir ve ne zaman kullanmalıyım?
RAG (Retrieval-Augmented Generation), AI'ın yeniden eğitim olmadan belgeleriniz (sözleşmeler, kılavuzlar, mevzuat) üzerinden yanıt vermesini sağlar. Kendi verilerinize dayanan, kaynaklı yanıtlar istediğinizde kullanırsınız.
RAG mı, fine-tuning mi?
Sık değişen bilgiler ve doğrulanabilir kaynaklar için RAG — belge ekleyerek güncellersiniz. Sabit bir üslup veya biçim için fine-tuning; başlangıç maliyeti daha yüksektir. İş dünyasındaki çoğu durumda tercih RAG olur.
AI halüsinasyonlarını nasıl kontrol ediyorsunuz?
Kaynak atıflı RAG, Pydantic ile doğrulanan structured outputs (JSON) ve kritik çıktılar için insan doğrulaması kullanıyoruz. AI hafızasından değil gerçek belgelerden yanıt verir ve yanıtlar kaynak belirtir.
Verilerim gizli kalıyor mu?
Hassas veriler kiracı bazında yalıtılabilir ve gerekirse self-hosted modellerle ya da no-training maddeli API'lerle işlenebilir. Düzenlemeye tabi durumlarda, verileri eğitimde kullanmayan sağlayıcıları seçiyoruz.