Kecerdasan Buatan Terapan dalam proyek kami
Kami mengintegrasikan AI di tempat yang memberi nilai nyata: mengotomatisasi proses berulang, mengekstrak informasi dari dokumen, menghasilkan konten yang kontekstual, dan memberi bantuan cerdas bagi pengguna. Keputusan implementasi kami didasarkan pada ROI, bukan tren.
Integrasi LLM — Claude API dan OpenAI
Kami menggunakan Claude (Anthropic) sebagai model utama untuk tugas penalaran kompleks, analisis dokumen, dan pembuatan konten panjang — jendela konteks 200k token memungkinkan seluruh berkas hukum atau laporan keuangan diproses dalam satu panggilan. GPT-4o dipilih untuk tugas multimodal (gambar + teks) dan ketika ekosistem OpenAI (Whisper, DALL-E) dibutuhkan.
Tool use (function calling) memungkinkan LLM berinteraksi dengan API internal: mencari di database, memicu aksi pada sistem yang sudah ada, dan mengembalikan data terstruktur yang divalidasi dengan Pydantic. Respons streaming mengurangi latensi yang dirasakan pada antarmuka percakapan — pengguna melihat teks muncul secara bertahap.
- Prompt caching (Anthropic) menurunkan biaya untuk konteks yang berulang (system prompt, dokumen referensi)
- Structured outputs (mode JSON) untuk respons yang type-safe tanpa regex pada teks bebas
- Fallback otomatis Claude → GPT-4o → Gemini saat terjadi error ketersediaan
- Pelacakan biaya per pengguna dan per fitur — penggunaan LLM terlihat di dasbor admin
RAG — AI dengan pengetahuan dari data klien
Retrieval-Augmented Generation (RAG) memungkinkan LLM menjawab berdasarkan dokumen milik klien (kontrak, manual, regulasi, email) tanpa pelatihan ulang. Dokumen dipecah menjadi chunk, di-embed dengan text-embedding-3-large (OpenAI) atau embed-english-v3 (Cohere), disimpan di pgvector (ekstensi PostgreSQL), lalu diambil melalui cosine similarity.
Pipeline RAG mencakup: ingest dokumen (PDF, DOCX, HTML), chunking cerdas (dengan overlap untuk menjaga konteks), re-ranking dengan Cohere Rerank untuk meningkatkan relevansi, injeksi ke konteks LLM, dan sitasi sumber dengan nomor halaman. Hasilnya adalah chatbot yang menjawab secara akurat berdasarkan dokumen nyata dengan sumber yang dapat diverifikasi.
- pgvector untuk pencarian kemiripan vektor langsung di PostgreSQL — tanpa Pinecone/Weaviate
- Pencarian hibrida: vektor dense + BM25 sparse (kata kunci) → fusi RRF
- Evaluasi RAG dengan RAGAS — precision, recall, dan faithfulness diukur secara otomatis
- Filter metadata untuk multi-tenant: pengguna A tidak melihat dokumen pengguna B
Computer Vision dan pemrosesan dokumen
Untuk mengekstrak data dari dokumen hasil pindai atau foto (faktur, kontrak, kartu identitas), kami memakai pipeline gabungan: pra-pemrosesan gambar (deskew, pengurangan noise dengan OpenCV), OCR dengan Google Document AI atau Amazon Textract (terstruktur, bukan OCR mentah), serta pasca-pemrosesan dengan LLM untuk normalisasi dan validasi.
Klasifikasi gambar (produk, kategori, deteksi NSFW) dilakukan dengan model yang di-fine-tune di atas CLIP atau EfficientNet, di-deploy sebagai microservice FastAPI dengan inferensi GPU opsional (CUDA). Untuk proyek tanpa anggaran GPU, API cloud (Google Vision, AWS Rekognition) dapat dipakai dengan biaya marjinal.
- Ekstraksi data otomatis dari faktur PDF/gambar → database terstruktur
- Verifikasi identitas: OCR dokumen + deteksi liveness selfie
- Moderasi konten buatan pengguna dengan API cloud + fallback LLM
- Speech-to-text dengan Whisper large-v3 untuk transkripsi rapat audio
Kelebihan dan keterbatasan
Kelebihan
- Mengotomatisasi proses berulang: ekstraksi data, klasifikasi, dukungan pelanggan.
- RAG menjawab dari dokumen klien, dengan sumber yang dapat diverifikasi.
- Prompt caching mengurangi biaya pada konteks yang berulang.
- Fallback model (Claude → GPT-4o → Gemini) saat terjadi error.
Keterbatasan
- LLM dapat berhalusinasi — setiap keluaran kritis perlu validasi dan sumber.
- Biaya per token naik cepat pada volume tinggi tanpa caching yang cermat.
- Data sensitif yang dikirim ke API pihak ketiga menimbulkan kekhawatiran privasi.
- Latensi satu jawaban yang dihasilkan bisa mencapai beberapa detik.
Kesimpulan singkat
Integrasikan AI di tempat yang memberi ROI nyata: otomatisasi, RAG dokumen, ekstraksi data. Hindari AI demi AI pada tugas yang cukup diselesaikan dengan aturan sederhana atau pencarian klasik.
Tabel spesifikasi
| Kemampuan | Batas / ambang | Penggunaan umum | |
|---|---|---|---|
| Konteks LLM | Hingga 200k token (Claude) | Konteks besar menaikkan biaya dan latensi | Analisis dokumen panjang, laporan |
| RAG | pgvector, pencarian hibrida, re-ranking | Kualitas bergantung pada chunking dan sumber | Chatbot atas dokumen sendiri |
| Computer vision | OCR terstruktur, pasca-pemrosesan LLM | Inferensi GPU menaikkan biaya | Ekstraksi faktur, verifikasi identitas |
| Biaya umum | Ditagih per token / per panggilan API | Naik seiring volume tanpa caching | Dari chatbot hingga pipeline lengkap |
RAG vs fine-tuning
| Kriteria | RAG | Fine-tuning |
|---|---|---|
| Pembaruan pengetahuan | Instan (tambah dokumen) | Perlu pelatihan ulang |
| Sumber yang dapat diverifikasi | Ya, dengan sitasi | Tidak |
| Biaya awal | Rendah | Tinggi (data + GPU) |
Pertanyaan yang sering diajukan
Apa itu RAG dan kapan digunakan?
RAG (Retrieval-Augmented Generation) memungkinkan AI menjawab dari dokumen Anda (kontrak, manual, regulasi) tanpa pelatihan ulang. Gunakan ketika Anda menginginkan jawaban akurat dan bersumber berdasarkan data Anda sendiri.
RAG atau fine-tuning?
RAG untuk pengetahuan yang sering berubah dan sumber yang dapat diverifikasi — Anda memperbaruinya cukup dengan menambah dokumen. Fine-tuning untuk gaya atau format yang tetap, dengan biaya awal lebih tinggi. Untuk sebagian besar kasus bisnis, RAG adalah pilihannya.
Bagaimana halusinasi AI dikendalikan?
Kami memakai RAG dengan sitasi sumber, structured outputs (JSON) yang divalidasi dengan Pydantic, dan validasi manusia untuk keluaran kritis. AI menjawab dari dokumen nyata, bukan dari ingatan, dan setiap klaim disertai sumber.
Apakah data saya tetap rahasia?
Data sensitif dapat diisolasi per tenant dan, bila perlu, diproses dengan model self-hosted atau API dengan klausul no-training. Untuk kasus yang diatur regulasi, kami memilih penyedia yang tidak menggunakan data untuk pelatihan.