Kecerdasan Buatan gunaan dalam projek kami
Kami mengintegrasikan AI di mana ia benar-benar memberi nilai: mengautomasikan proses berulang, mengekstrak maklumat daripada dokumen, menjana kandungan berkonteks dan membantu pengguna secara pintar. Keputusan pelaksanaan kami berdasarkan ROI, bukan trend.
Integrasi LLM — Claude API dan OpenAI
Kami menggunakan Claude (Anthropic) sebagai model utama untuk tugas penaakulan kompleks, analisis dokumen dan penjanaan kandungan panjang — tetingkap konteks 200k token membolehkan satu fail undang-undang atau laporan kewangan diproses dalam satu panggilan. GPT-4o dipilih untuk tugas multimodal (imej + teks) dan apabila ekosistem OpenAI (Whisper, DALL-E) diperlukan.
Tool use (function calling) membolehkan LLM berinteraksi dengan API dalaman: mencari dalam pangkalan data, mencetuskan tindakan dalam sistem sedia ada dan memulangkan data berstruktur yang disahkan dengan Pydantic. Respons penstriman mengurangkan kependaman yang dirasai dalam antara muka perbualan — pengguna melihat teks muncul secara progresif, bukan menunggu 5-10 saat.
- Prompt caching (Anthropic) mengurangkan kos sebanyak 90% untuk konteks berulang (system prompt, dokumen rujukan)
- Output berstruktur (mod JSON) untuk respons selamat jenis tanpa regex pada teks bebas
- Fallback automatik Claude → GPT-4o → Gemini apabila berlaku ralat ketersediaan
- Penjejakan kos mengikut pengguna dan ciri — penggunaan LLM kelihatan dalam papan pemuka admin
RAG — AI dengan pengetahuan daripada data pelanggan
Retrieval-Augmented Generation (RAG) membolehkan LLM menjawab berdasarkan dokumen khusus pelanggan (kontrak, manual, perundangan, e-mel) tanpa latihan semula. Dokumen dipecahkan kepada chunk, dibenamkan dengan text-embedding-3-large (OpenAI) atau embed-english-v3 (Cohere), disimpan dalam pgvector (sambungan PostgreSQL) dan diambil melalui keserupaan kosinus.
Saluran paip RAG merangkumi: pengambilan dokumen (PDF, DOCX, HTML), chunking pintar (dengan pertindihan untuk konteks), penyusunan semula dengan Cohere Rerank untuk relevan yang lebih tinggi, suntikan ke dalam konteks LLM dan petikan sumber dengan nombor halaman. Hasilnya ialah chatbot yang menjawab dengan tepat berdasarkan dokumen sebenar dengan sumber yang boleh disahkan.
- pgvector untuk carian keserupaan vektor terus dalam PostgreSQL — tanpa Pinecone/Weaviate
- Carian hibrid: vektor padat + BM25 jarang (kata kunci) → gabungan RRF
- Penilaian RAG dengan RAGAS — ketepatan, dapatan semula dan kesetiaan diukur secara automatik
- Penapisan metadata untuk multi-penyewa: pengguna A tidak melihat dokumen pengguna B
Penglihatan Komputer dan pemprosesan dokumen
Untuk mengekstrak data daripada dokumen yang diimbas atau difoto (invois, kontrak, kad pengenalan), kami menggunakan saluran paip gabungan: prapemprosesan imej (deskew, pengurangan hingar dengan OpenCV), OCR dengan Google Document AI atau Amazon Textract (berstruktur, bukan OCR mentah), pasca-pemprosesan dengan LLM untuk normalisasi dan pengesahan. Ketepatan >98% pada dokumen perniagaan lazim.
Pengelasan imej (produk, kategori, pengesanan NSFW) dilakukan dengan model yang di-fine-tune pada CLIP atau EfficientNet, dilaksanakan sebagai mikroperkhidmatan FastAPI dengan inferens GPU pilihan (CUDA). Untuk projek tanpa bajet GPU, API awan (Google Vision, AWS Rekognition) menawarkan ketepatan 95%+ pada kos yang kecil.
- Pengekstrakan data automatik daripada invois PDF/imej → pangkalan data berstruktur
- Pengesahan identiti: OCR dokumen + pengesanan liveness swafoto
- Moderasi kandungan janaan pengguna dengan API awan + fallback LLM
- Speech-to-text dengan Whisper large-v3 untuk transkripsi audio mesyuarat
Kelebihan dan kekurangan
Kelebihan
- Mengautomasikan proses berulang: pengekstrakan data, pengelasan, sokongan.
- RAG menjawab daripada dokumen pelanggan, dengan sumber yang boleh disahkan.
- Prompt caching mengurangkan kos sehingga 90% pada konteks berulang.
- Fallback model (Claude → GPT-4o → Gemini) untuk ketersediaan.
Had
- LLM boleh berhalusinasi — setiap output kritikal memerlukan pengesahan dan sumber.
- Kos per token meningkat pantas pada volum tinggi tanpa caching yang teliti.
- Data sensitif yang dihantar ke API pihak ketiga menimbulkan kebimbangan privasi.
- Kependaman jawapan yang dijana boleh mencecah beberapa saat.
Rumusan ringkas
Integrasikan AI di mana ia memberi ROI sebenar: automasi, RAG dokumen, pengekstrakan data. Elakkan AI semata-mata untuk AI pada tugas yang cukup dengan peraturan mudah atau carian klasik.
Jadual spesifikasi
| Keupayaan | Had / ambang | Kegunaan lazim | |
|---|---|---|---|
| Konteks LLM | Sehingga 200k token (Claude) | Konteks besar meningkatkan kos dan kependaman | Analisis dokumen panjang, laporan |
| RAG | pgvector, carian hibrid, penyusunan semula | Kualiti bergantung pada chunking dan sumber | Chatbot atas dokumen sendiri |
| Penglihatan komputer | OCR berstruktur, > 98% ketepatan | Inferens GPU meningkatkan kos | Pengekstrakan invois, pengesahan ID |
| Kos lazim | Dibilkan per token / per panggilan API | Meningkat dengan volum tanpa caching | Daripada chatbot hingga saluran paip penuh |
RAG lwn fine-tuning
| Kriteria | RAG | Fine-tuning |
|---|---|---|
| Kemas kini pengetahuan | Apabila dokumen ditambah | Memerlukan latihan semula |
| Sumber boleh disahkan | Ya, dengan petikan | Tidak |
| Kos permulaan | Rendah | Tinggi (data + GPU) |
Soalan lazim
Apakah RAG dan bila saya menggunakannya?
RAG (Retrieval-Augmented Generation) membolehkan AI menjawab daripada dokumen anda (kontrak, manual, perundangan) tanpa latihan semula. Gunakannya apabila anda mahukan jawapan yang tepat dan bersumber berdasarkan data anda sendiri.
RAG atau fine-tuning?
RAG untuk pengetahuan yang kerap berubah dan sumber yang boleh disahkan — anda mengemas kininya dengan menambah dokumen. Fine-tuning untuk gaya atau format tetap, dengan kos permulaan yang lebih tinggi. Bagi kebanyakan kes perniagaan, RAG ialah pilihannya.
Bagaimana anda mengawal halusinasi AI?
Kami menggunakan RAG dengan petikan sumber, output berstruktur (JSON) yang disahkan dengan Pydantic dan pengesahan manusia untuk output kritikal. AI menjawab daripada dokumen sebenar, bukan daripada ingatan, dan setiap dakwaan disertakan sumber.
Adakah data saya kekal sulit?
Data sensitif boleh diasingkan mengikut penyewa dan, jika perlu, diproses dengan model yang dihoskan sendiri atau API dengan klausa tanpa latihan. Untuk kes terkawal, kami memilih penyedia yang tidak menggunakan data untuk latihan.