Trí tuệ nhân tạo ứng dụng trong các dự án của chúng tôi
Chúng tôi tích hợp AI ở nơi nó thực sự tạo ra giá trị: tự động hóa các quy trình lặp lại, trích xuất thông tin từ tài liệu, tạo nội dung theo ngữ cảnh và hỗ trợ người dùng thông minh. Mọi quyết định triển khai đều dựa trên ROI, không chạy theo xu hướng.
Tích hợp LLM — Claude API và OpenAI
Chúng tôi dùng Claude (Anthropic) làm mô hình chính cho các tác vụ suy luận phức tạp, phân tích tài liệu và tạo nội dung dài — cửa sổ ngữ cảnh 200k token cho phép xử lý cả một hồ sơ pháp lý hoặc báo cáo tài chính chỉ trong một lần gọi. GPT-4o được chọn cho các tác vụ đa phương thức (hình ảnh + văn bản) và khi cần hệ sinh thái OpenAI (Whisper, DALL-E).
Tool use (function calling) cho phép LLM tương tác với các API nội bộ: tìm kiếm trong cơ sở dữ liệu, kích hoạt hành động trong các hệ thống hiện có, trả về dữ liệu có cấu trúc được kiểm tra bằng Pydantic. Phản hồi streaming giảm độ trễ cảm nhận ở giao diện hội thoại — người dùng thấy văn bản hiện dần ra, thay vì phải chờ toàn bộ câu trả lời.
- Prompt caching (Anthropic) giảm 90% chi phí cho ngữ cảnh lặp lại (system prompt, tài liệu tham chiếu)
- Structured outputs (chế độ JSON) cho phản hồi an toàn về kiểu dữ liệu, không cần regex trên văn bản tự do
- Tự động chuyển dự phòng Claude → GPT-4o → Gemini khi xảy ra lỗi về tính khả dụng
- Theo dõi chi phí theo từng người dùng và từng tính năng — mức sử dụng LLM hiển thị trong bảng điều khiển quản trị
RAG — AI với tri thức từ dữ liệu của khách hàng
Retrieval-Augmented Generation (RAG) cho phép LLM trả lời dựa trên các tài liệu riêng của khách hàng (hợp đồng, sổ tay, văn bản pháp luật, email) mà không cần huấn luyện lại. Tài liệu được chia thành các đoạn (chunk), nhúng vector bằng text-embedding-3-large (OpenAI) hoặc embed-english-v3 (Cohere), lưu trong pgvector (extension của PostgreSQL) và truy xuất bằng độ tương đồng cosine.
Pipeline RAG bao gồm: nạp tài liệu (PDF, DOCX, HTML), chia đoạn thông minh (có phần chồng lấp để giữ ngữ cảnh), xếp hạng lại bằng Cohere Rerank để tăng độ liên quan, đưa vào ngữ cảnh của LLM và trích dẫn nguồn kèm số trang. Kết quả là một chatbot trả lời dựa trên tài liệu của bạn, có nguồn để kiểm chứng.
- pgvector để tìm kiếm tương đồng vector ngay trong PostgreSQL — không cần Pinecone/Weaviate
- Tìm kiếm lai: vector dày + BM25 thưa (từ khóa) → hợp nhất RRF
- Đánh giá RAG bằng RAGAS — độ chính xác, độ phủ, độ trung thực được đo tự động
- Lọc theo metadata cho đa người thuê (multi-tenant): người dùng A không thấy tài liệu của người dùng B
Thị giác máy tính và xử lý tài liệu
Để trích xuất dữ liệu từ tài liệu quét hoặc chụp ảnh (hóa đơn, hợp đồng, giấy tờ tùy thân), chúng tôi dùng pipeline kết hợp: tiền xử lý ảnh (chỉnh nghiêng, khử nhiễu bằng OpenCV), OCR bằng Google Document AI hoặc Amazon Textract (có cấu trúc, không phải OCR thô), hậu xử lý bằng LLM để chuẩn hóa và kiểm tra.
Phân loại ảnh (sản phẩm, danh mục, phát hiện NSFW) được thực hiện bằng các mô hình tinh chỉnh trên CLIP hoặc EfficientNet, triển khai dưới dạng microservice FastAPI với suy luận GPU tùy chọn (CUDA). Với các dự án không có ngân sách GPU, có thể dùng các API đám mây (Google Vision, AWS Rekognition) thay thế.
- Tự động trích xuất dữ liệu từ hóa đơn PDF/ảnh → cơ sở dữ liệu có cấu trúc
- Xác minh danh tính: OCR giấy tờ + phát hiện selfie còn sống (liveness)
- Kiểm duyệt nội dung do người dùng tạo bằng API đám mây + LLM dự phòng
- Speech-to-text bằng Whisper large-v3 để chép lại các cuộc họp bằng âm thanh
Ưu điểm và hạn chế
Ưu điểm
- Tự động hóa các quy trình lặp lại: trích xuất dữ liệu, phân loại, hỗ trợ.
- RAG trả lời từ tài liệu của khách hàng, với nguồn có thể kiểm chứng.
- Prompt caching giảm tới 90% chi phí cho ngữ cảnh lặp lại.
- Dự phòng mô hình (Claude → GPT-4o → Gemini) để giảm rủi ro gián đoạn khi một nhà cung cấp gặp sự cố.
Hạn chế
- LLM có thể bịa thông tin (hallucination) — mọi đầu ra quan trọng cần được kiểm tra và có nguồn.
- Chi phí theo token tăng nhanh ở khối lượng lớn nếu không caching cẩn thận.
- Dữ liệu nhạy cảm gửi tới API bên thứ ba làm nảy sinh lo ngại về quyền riêng tư.
- Độ trễ của một câu trả lời được tạo ra có thể lên tới vài giây.
Kết luận nhanh
Hãy tích hợp AI ở nơi nó mang lại ROI thực sự: tự động hóa, RAG trên tài liệu, trích xuất dữ liệu. Tránh dùng AI chỉ vì AI ở những tác vụ mà một quy tắc đơn giản hoặc tìm kiếm cổ điển là đủ.
Bảng thông số kỹ thuật
| Khả năng | Giới hạn / ngưỡng | Ứng dụng điển hình | |
|---|---|---|---|
| Ngữ cảnh LLM | Tối đa 200k token (Claude) | Ngữ cảnh lớn làm tăng chi phí và độ trễ | Phân tích tài liệu dài, báo cáo |
| RAG | pgvector, tìm kiếm lai, xếp hạng lại | Chất lượng phụ thuộc vào cách chia đoạn và nguồn | Chatbot trên tài liệu riêng |
| Thị giác máy tính | OCR có cấu trúc, kết hợp hậu xử lý bằng LLM | Suy luận GPU làm tăng chi phí | Trích xuất hóa đơn, xác minh giấy tờ tùy thân |
| Chi phí điển hình | Tính theo token / theo lần gọi API | Tăng theo khối lượng nếu không có caching | Từ chatbot đến pipeline hoàn chỉnh |
RAG so với fine-tuning
| Tiêu chí | RAG | Fine-tuning |
|---|---|---|
| Cập nhật tri thức | Cập nhật bằng cách thêm tài liệu | Cần huấn luyện lại |
| Nguồn có thể kiểm chứng | Có, kèm trích dẫn | Không |
| Chi phí ban đầu | Thấp | Cao (dữ liệu + GPU) |
Câu hỏi thường gặp
RAG là gì và khi nào nên dùng?
RAG (Retrieval-Augmented Generation) cho phép AI trả lời dựa trên tài liệu của bạn (hợp đồng, sổ tay, văn bản pháp luật) mà không cần huấn luyện lại. Hãy dùng khi bạn muốn câu trả lời có nguồn, dựa trên dữ liệu của chính mình.
RAG hay fine-tuning?
RAG cho tri thức thay đổi thường xuyên và nguồn có thể kiểm chứng — bạn cập nhật bằng cách thêm tài liệu. Fine-tuning cho phong cách hoặc định dạng cố định, với chi phí ban đầu cao hơn. Với phần lớn trường hợp kinh doanh, RAG là lựa chọn phù hợp.
Làm thế nào để kiểm soát hiện tượng AI bịa thông tin?
Chúng tôi dùng RAG với trích dẫn nguồn, structured outputs (JSON) được kiểm tra bằng Pydantic và con người xác nhận đối với đầu ra quan trọng. AI ưu tiên trả lời từ tài liệu của bạn, và câu trả lời đi kèm nguồn tham chiếu.
Dữ liệu của tôi có được giữ bí mật không?
Dữ liệu nhạy cảm có thể được cô lập theo từng tenant và, khi cần, xử lý bằng mô hình tự lưu trữ hoặc API có điều khoản không dùng để huấn luyện. Với các trường hợp chịu quản lý chặt, chúng tôi chọn nhà cung cấp không dùng dữ liệu để huấn luyện.