בינה מלאכותית יישומית בפרויקטים שלנו
אנו משלבים AI במקומות שבהם הוא מוסיף ערך אמיתי: אוטומציה של תהליכים חוזרים, חילוץ מידע ממסמכים, יצירת תוכן מותאם הקשר וסיוע חכם למשתמשים. החלטות היישום שלנו מבוססות על ROI, לא על אופנות.
שילוב LLM — Claude API ו-OpenAI
אנו משתמשים ב-Claude (של Anthropic) כמודל הראשי למשימות הסקה מורכבות, ניתוח מסמכים ויצירת תוכן ארוך — חלון ההקשר של 200k טוקנים מאפשר לעבד תיק משפטי שלם או דוח כספי בקריאה אחת. GPT-4o נבחר למשימות מולטימודליות (תמונה + טקסט) וכאשר נדרש האקוסיסטם של OpenAI (Whisper, DALL-E).
Tool use (function calling) מאפשר ל-LLM לתקשר עם API פנימיים: לחפש במסד הנתונים, להפעיל פעולות במערכות קיימות ולהחזיר נתונים מובנים המאומתים באמצעות Pydantic. תגובות Streaming מקצרות את זמן ההמתנה הנתפס בממשקי שיחה — המשתמש רואה את הטקסט מופיע בהדרגה.
- Prompt caching (של Anthropic) מפחית את העלות ב-90% עבור הקשר חוזר (system prompts, מסמכי עזר)
- פלטים מובנים (JSON mode) לתשובות בטוחות-טיפוס ללא regex על טקסט חופשי
- מעבר אוטומטי Claude → GPT-4o → Gemini במקרה של שגיאות זמינות
- מעקב עלויות לכל משתמש ולכל פיצ'ר — השימוש ב-LLM גלוי בלוח הניהול
RAG — AI עם ידע מנתוני הלקוח
Retrieval-Augmented Generation (RAG) מאפשר ל-LLM להשיב על סמך מסמכים ספציפיים ללקוח (חוזים, מדריכים, חקיקה, אימיילים) ללא אימון מחדש. המסמכים מחולקים ל-chunks, מומרים ל-embeddings באמצעות text-embedding-3-large (של OpenAI) או embed-english-v3 (של Cohere), נשמרים ב-pgvector (הרחבה של PostgreSQL) ומאוחזרים לפי דמיון קוסינוס.
צינור ה-RAG כולל: קליטת מסמכים (PDF, DOCX, HTML), חלוקה חכמה ל-chunks (עם חפיפה לשמירת הקשר), דירוג מחדש באמצעות Cohere Rerank להגברת הרלוונטיות, הזרקה להקשר ה-LLM וציטוט מקורות עם מספרי עמודים. התוצאה היא צ'אטבוט שמשיב במדויק על סמך מסמכים אמיתיים עם מקורות הניתנים לאימות.
- pgvector לחיפוש דמיון וקטורי ישירות ב-PostgreSQL — ללא Pinecone/Weaviate
- חיפוש היברידי: וקטורים צפופים + BM25 דליל (מילות מפתח) → איחוד RRF
- הערכת RAG באמצעות RAGAS — precision, recall ו-faithfulness נמדדים אוטומטית
- סינון לפי metadata עבור multi-tenant: משתמש A אינו רואה את המסמכים של משתמש B
ראייה ממוחשבת ועיבוד מסמכים
לחילוץ נתונים ממסמכים סרוקים או מצולמים (חשבוניות, חוזים, תעודות זהות) אנו משתמשים בצינור משולב: עיבוד מקדים של תמונה (יישור, הפחתת רעש באמצעות OpenCV), OCR באמצעות Google Document AI או Amazon Textract (מובנה, לא OCR גולמי), ועיבוד לאחר באמצעות LLM לנרמול ואימות.
סיווג תמונות (מוצרים, קטגוריות, זיהוי NSFW) מתבצע באמצעות מודלים מכוונים (fine-tuned) על CLIP או EfficientNet, המופעלים כמיקרו-שירותי FastAPI עם הסקה אופציונלית על GPU (CUDA). בפרויקטים ללא תקציב GPU, ניתן להשתמש ב-API בענן (Google Vision, AWS Rekognition).
- חילוץ נתונים אוטומטי מחשבוניות PDF/תמונה → מסד נתונים מובנה
- אימות זהות: OCR של מסמך + זיהוי חיוּת (liveness) בסלפי
- סינון תוכן שנוצר על ידי משתמשים באמצעות API בענן + גיבוי LLM
- Speech-to-text באמצעות Whisper large-v3 לתמלול פגישות שמע
יתרונות וחסרונות
יתרונות
- מבצע אוטומציה של תהליכים חוזרים: חילוץ נתונים, סיווג, תמיכה.
- RAG משיב מתוך מסמכי הלקוח, עם מקורות הניתנים לאימות.
- Prompt caching מקצץ עד 90% מהעלות בהקשר חוזר.
- מעבר בין מודלים (Claude → GPT-4o → Gemini) לשמירה על זמינות.
מגבלות
- LLM עלולים להזות — כל פלט קריטי דורש אימות ומקורות.
- העלות לטוקן עולה במהירות בנפחים גבוהים ללא caching קפדני.
- שליחת נתונים רגישים ל-API של צד שלישי מעלה חששות פרטיות.
- זמן ההשהיה של תשובה שנוצרה יכול להגיע לכמה שניות.
סיכום קצר
שלבו AI היכן שהוא מוסיף ROI אמיתי: אוטומציה, RAG על מסמכים, חילוץ נתונים. הימנעו מ-AI לשם AI במשימות שבהן כלל פשוט או חיפוש קלאסי מספיקים.
טבלת מפרט
| יכולת | מגבלה / סף | שימוש טיפוסי | |
|---|---|---|---|
| הקשר LLM | עד 200k טוקנים (Claude) | הקשר גדול מעלה עלות והשהיה | ניתוח מסמכים ארוכים, דוחות |
| RAG | pgvector, חיפוש היברידי, דירוג מחדש | האיכות תלויה בחלוקה ל-chunks ובמקורות | צ'אטבוט על מסמכים עצמיים |
| ראייה ממוחשבת | OCR מובנה, לא OCR גולמי | הסקה על GPU מעלה את העלות | חילוץ חשבוניות, אימות זהות |
| עלות טיפוסית | חיוב לפי טוקן / לפי קריאת API | גדלה עם הנפח ללא caching | מצ'אטבוט ועד צינור מלא |
RAG לעומת fine-tuning
| קריטריון | RAG | Fine-tuning |
|---|---|---|
| עדכון ידע | ללא אימון מחדש (הוספת מסמכים) | דורש אימון מחדש |
| מקורות הניתנים לאימות | כן, עם ציטוט | לא |
| עלות התחלתית | נמוכה | גבוהה (נתונים + GPU) |
שאלות נפוצות
מהו RAG ומתי משתמשים בו?
RAG (Retrieval-Augmented Generation) מאפשר ל-AI להשיב מתוך המסמכים שלכם (חוזים, מדריכים, חקיקה) ללא אימון מחדש. משתמשים בו כשרוצים תשובות מדויקות ומגובות במקורות על סמך הנתונים שלכם.
RAG או fine-tuning?
RAG לידע שמשתנה לעיתים קרובות ולמקורות הניתנים לאימות — מעדכנים אותו על ידי הוספת מסמכים. Fine-tuning לסגנון או פורמט קבועים, בעלות התחלתית גבוהה יותר. ברוב המקרים העסקיים, RAG הוא הבחירה.
איך שולטים בהזיות של AI?
אנו משתמשים ב-RAG עם ציטוט מקורות, בפלטים מובנים (JSON) המאומתים באמצעות Pydantic ובאימות אנושי לפלט קריטי. ה-AI משיב ממסמכים אמיתיים, לא מהזיכרון, ולכל טענה מצורף מקור.
האם הנתונים שלי נשארים חסויים?
נתונים רגישים ניתנים לבידוד לכל tenant ובמידת הצורך לעיבוד באמצעות מודלים באירוח עצמי או API עם סעיפי איסור אימון. במקרים מוסדרים אנו בוחרים ספקים שאינם משתמשים בנתונים לאימון.