Künstliche Intelligenz in unseren Projekten angewendet
Wir setzen KI dort ein, wo sie echten Mehrwert schafft: bei der Automatisierung wiederkehrender Abläufe, der Extraktion von Informationen aus Dokumenten, der Erzeugung kontextbezogener Inhalte und der intelligenten Unterstützung von Nutzern. Unsere Umsetzungsentscheidungen richten sich am ROI aus, nicht an Trends.
LLM-Integration — Claude API und OpenAI
Für komplexe Denkaufgaben, Dokumentenanalyse und die Erzeugung langer Texte setzen wir Claude (Anthropic) als Hauptmodell ein — ein Kontextfenster von 200 000 Tokens erlaubt es, eine komplette Rechtsakte oder einen Finanzbericht in einem einzigen Aufruf zu verarbeiten. GPT-4o wählen wir für multimodale Aufgaben (Bild und Text) und immer dann, wenn das OpenAI-Ökosystem (Whisper, DALL·E) gebraucht wird.
Über Tool Use (Function Calling) kann das LLM mit internen APIs interagieren: in der Datenbank suchen, Aktionen in bestehenden Systemen auslösen und strukturierte, mit Pydantic validierte Daten zurückgeben. Streaming-Antworten senken die wahrgenommene Latenz dialogorientierter Oberflächen — der Text erscheint fortlaufend, statt dass 5 bis 10 Sekunden lang nichts passiert.
- Prompt Caching (Anthropic) senkt die Kosten für wiederkehrenden Kontext (System-Prompts, Referenzdokumente) um 90 %
- Structured Outputs (JSON-Modus) für typsichere Antworten ohne Regex auf freiem Text
- Automatischer Fallback Claude → GPT-4o → Gemini bei Verfügbarkeitsproblemen
- Kostenverfolgung je Nutzer und je Funktion — die LLM-Nutzung ist im Admin-Dashboard sichtbar
RAG — KI mit dem Wissen aus den Daten des Kunden
Retrieval-Augmented Generation (RAG) erlaubt es dem LLM, auf Basis kundenspezifischer Dokumente (Verträge, Handbücher, Rechtstexte, E-Mails) zu antworten, ohne neu trainiert zu werden. Die Dokumente werden in Chunks zerlegt, mit text-embedding-3-large (OpenAI) oder embed-english-v3 (Cohere) eingebettet, in pgvector (einer PostgreSQL-Erweiterung) gespeichert und über Kosinus-Ähnlichkeit abgerufen.
Die RAG-Pipeline umfasst: Dokumentenaufnahme (PDF, DOCX, HTML), intelligentes Chunking (mit Überlappung für den Kontext), Re-Ranking mit Cohere Rerank für höhere Trefferqualität, Einspeisung in den LLM-Kontext und Quellenangabe mit Seitenzahl. Das Ergebnis ist ein Chatbot, der präzise auf Grundlage echter Dokumente antwortet, mit überprüfbaren Quellen.
- pgvector für die Vektor-Ähnlichkeitssuche direkt in PostgreSQL — ohne Pinecone oder Weaviate
- Hybride Suche: dichte Vektoren plus sparse BM25 (Schlüsselwörter) → RRF-Fusion
- RAG-Auswertung mit RAGAS — Precision, Recall und Faithfulness werden automatisch gemessen
- Metadatenfilter für Multi-Tenant-Betrieb: Nutzer A sieht die Dokumente von Nutzer B nicht
Computer Vision und Dokumentenverarbeitung
Um Daten aus gescannten oder fotografierten Dokumenten (Rechnungen, Verträge, Ausweise) zu extrahieren, nutzen wir eine kombinierte Pipeline: Bildvorverarbeitung (Entzerrung, Rauschminderung mit OpenCV), OCR mit Google Document AI oder Amazon Textract (strukturiert, nicht als reines OCR) und anschließende LLM-Verarbeitung zur Normalisierung und Prüfung. Die Genauigkeit liegt bei typischen Geschäftsdokumenten über 98 %.
Die Bildklassifizierung (Produkte, Kategorien, NSFW-Erkennung) erfolgt mit auf CLIP oder EfficientNet feinabgestimmten Modellen, ausgeliefert als FastAPI-Microservices mit optionaler GPU-Inferenz (CUDA). Für Projekte ohne GPU-Budget liefern Cloud-APIs (Google Vision, AWS Rekognition) über 95 % Genauigkeit zu geringen Grenzkosten.
- Automatische Datenextraktion aus Rechnungen als PDF oder Bild → strukturierte Datenbank
- Identitätsprüfung: Dokumenten-OCR plus Liveness-Erkennung per Selfie
- Moderation nutzergenerierter Inhalte mit Cloud-APIs und LLM als Rückfallebene
- Speech-to-Text mit Whisper large-v3 für die Transkription von Besprechungsaufnahmen
Vorteile und Grenzen
Vorteile
- Automatisiert wiederkehrende Abläufe: Datenextraktion, Klassifizierung, Support.
- RAG antwortet auf Basis der Kundendokumente, mit überprüfbaren Quellen.
- Prompt Caching senkt die Kosten für wiederkehrenden Kontext um bis zu 90 %.
- Fallback zwischen Modellen (Claude → GPT-4o → Gemini) sichert die Verfügbarkeit.
Grenzen
- LLMs können halluzinieren — jede kritische Ausgabe braucht Prüfung und Quellen.
- Die Kosten je Token steigen bei hohem Volumen ohne sorgfältiges Caching schnell.
- Sensible Daten, die an Dritt-APIs gehen, werfen Fragen der Vertraulichkeit auf.
- Die Latenz einer generierten Antwort kann einige Sekunden betragen.
Kurzes Fazit
Setzen Sie KI dort ein, wo sie echten ROI bringt: Automatisierung, RAG auf Dokumenten, Datenextraktion. Verzichten Sie auf KI um der KI willen, wo eine einfache Regel oder eine klassische Suche genügt.
Technische Daten
| Fähigkeit | Grenze / Schwelle | Typischer Einsatz | |
|---|---|---|---|
| LLM-Kontext | Bis zu 200 000 Tokens (Claude) | Ein großer Kontext erhöht Kosten und Latenz | Analyse langer Dokumente und Berichte |
| RAG | pgvector, hybride Suche, Re-Ranking | Die Qualität hängt vom Chunking und den Quellen ab | Chatbot auf eigenen Dokumenten |
| Computer Vision | Strukturiertes OCR, Genauigkeit über 98 % | GPU-Inferenz erhöht die Kosten | Rechnungsextraktion, Ausweisprüfung |
| Typische Kosten | Abrechnung je Token bzw. je API-Aufruf | Steigen ohne Caching mit dem Volumen | Vom Chatbot bis zur kompletten Pipeline |
RAG im Vergleich zum Fine-Tuning
| Kriterium | RAG | Fine-Tuning |
|---|---|---|
| Wissensaktualisierung | Durch Hinzufügen von Dokumenten | Erfordert erneutes Training |
| Überprüfbare Quellen | Ja, mit Zitat | Nein |
| Anfangskosten | Gering | Hoch (Daten und GPU) |
Häufige Fragen
Was ist RAG und wann setze ich es ein?
RAG (Retrieval-Augmented Generation) erlaubt es der KI, auf Basis Ihrer eigenen Dokumente (Verträge, Handbücher, Rechtstexte) zu antworten, ohne neu trainiert zu werden. Sie setzen es ein, wenn Sie präzise Antworten mit Quellenangabe auf Grundlage eigener Daten brauchen.
RAG oder Fine-Tuning?
RAG für Wissen, das sich häufig ändert, und für überprüfbare Quellen — aktualisiert wird es durch Hinzufügen von Dokumenten. Fine-Tuning für einen festen Stil oder ein festes Format, mit höheren Anfangskosten. Für die meisten geschäftlichen Anwendungsfälle ist RAG die richtige Wahl.
Wie halten Sie KI-Halluzinationen in Schach?
Wir nutzen RAG mit Quellenangabe, Structured Outputs (JSON), die mit Pydantic validiert werden, und eine menschliche Prüfung bei kritischen Ausgaben. Die KI antwortet auf Grundlage echter Dokumente statt aus dem Gedächtnis, und jede Aussage trägt eine Quelle.
Bleiben meine Daten vertraulich?
Sensible Daten lassen sich je Mandant isolieren und bei Bedarf mit selbst gehosteten Modellen oder über APIs mit No-Training-Klausel verarbeiten. In regulierten Fällen wählen wir Anbieter, die Daten nicht für das Training verwenden.