Intel·ligència artificial aplicada als nostres projectes
Integrem la IA allà on aporta valor real: automatitzar processos repetitius, extreure informació de documents, generar contingut contextualitzat i assistència intel·ligent a l'usuari. Prenem les decisions d'implementació segons el ROI, no segons les modes.
Integració de LLM — Claude API i OpenAI
Fem servir Claude (Anthropic) com a model principal per a tasques de raonament complex, anàlisi de documents i generació de contingut extens: la finestra de context de 200k tokens permet processar un expedient jurídic o un informe financer sencer en una sola crida. Triem GPT-4o per a tasques multimodals (imatge + text) i quan cal l'ecosistema d'OpenAI (Whisper, DALL-E).
El tool use (function calling) permet que el LLM interactuï amb API internes: consultar la base de dades, activar accions en sistemes existents i retornar dades estructurades validades amb Pydantic. Les respostes en streaming redueixen la latència percebuda en les interfícies conversacionals: l'usuari veu el text aparèixer progressivament, sense esperar 5-10 segons.
- El prompt caching (Anthropic) redueix el cost un 90% en el context repetitiu (system prompts, documents de referència)
- Sortides estructurades (mode JSON) per a respostes amb tipus segur, sense regex sobre text lliure
- Fallback automàtic Claude → GPT-4o → Gemini davant d'errors de disponibilitat
- Seguiment del cost per usuari i per funcionalitat: l'ús de LLM és visible al tauler d'administració
RAG — IA amb coneixement de les dades del client
La Retrieval-Augmented Generation (RAG) permet que el LLM respongui a partir de documents propis del client (contractes, manuals, legislació, correus) sense reentrenar-lo. Els documents es divideixen en fragments, es generen embeddings amb text-embedding-3-large (OpenAI) o embed-english-v3 (Cohere), s'emmagatzemen a pgvector (extensió de PostgreSQL) i es recuperen per similitud del cosinus.
El pipeline RAG inclou: ingesta de documents (PDF, DOCX, HTML), fragmentació intel·ligent (amb solapament per conservar el context), re-ranking amb Cohere Rerank per augmentar la rellevància, injecció al context del LLM i citació de fonts amb números de pàgina. El resultat és un xatbot que respon amb precisió a partir de documents reals amb fonts verificables.
- pgvector per a la cerca per similitud vectorial directament a PostgreSQL, sense Pinecone/Weaviate
- Cerca híbrida: vectors densos + BM25 dispers (paraules clau) → fusió RRF
- Avaluació de RAG amb RAGAS: precisió, recall i faithfulness mesurats automàticament
- Filtratge per metadades per a multi-tenant: l'usuari A no veu els documents de l'usuari B
Visió per computador i processament de documents
Per extreure dades de documents escanejats o fotografiats (factures, contractes, documents d'identitat) fem servir un pipeline combinat: preprocessament d'imatge (correcció d'inclinació i reducció de soroll amb OpenCV), OCR amb Google Document AI o Amazon Textract (estructurat, no OCR en brut) i postprocessament amb LLM per normalitzar i validar. Precisió superior al 98% en documents empresarials típics.
La classificació d'imatges (productes, categories, detecció de NSFW) es fa amb models ajustats sobre CLIP o EfficientNet, desplegats com a microserveis FastAPI amb inferència GPU opcional (CUDA). Per a projectes sense pressupost de GPU, les API al núvol (Google Vision, AWS Rekognition) ofereixen una precisió superior al 95% a un cost marginal.
- Extracció automàtica de dades de factures en PDF/imatge → base de dades estructurada
- Verificació d'identitat: OCR del document + detecció de vida (liveness) amb selfie
- Moderació de contingut generat per usuaris amb API al núvol + fallback amb LLM
- Speech-to-text amb Whisper large-v3 per transcriure reunions en àudio
Avantatges i limitacions
Avantatges
- Automatitza processos repetitius: extracció de dades, classificació, suport.
- El RAG respon a partir dels documents del client, amb fonts verificables.
- El prompt caching redueix el cost fins a un 90% en el context repetitiu.
- Fallback de models (Claude → GPT-4o → Gemini) en cas d'errors del proveïdor.
Limitacions
- Els LLM poden al·lucinar: tota sortida crítica necessita validació i fonts.
- El cost per token creix ràpidament amb volum alt si no hi ha un caching acurat.
- Enviar dades sensibles a API de tercers planteja problemes de privacitat.
- La latència d'una resposta generada pot arribar a diversos segons.
Veredicte ràpid
Integreu la IA allà on aporta un ROI real: automatització, RAG sobre documents, extracció de dades. Eviteu la IA per la IA en tasques on n'hi ha prou amb una regla simple o una cerca clàssica.
Taula d'especificacions
| Capacitat | Límit / llindar | Ús típic | |
|---|---|---|---|
| Context del LLM | Fins a 200k tokens (Claude) | Un context gran augmenta el cost i la latència | Anàlisi de documents llargs, informes |
| RAG | pgvector, cerca híbrida, re-ranking | La qualitat depèn de la fragmentació i de les fonts | Xatbot sobre documents propis |
| Visió per computador | OCR estructurat, precisió > 98% | La inferència GPU encareix el cost | Extracció de factures, verificació d'identitat |
| Cost típic | Es factura per token / per crida a l'API | Creix amb el volum si no hi ha caching | Des d'un xatbot fins a un pipeline complet |
RAG vs fine-tuning
| Criteri | RAG | Fine-tuning |
|---|---|---|
| Actualització del coneixement | Immediata (afegint documents) | Requereix reentrenament |
| Fonts verificables | Sí, amb citació | No |
| Cost inicial | Baix | Alt (dades + GPU) |
Preguntes freqüents
Què és el RAG i quan l'he d'utilitzar?
El RAG (Retrieval-Augmented Generation) permet que la IA respongui a partir dels vostres documents (contractes, manuals, legislació) sense reentrenar-la. Feu-lo servir quan voleu respostes precises i amb fonts basades en les vostres pròpies dades.
RAG o fine-tuning?
RAG per a coneixement que canvia sovint i fonts verificables: s'actualitza afegint documents. Fine-tuning per a un estil o format fixos, amb un cost inicial més alt. Per a la majoria de casos empresarials, la opció és el RAG.
Com controleu les al·lucinacions de la IA?
Fem servir RAG amb citació de fonts, sortides estructurades (JSON) validades amb Pydantic i validació humana per a les sortides crítiques. La IA respon a partir de documents reals, no de memòria, i cada afirmació té una font adjunta.
Les meves dades continuen sent confidencials?
Les dades sensibles es poden aïllar per tenant i, si cal, processar amb models autoallotjats o amb API amb clàusules de no-entrenament. En casos regulats, triem proveïdors que no utilitzen les dades per entrenar.