Intelligenza artificiale applicata ai nostri progetti
Integriamo l'IA dove genera valore reale: automazione dei processi ripetitivi, estrazione di informazioni dai documenti, produzione di contenuti contestualizzati e assistenza intelligente agli utenti. Le scelte di implementazione le facciamo in base al ritorno sull'investimento, non alle mode.
Integrazione di LLM: API di Claude e OpenAI
Usiamo Claude (Anthropic) come modello principale per i compiti di ragionamento complesso, l'analisi documentale e la produzione di testi lunghi: una finestra di contesto da 200.000 token consente di elaborare un intero fascicolo legale o un bilancio in una sola chiamata. GPT-4o viene scelto per i compiti multimodali (immagine e testo) e quando serve l'ecosistema OpenAI (Whisper, DALL·E).
Il tool use (function calling) permette all'LLM di interagire con le API interne: cercare nel database, avviare azioni nei sistemi esistenti e restituire dati strutturati convalidati con Pydantic. Le risposte in streaming riducono la latenza percepita nelle interfacce conversazionali: l'utente vede comparire il testo progressivamente invece di attendere la risposta completa.
- Il prompt caching (Anthropic) riduce del 90% il costo del contesto ricorrente (prompt di sistema, documenti di riferimento)
- Structured output (modalità JSON) per risposte tipizzate, senza espressioni regolari su testo libero
- Passaggio automatico Claude → GPT-4o → Gemini in caso di problemi di disponibilità
- Monitoraggio dei costi per utente e per funzione: il consumo di LLM è visibile nella dashboard di amministrazione
RAG: l'IA che conosce i dati del cliente
La generazione aumentata dal recupero (RAG) consente all'LLM di rispondere sulla base di documenti propri del cliente (contratti, manuali, normativa, e-mail) senza essere riaddestrato. I documenti vengono suddivisi in frammenti, trasformati in vettori con text-embedding-3-large (OpenAI) oppure embed-english-v3 (Cohere), archiviati in pgvector (estensione di PostgreSQL) e recuperati per similarità del coseno.
La pipeline RAG comprende: acquisizione dei documenti (PDF, DOCX, HTML), suddivisione intelligente (con sovrapposizione per conservare il contesto), riordino con Cohere Rerank per aumentare la pertinenza, inserimento nel contesto dell'LLM e citazione delle fonti con il numero di pagina. Il risultato è un chatbot che risponde basandosi su documenti reali, con fonti verificabili.
- pgvector per la ricerca per similarità vettoriale direttamente in PostgreSQL, senza Pinecone né Weaviate
- Ricerca ibrida: vettori densi e BM25 sparso (parole chiave) → fusione RRF
- Valutazione del RAG con RAGAS: precisione, richiamo e fedeltà misurati in automatico
- Filtri sui metadati per il multi-tenant: l'utente A non vede i documenti dell'utente B
Visione artificiale ed elaborazione dei documenti
Per estrarre dati da documenti scansionati o fotografati (fatture, contratti, documenti d'identità) usiamo una pipeline combinata: pre-elaborazione dell'immagine (raddrizzamento e riduzione del rumore con OpenCV), OCR con Google Document AI oppure Amazon Textract (strutturato, non OCR grezzo) e post-elaborazione con LLM per normalizzare e convalidare.
La classificazione delle immagini (prodotti, categorie, rilevamento di contenuti sensibili) avviene con modelli messi a punto su CLIP o EfficientNet, distribuiti come microservizi FastAPI con inferenza su GPU opzionale (CUDA). Per i progetti senza budget per la GPU, le API cloud (Google Vision, AWS Rekognition) restano disponibili a costo marginale.
- Estrazione automatica dei dati da fatture in PDF o immagine verso un database strutturato
- Verifica dell'identità: OCR del documento e rilevamento della presenza dal vivo tramite selfie
- Moderazione dei contenuti generati dagli utenti con API cloud e LLM come riserva
- Trascrizione audio con Whisper large-v3 per le registrazioni delle riunioni
Vantaggi e limiti
Vantaggi
- Automatizza i processi ripetitivi: estrazione dati, classificazione, assistenza.
- Il RAG risponde sui documenti del cliente, con fonti verificabili.
- Il prompt caching riduce fino al 90% il costo del contesto ricorrente.
- Il passaggio tra modelli (Claude → GPT-4o → Gemini) è un'alternativa in caso di problemi di disponibilità.
Limiti
- Gli LLM possono generare allucinazioni: ogni output critico richiede verifica e fonti.
- Il costo per token cresce rapidamente sui volumi elevati senza un caching accurato.
- Inviare dati sensibili ad API di terze parti solleva questioni di riservatezza.
- La latenza di una risposta generata può arrivare a qualche secondo.
Verdetto in breve
Integra l'IA dove porta un ritorno reale: automazione, RAG sui documenti, estrazione dati. Evita l'IA fine a se stessa nei compiti in cui basta una regola semplice o una ricerca classica.
Tabella delle specifiche
| Capacità | Limite / soglia | Uso tipico | |
|---|---|---|---|
| Contesto dell'LLM | Fino a 200.000 token (Claude) | Un contesto ampio aumenta costo e latenza | Analisi di documenti lunghi e report |
| RAG | pgvector, ricerca ibrida, riordino | La qualità dipende dalla suddivisione e dalle fonti | Chatbot sui propri documenti |
| Visione artificiale | OCR strutturato, con post-elaborazione e convalida con LLM | L'inferenza su GPU fa salire il costo | Estrazione da fatture, verifica dei documenti d'identità |
| Costo tipico | Addebitato per token o per chiamata API | Cresce con i volumi in assenza di caching | Dal chatbot alla pipeline completa |
RAG a confronto con il fine-tuning
| Criterio | RAG | Fine-tuning |
|---|---|---|
| Aggiornamento delle conoscenze | Senza riaddestramento (basta aggiungere documenti) | Richiede un nuovo addestramento |
| Fonti verificabili | Sì, con citazione | No |
| Costo iniziale | Basso | Elevato (dati e GPU) |
Domande frequenti
Che cos'è il RAG e quando conviene usarlo?
Il RAG (generazione aumentata dal recupero) permette all'IA di rispondere sui tuoi documenti (contratti, manuali, normativa) senza riaddestramento. Si usa quando servono risposte precise, con fonti, basate su dati propri.
Meglio RAG o fine-tuning?
RAG per conoscenze che cambiano spesso e per avere fonti verificabili: si aggiorna aggiungendo documenti. Il fine-tuning serve per uno stile o un formato fisso, con un costo iniziale più alto. Per la maggior parte dei casi aziendali la scelta è il RAG.
Come tenete sotto controllo le allucinazioni dell'IA?
Usiamo il RAG con citazione delle fonti, structured output (JSON) convalidati con Pydantic e verifica umana sugli output critici. L'IA risponde su documenti reali, non a memoria, e ogni affermazione ha una fonte collegata.
I miei dati restano riservati?
I dati sensibili possono essere isolati per singolo cliente e, se necessario, elaborati con modelli self-hosted o tramite API con clausole di non addestramento. Nei casi regolamentati scegliamo fornitori che non usano i dati per l'addestramento.