RAG (Retrieval-Augmented Generation): cos’è, i vantaggi per l’intelligenza artificiale generativa

RAG: cos’è, i vantaggi per l’intelligenza artificiale generativa. Uno dei grandi punti di forza dell’intelligenza artificiale generativa, in particolare per quanto riguarda i Large Language Model (LLM) è costituito da un pre-addestramento del modello di deep learning con una base dati immensa, dell’ordine dell’intera quantità di dati presente su internet ad una certa data.

Questa enorme conoscenza da un lato consente al LLM di rispondere ad un numero molto elevato di domande, ma rappresenta al tempo stesso un punto di debolezza, in quanto la sua formazione si ferma ad un certo punto, offrendo una visione statica dello scenario, che non tiene conto né delle più recenti evoluzioni, né dei dati specifici di ciascuna azienda.

Come possono fare le organizzazioni a generare valore utilizzando i modelli linguistici di grandi dimensioni? Come possono coinvolgere anche i loro dati in questo contesto?

Esistono sostanzialmente due tipologie di approcci, che prevedono un intervento sul modello o si limitano ad aggiungere informazioni via prompt, come nel caso della RAG (Retrieval-Augmented Generation), una tecnica AI che sta incontrando un notevole successo grazie alla sua flessibilità ed efficacia nel supportare i LLM nell’offrire risposte pertinenti allo specifico aziendale, senza rendere necessario alcun processo di re-training.

LEGGI ANCHE: Generative AI: perché le aziende dovrebbero conoscerla e implementarla

Che cos’è la Retrieval-Augmented Generation

RAG, acronimo di Retrieval-Augmented Generation è un approccio architettonico sviluppato con la finalità di aumentare l’efficienza di risposta dei modelli linguistici, coinvolgendo i dati specifici di ogni organizzazione, originariamente non inclusi nell’addestramento di base, evitando onerosi e complesse operazioni di re-training.

In altri termini, senza le informazioni fornite dalla RAG, i LLM rischierebbero di generare risposte poco pertinenti al contesto aziendale, se non addirittura vere e proprie allucinazioni.

La RAG è una tecnica AI relativamente giovane, che ha visto la sua prima apparizione nella comunità scientifica nel 2020, con la pubblicazione del paper Retrieval-Augmented Generation for Knoweledge-Intensive NLP Talks, a cura di Patrick Lewis. L’obiettivo della RAG era chiaro sin dall’inizio: fare in modo che i LLM commerciali e open source possano utilizzare i dati, strutturati e non, dell’organizzazione che li utilizza, senza dover addestrare nuovamente il modello.

La RAG, contestualmente alle applicazioni di intelligenza artificiale generativa, viene adoperata in maniera sempre più diffusa in vari settori di business, nell’ambito del customer care, del supporto decisionale, della didattica personalizzata, dell’analisi finanziaria, delle proposte di viaggi/itinerari logistici, nelle consulenze mediche, nella creazione di contenuti per il marketing e la comunicazione, e molto altro ancora.

Differenza fra RAG e ottimizzazione del modello (fine tuning AI)

La RAG costituisce un approccio architettura per fornire ai LLM i dati di scenario non compresi nel training del modello. Ma non è certamente l’unico. Per posizionare la RAG è utile richiamare almeno altre tre tecniche AI.

• Ingegneria del prompt (prompt engineering): la realizzazione di prompt personalizzati guida il comportamento dei LLM con informazioni specifiche. Metodo molto rapido da implementare ma consente livelli di controllo piuttosto limitati.
• Fine tuning: insieme di tecniche utili a ottimizzare il modello pre-addestrato del LLM, grazie a set di dati specifici. Consente di ottenere un controllo elevato ma richiede dati etichettati e comporta costi computazionali non trascurabili.
• Re-traning: nei casi più drastici si opta per riaddestrare da zero il LLM, utilizzando grandi set di dati. Di fatto consiste nel più elevato livello di personalizzazione possibile, ma i costi elevati lo rendono plausibile in un numero molto limitato di situazioni.

In termini di onerosità, la RAG si colloca tra il prompt engineering e il fine tuning del modello del LLM. Va in ogni caso ribadito come tali tecniche siano tra loro mutuali, ed i migliori risultati spesso vengono raggiunti con una stategia ibrida, che ne prevede un utilizzo combinato, in particolare bilanciando in maniera ben ponderata RAG e ottimizzazione diretta del modello.

RAG: l’architettura della Retrieval-Augmented Generation

Come anticipato, la RAG utilizza set di dati specifici, inserendoli come parte del prompt impiegato per interrogare il LLM. Alla dimensione informativa statica del modello AI viene quindi aggiunta la conoscenza necessaria per rispondere a domande che comportano il ricorso ad informazioni recenti o specifiche degli asset aziendali.

La tecnologia della RAG appare piuttosto complessa per i non addetti ai lavori, in quanto coinvolge varie tecniche di machine learning e presuppone conoscenze di archivi vettoriali (vector search index, ecc.). Per comprenderne il funzionamento è possibile limitarsi alla descrizione dei componenti fondamentali: preparazione, indicizzazione, recupero informazioni rilevanti e inferenza del modello LLM.

• Preparazione dei dati (data preparation): Un adeguato processo di gestione documentale consente di elaborare i dati e renderli fruibili in maniera corretta, tenendo conto delle specifiche richieste dall’applicazione RAG (metadati, lunghezza, ecc.)
• Indicizzazione dei dati (index data): la RAG utilizza prevalentemente database vettoriali, per cui i dati vanno necessariamente sintetizzati in un indice vector search, ai fini di poterli recuperare con successo durante le query.
• Recupero delle informazioni rilevanti (information retrieval): l’applicazione RAG identifica i dati rilevanti per ogni richiesta specifica dell’utente e li inserisce nel prompt dell’interfaccia del LLM.
• Inferenza LLM (LLM inference): varie tecniche di deploy che consentono di rendere il modello LLM disponibile sulle applicazioni degli endpoint tramite API.

La RAG viene oggi utilizzata per implementare molte applicazioni, utili a tutte le linee di business, tra cui:

• Chatbot intelligenti: grazie alla RAG, i LLM alla base delle applicazioni chatbot possono offrire risposte accurate ed aggiornate sulla base dei dati resi disponibili dall’organizzazione; pertanto, sono molto diffusi nell’ambito del customer care.
• Motori di ricerca: la RAG consente di ricercare rapidamente informazioni sulla base dei dati aziendali, per soddisfare qualsiasi esigenza operativa dei dipendenti che si interfacciano con i LLM.

I vantaggi della Retrieval-Augmented Generation e le criticità da superare in azienda

Tra i principali vantaggi che una corretta e consapevole implementazione della RAG comporta nel contesto aziendale ritroviamo.

• Miglior gestione dei dati: Approcci come la RAG da un lato facilitano, dall’altro obbligano a ripensare il data management in maniera più efficiente, il che si produce in vantaggi tangibili non soltanto per i sistemi di AI generativa, ma per tutte le applicazioni che utilizzano correntemente i dati aziendali. In altri termini, l’implementazione della RAG contribuisce a rendere le aziende più data-driven nelle loro operazioni.
• Riduzione dei costi di personalizzazione di modelli: il re-training dei LLM costituisce un costo ben al di fuori della portata delle PMI e di gran parte delle aziende in generale. La RAG democratizza l’impiego dei LLM, riducendo all’essenziale gli interventi di fine-tuning del modello.
• Accuratezza delle risposte: i chatbot basati su un LLM possono offrire risposte più precise ed affidabili grazie ai dati rilevanti che la RAG inserisce automaticamente nel prompt dell’applicazione. La stessa logica risulta efficace in molti altri ambiti, tra cui le ricerche documentali interne, contribuendo ad un generale incremento della soddisfazione, per clienti e dipendenti.

A fronte di evidenti vantaggi, la RAG, come tutte le applicazioni che trattano i dati aziendali, comporta anche alcune evidenti criticità, che l’esperienza di un consulente e system integrator qualificato possono contribuire a superare.

Oltre alla naturale complessità tecnologica di sistemi nuovi per tutti, che comportano competenze al momento difficilmente reperibili sul mercato, è opportuno che le applicazioni RAG risultino pienamente conformi alle policy e alle normative relative al trattamento dei dati, soddisfando peraltro gli adempimenti richiesti dal GDPR e dalle specifiche di settore.

LEGGI ANCHE: Generative AI, allarme dati sensibili. Perché e quando usare ChatGPT è un rischio