Allucinazioni AI: cosa sono e perché accadono

Cosa sono le allucinazioni dell'IA?

Le allucinazioni dell'intelligenza artificiale si verificano quando gli strumenti dell'intelligenza artificiale generano informazioni errate pur apparendo sicuri. Questi errori possono variare da piccole imprecisioni, come l'indicazione errata di una data storica, a informazioni gravemente fuorvianti, come la raccomandazione di rimedi per la salute obsoleti o dannosi. Le allucinazioni legate all’intelligenza artificiale possono verificarsi in sistemi alimentati da modelli linguistici di grandi dimensioni (LLM) e altre tecnologie di intelligenza artificiale, inclusi i sistemi di generazione di immagini.

Ad esempio, uno strumento di intelligenza artificiale potrebbe erroneamente affermare che la Torre Eiffel è alta 335 metri invece della sua altezza effettiva di 330 metri. Sebbene un simile errore possa essere irrilevante in una conversazione casuale, misurazioni accurate sono fondamentali in situazioni ad alto rischio, come fornire consulenza medica.

Per ridurre le allucinazioni nell’intelligenza artificiale, gli sviluppatori utilizzano due tecniche principali: l’addestramento con esempi contraddittori, che rafforzano i modelli, e il loro perfezionamento con metriche che penalizzano gli errori. Comprendere questi metodi aiuta gli utenti a utilizzare in modo più efficace gli strumenti di intelligenza artificiale e a valutare criticamente le informazioni che producono.

Esempi di allucinazioni dell'IA

Le generazioni precedenti di modelli di intelligenza artificiale sperimentavano allucinazioni più frequenti rispetto ai sistemi attuali. Incidenti degni di nota includono il bot AI di Microsoft Sydney che dice al giornalista tecnologico Kevin Roose che "era innamorato di lui" e il generatore di immagini AI Gemini di Google che produce immagini storicamente imprecise.

Tuttavia, gli strumenti di intelligenza artificiale di oggi sono migliorati, sebbene si verifichino ancora allucinazioni. Ecco alcuni tipi comuni di allucinazioni AI:

• Fatto storico:uno strumento di intelligenza artificiale potrebbe affermare che il primo sbarco sulla Luna è avvenuto nel 1968, quando in realtà è avvenuto nel 1969. Tali inesattezze possono portare a travisamenti di eventi significativi nella storia umana.
• Errore geografico:un'intelligenza artificiale potrebbe erroneamente riferirsi a Toronto come capitale del Canada nonostante la capitale effettiva sia Ottawa. Questa disinformazione potrebbe confondere studenti e viaggiatori che desiderano conoscere la geografia del Canada.
• Dati finanziari:un modello di intelligenza artificiale potrebbe creare allucinazioni sui parametri finanziari, ad esempio affermando che il prezzo delle azioni di una società è aumentato del 30% in un giorno in cui, in realtà, la variazione è stata molto inferiore. Affidarsi esclusivamente a una consulenza finanziaria errata potrebbe portare a decisioni di investimento sbagliate.
• Guida legale:un modello di intelligenza artificiale potrebbe disinformare gli utenti sul fatto che gli accordi verbali sono giuridicamente vincolanti quanto i contratti scritti in tutti i contesti. Ciò trascura il fatto che alcune transazioni (ad esempio, le transazioni immobiliari) richiedono contratti scritti per validità ed esecutività.
• Disinformazione sulla ricerca scientifica:uno strumento di intelligenza artificiale potrebbe citare uno studio che presumibilmente conferma una svolta scientifica quando non esiste alcuno studio del genere. Questo tipo di allucinazioni può fuorviare i ricercatori e il pubblico riguardo a risultati scientifici significativi.

Perché si verificano le allucinazioni dell'intelligenza artificiale?

Per capire perché si verificano le allucinazioni nell'intelligenza artificiale, è importante riconoscere il funzionamento fondamentale degli LLM. Questi modelli sono basati sulla cosiddetta architettura del trasformatore, che elabora il testo (o i token) e prevede il token successivo in una sequenza. A differenza del cervello umano, non hanno un “modello mondiale” che comprenda intrinsecamente la storia, la fisica o altri argomenti.

Un'allucinazione dell'intelligenza artificiale si verifica quando il modello genera una risposta imprecisa ma statisticamente simile ai dati fattivamente corretti. Ciò significa che, sebbene la risposta sia falsa, ha una somiglianza semantica o strutturale con ciò che il modello prevede come probabile.

Altri motivi per le allucinazioni dell'IA includono:

Dati di addestramento incompleti

I modelli di intelligenza artificiale fanno molto affidamento sull’ampiezza e sulla qualità dei dati su cui vengono addestrati. Quando i dati di addestramento sono incompleti o privi di diversità, limita la capacità del modello di generare risposte accurate e complete. Questi modelli imparano dall’esempio e, se i loro esempi non coprono una gamma sufficientemente ampia di scenari, prospettive e controfattuali, i loro risultati possono riflettere queste lacune.

Questa limitazione si manifesta spesso come allucinazioni perché un modello di intelligenza artificiale può integrare le informazioni mancanti con dettagli plausibili ma errati. Ad esempio, se un’intelligenza artificiale è stata esposta prevalentemente a dati provenienti da una regione geografica, ad esempio un luogo con numerosi trasporti pubblici, potrebbe generare risposte che presuppongono che questi tratti siano globali quando non lo sono. L'intelligenza artificiale non è attrezzata per sapere che si sta avventurando oltre i confini di ciò per cui è stata addestrata. Pertanto, il modello potrebbe fare affermazioni fiduciose che sono infondate o distorte.

Distorsione nei dati di addestramento

La distorsione nei dati di addestramento è correlata alla completezza, ma non è la stessa cosa. Mentre i dati incompleti si riferiscono a lacune nelle informazioni fornite all’IA, i dati distorti significano che le informazioni disponibili sono in qualche modo distorte. Ciò è in una certa misura inevitabile, dato che questi modelli sono formati in gran parte su Internet e Internet ha pregiudizi intrinseci. Ad esempio, molti paesi e popolazioni sono sottorappresentati online: quasi 3 miliardi di persone in tutto il mondo non hanno ancora accesso a Internet. Ciò significa che i dati sulla formazione potrebbero non riflettere adeguatamente le prospettive, le lingue e le norme culturali di queste comunità offline.

Anche tra le popolazioni online, ci sono disparità su chi crea e condivide contenuti, quali argomenti vengono discussi e come vengono presentate tali informazioni. Queste distorsioni dei dati possono portare i modelli di intelligenza artificiale ad apprendere e perpetuare pregiudizi nei loro risultati. Un certo grado di distorsione è inevitabile, ma la portata e l’impatto della distorsione dei dati possono variare considerevolmente. Pertanto, l’obiettivo per gli sviluppatori di intelligenza artificiale è essere consapevoli di questi pregiudizi, lavorare per mitigarli ove possibile e valutare se il set di dati è appropriato per il caso d’uso previsto.

Mancanza di rappresentazione esplicita della conoscenza

I modelli di intelligenza artificiale apprendono attraverso la corrispondenza di modelli statistici, ma mancano di una rappresentazione strutturata di fatti e concetti. Anche quando generano affermazioni basate sui fatti, non “sanno” che siano vere perché non hanno un meccanismo per tenere traccia di cosa è reale e cosa non lo è.

Questa assenza di un quadro fattuale distinto significa che, sebbene gli LLM possano produrre informazioni altamente affidabili, eccellono nell’imitare il linguaggio umano senza la genuina comprensione o verifica dei fatti posseduti dagli esseri umani. Questa limitazione fondamentale è una differenza fondamentale tra l’intelligenza artificiale e la cognizione umana. Poiché l’intelligenza artificiale continua a svilupparsi, affrontare questa sfida rimane fondamentale per gli sviluppatori per migliorare l’affidabilità dei sistemi di intelligenza artificiale.

Mancanza di comprensione del contesto

Il contesto è cruciale nella comunicazione umana, ma i modelli di intelligenza artificiale spesso hanno difficoltà con esso. Quando vengono sollecitate nel linguaggio naturale, le loro risposte possono essere eccessivamente letterali o fuori dal mondo perché mancano della comprensione più profonda che gli esseri umani traggono dal contesto: la nostra conoscenza del mondo, le esperienze vissute, la capacità di leggere tra le righe e la comprensione di presupposti inespressi.

Nell’ultimo anno, i modelli di intelligenza artificiale sono migliorati nella comprensione del contesto umano, ma continuano a lottare con elementi come il sottotesto emotivo, il sarcasmo, l’ironia e i riferimenti culturali. Le frasi gergali o colloquiali il cui significato si è evoluto potrebbero essere interpretate erroneamente da un modello di intelligenza artificiale che non è stato aggiornato di recente. Fino a quando i modelli di intelligenza artificiale non riusciranno a interpretare la complessa rete di esperienze ed emozioni umane, le allucinazioni rimarranno una sfida significativa.

Con quale frequenza i chatbot IA hanno allucinazioni?

È difficile determinare l'esatta frequenza delle allucinazioni dell'intelligenza artificiale. Il tasso varia ampiamente in base al modello o al contesto in cui vengono utilizzati gli strumenti di intelligenza artificiale. Una stima di Vectara, una startup di intelligenza artificiale, suggerisce che i chatbot hanno allucinazioni tra il 3% e il 27% delle volte, secondo la classifica pubblica delle allucinazioni di Vectara su GitHub, che tiene traccia della frequenza delle allucinazioni tra i chatbot più popolari durante il riepilogo dei documenti.

Le aziende tecnologiche hanno implementato disclaimer nei loro chatbot che avvertono le persone di potenziali inesattezze e della necessità di ulteriori verifiche. Gli sviluppatori stanno lavorando attivamente per perfezionare i modelli e abbiamo già visto progressi nell'ultimo anno. Ad esempio, OpenAI rileva che GPT-4 ha il 40% in più di probabilità di produrre risposte basate sui fatti rispetto al suo predecessore.

Come prevenire le allucinazioni dell'IA

Sebbene sia impossibile sradicare completamente le allucinazioni legate all’intelligenza artificiale, diverse strategie possono ridurne la comparsa e l’impatto. Alcuni di questi metodi sono più applicabili a ricercatori e sviluppatori che lavorano per migliorare i modelli di intelligenza artificiale, mentre altri riguardano le persone comuni che utilizzano strumenti di intelligenza artificiale.

Migliorare la qualità dei dati di addestramento

Garantire dati diversificati e di alta qualità è fondamentale quando si cerca di prevenire le allucinazioni dell’intelligenza artificiale. Se i dati di addestramento sono incompleti, distorti o privi di varietà sufficiente, il modello avrà difficoltà a generare risultati accurati di fronte a casi nuovi o limite. I ricercatori e gli sviluppatori dovrebbero sforzarsi di curare set di dati completi e rappresentativi che coprano varie prospettive.

Limitare il numero di risultati

In alcuni casi, le allucinazioni dell’intelligenza artificiale si verificano quando i modelli generano un gran numero di risposte. Ad esempio, se chiedi al modello 20 esempi di suggerimenti di scrittura creativa, potresti realizzare che la qualità del risultato diminuisce verso la fine del set. Per mitigare questo problema, è possibile limitare il set di risultati a un numero inferiore e istruire lo strumento di intelligenza artificiale a concentrarsi sulle risposte più promettenti e coerenti, riducendo le possibilità che risponda con risultati inverosimili o incoerenti.

Test e validazione

Sia gli sviluppatori che gli utenti devono testare e convalidare gli strumenti di intelligenza artificiale per garantirne l'affidabilità. Gli sviluppatori devono valutare sistematicamente i risultati del modello rispetto a verità conosciute, giudizi di esperti ed euristiche di valutazione per identificare modelli di allucinazioni. Non tutte le allucinazioni sono uguali; una fabbricazione completa differisce da un'interpretazione errata dovuta alla mancanza di un indizio contestuale.

Gli utenti dovrebbero convalidare le prestazioni dello strumento per scopi specifici prima di fidarsi dei suoi risultati. Gli strumenti di intelligenza artificiale eccellono in attività come il riepilogo del testo, la generazione di testo e la codifica, ma non sono perfetti in tutto. Fornire esempi di risultati desiderati e indesiderati durante i test aiuta l'intelligenza artificiale ad apprendere le tue preferenze. Investire tempo in test e validazioni può ridurre significativamente il rischio di allucinazioni legate all'intelligenza artificiale nella tua applicazione.

Fornire modelli per risultati strutturati

Puoi fornire modelli di dati che indichino ai modelli di intelligenza artificiale il formato o la struttura precisa in cui desideri che vengano presentate le informazioni. Specificando esattamente come dovrebbero essere organizzati i risultati e quali elementi chiave dovrebbero essere inclusi, puoi guidare il sistema di intelligenza artificiale a generare risposte più mirate e pertinenti. Ad esempio, se utilizzi uno strumento AI per recensire i prodotti Amazon, copia semplicemente tutto il testo da una pagina di prodotto, quindi istruisci lo strumento AI a classificare il prodotto utilizzando il seguente modello di esempio:

Suggerimento:analizza il testo della pagina del prodotto Amazon fornito e compila il modello seguente. Estrai i dettagli rilevanti, mantieni le informazioni concise e accurate e concentrati sugli aspetti più importanti. Se mancano informazioni, scrivi "N/A". Non aggiungere alcuna informazione non direttamente citata nel testo.

• Nome del prodotto: [nome del prodotto dedotto dall'intelligenza artificiale qui]
• Categoria di prodotto: [categoria di prodotto dedotta dall'intelligenza artificiale qui]
• Intervallo di prezzo: [prezzo dedotto dall'intelligenza artificiale qui] [dollari USA]
• Caratteristiche principali: [descrizioni concise qui]
• Pro [primi 3 in elenco]
• Contro [primi 3 in elenco]
• Valutazione complessiva: [classificato su una scala da 1 a 5]
• Riepilogo del prodotto: [massimo 2-3 frasi]

È molto meno probabile che l'output risultante contenga output errati e informazioni che non soddisfano le specifiche fornite.

Utilizzare gli strumenti di intelligenza artificiale in modo responsabile

Mentre le strategie sopra menzionate possono aiutare a prevenire le allucinazioni dell’intelligenza artificiale a livello sistemico, i singoli utenti possono imparare a utilizzare gli strumenti dell’intelligenza artificiale in modo più responsabile. Queste pratiche potrebbero non prevenire le allucinazioni, ma possono aumentare le possibilità di ottenere informazioni affidabili e accurate dai sistemi di intelligenza artificiale.

• Risultati incrociati e diversifica le tue fonti:non fare affidamento esclusivamente su un unico strumento di intelligenza artificiale per informazioni critiche. Confronta i risultati con altre fonti attendibili, come testate giornalistiche affermate, pubblicazioni accademiche, esperti umani fidati e rapporti governativi per convalidare l'accuratezza e la completezza delle informazioni.
• Usa il tuo giudizio:riconosci che gli strumenti di intelligenza artificiale, anche quelli più avanzati, presentano limiti e sono soggetti a errori. Non fidarti automaticamente dei loro risultati. Avvicinati a loro con occhio critico e usa il tuo giudizio quando prendi decisioni basate sulle informazioni generate dall'intelligenza artificiale.
• Utilizzare l’intelligenza artificiale come punto di partenza:trattare i risultati generati dagli strumenti di intelligenza artificiale come punto di partenza per ulteriori ricerche e analisi piuttosto che come risposte definitive. Utilizza l'intelligenza artificiale per esplorare idee, generare ipotesi e identificare informazioni rilevanti, ma convalida e amplia sempre le informazioni generate attraverso competenze umane e ricerche aggiuntive.

Conclusione

Le allucinazioni dell'intelligenza artificiale derivano dalle attuali limitazioni dei sistemi LLM, che vanno da piccole imprecisioni a complete invenzioni. Ciò si verifica a causa di dati di formazione incompleti o distorti, di una comprensione contestuale limitata e della mancanza di conoscenza esplicita.

Sebbene sia impegnativa, la tecnologia dell’intelligenza artificiale rimane potente ed è in continuo miglioramento. I ricercatori stanno lavorando per ridurre le allucinazioni e sono stati compiuti progressi significativi. Puoi limitare le allucinazioni fornendo modelli strutturati, vincolando l'output e convalidando il modello per il tuo caso d'uso.

Esplora gli strumenti di intelligenza artificiale con una mente aperta. Offrono capacità impressionanti che migliorano l’ingegno e la produttività umana. Tuttavia, usa il tuo giudizio con i risultati generati dall'intelligenza artificiale e confronta le informazioni con fonti affidabili. Abbraccia il potenziale dell'intelligenza artificiale rimanendo vigile per le allucinazioni.