Hallucinations de l'IA : ce qu'elles sont et pourquoi elles se produisent

Que sont les hallucinations de l’IA ?

Les hallucinations de l’IA se produisent lorsque les outils d’IA génèrent des informations incorrectes tout en semblant confiants. Ces erreurs peuvent aller d’inexactitudes mineures, comme une date historique erronée, à des informations sérieusement trompeuses, comme la recommandation de remèdes de santé obsolètes ou nocifs. Les hallucinations de l’IA peuvent survenir dans les systèmes alimentés par de grands modèles de langage (LLM) et d’autres technologies d’IA, y compris les systèmes de génération d’images.

Par exemple, un outil d’IA pourrait indiquer à tort que la Tour Eiffel mesure 335 mètres de haut au lieu de sa hauteur réelle de 330 mètres. Même si une telle erreur peut être sans conséquence dans une conversation informelle, des mesures précises sont essentielles dans des situations à enjeux élevés, comme pour fournir des conseils médicaux.

Pour réduire les hallucinations en IA, les développeurs utilisent deux techniques principales : la formation avec des exemples contradictoires, qui renforce les modèles, et leur affinement avec des métriques qui pénalisent les erreurs. Comprendre ces méthodes aide les utilisateurs à utiliser plus efficacement les outils d’IA et à évaluer de manière critique les informations qu’ils produisent.

Exemples d'hallucinations de l'IA

Les générations précédentes de modèles d’IA connaissaient des hallucinations plus fréquentes que les systèmes actuels. Parmi les incidents notables, citons le robot IA de Microsoft, Sydney, qui a déclaré au journaliste technique Kevin Roose qu'il « était amoureux de lui », et le générateur d'images Gemini AI de Google produisant des images historiquement inexactes.

Cependant, les outils d’IA d’aujourd’hui se sont améliorés, même si des hallucinations surviennent encore. Voici quelques types courants d’hallucinations IA :

• Fait historique :un outil d'IA pourrait affirmer que le premier alunissage a eu lieu en 1968, alors qu'il s'est réellement produit en 1969. De telles inexactitudes peuvent conduire à une fausse représentation d'événements importants de l'histoire de l'humanité.
• Erreur géographique :une IA peut désigner à tort Toronto comme la capitale du Canada alors que la capitale réelle est Ottawa. Cette désinformation pourrait dérouter les étudiants et les voyageurs qui cherchent à en apprendre davantage sur la géographie du Canada.
• Données financières :un modèle d'IA pourrait halluciner des indicateurs financiers, par exemple en affirmant que le cours des actions d'une entreprise a augmenté de 30 % en un jour alors qu'en réalité, la variation était bien moindre. S’appuyer uniquement sur des conseils financiers erronés pourrait conduire à de mauvaises décisions d’investissement.
• Conseils juridiques :un modèle d'IA pourrait donner l'impression aux utilisateurs que les accords verbaux sont aussi juridiquement contraignants que les contrats écrits dans tous les contextes. Cela ne tient pas compte du fait que certaines transactions (par exemple les transactions immobilières) nécessitent des contrats écrits pour être valides et exécutoires.
• Désinformation sur la recherche scientifique :un outil d'IA peut citer une étude censée confirmer une avancée scientifique alors qu'une telle étude n'existe pas. Ce type d’hallucination peut induire les chercheurs et le public en erreur sur des réalisations scientifiques importantes.

Pourquoi les hallucinations de l’IA se produisent-elles ?

Pour comprendre pourquoi les hallucinations se produisent dans l’IA, il est important de reconnaître le fonctionnement fondamental des LLM. Ces modèles sont construits sur ce que l'on appelle une architecture de transformateur, qui traite le texte (ou les jetons) et prédit le prochain jeton dans une séquence. Contrairement aux cerveaux humains, ils ne disposent pas d’un « modèle du monde » qui comprendrait de manière inhérente l’histoire, la physique ou d’autres sujets.

Une hallucination de l’IA se produit lorsque le modèle génère une réponse inexacte mais statistiquement similaire à des données factuellement correctes. Cela signifie que même si la réponse est fausse, elle présente une ressemblance sémantique ou structurelle avec ce que le modèle prédit comme probable.

Les autres raisons des hallucinations de l’IA comprennent :

Données d'entraînement incomplètes

Les modèles d’IA dépendent fortement de l’étendue et de la qualité des données sur lesquelles ils sont formés. Lorsque les données de formation sont incomplètes ou manquent de diversité, cela limite la capacité du modèle à générer des réponses précises et complètes. Ces modèles apprennent par l’exemple, et si leurs exemples ne couvrent pas un éventail suffisamment large de scénarios, de perspectives et de contrefactuels, leurs résultats peuvent refléter ces lacunes.

Cette limitation se manifeste souvent par des hallucinations, car un modèle d'IA peut compléter les informations manquantes avec des détails plausibles mais incorrects. Par exemple, si une IA a été principalement exposée aux données d’une région géographique (par exemple, un endroit doté de nombreux transports publics), elle peut générer des réponses qui supposent que ces caractéristiques sont mondiales alors qu’elles ne le sont pas. L’IA n’est pas équipée pour savoir qu’elle s’aventure au-delà des limites de ce sur quoi elle a été formée. Par conséquent, le modèle peut formuler des affirmations sûres, sans fondement ou biaisées.

Biais dans les données de formation

Le biais dans les données de formation est lié à l'exhaustivité, mais ce n'est pas la même chose. Alors que les données incomplètes font référence à des lacunes dans les informations fournies à l'IA, les données biaisées signifient que les informations disponibles sont faussées d'une manière ou d'une autre. Cela est inévitable dans une certaine mesure, étant donné que ces modèles sont formés en grande partie sur Internet et qu’Internet comporte des préjugés inhérents. Par exemple, de nombreux pays et populations sont sous-représentés en ligne : près de 3 milliards de personnes dans le monde n’ont toujours pas accès à Internet. Cela signifie que les données de formation peuvent ne pas refléter correctement les perspectives, les langues et les normes culturelles de ces communautés hors ligne.

Même parmi les populations en ligne, il existe des disparités quant à ceux qui créent et partagent le contenu, quels sujets sont abordés et comment ces informations sont présentées. Ces biais de données peuvent conduire à l’apprentissage des modèles d’IA et à perpétuer les biais dans leurs résultats. Un certain degré de biais est inévitable, mais l’ampleur et l’impact de l’asymétrie des données peuvent varier considérablement. Ainsi, l’objectif des développeurs d’IA est d’être conscients de ces biais, de s’efforcer de les atténuer lorsque cela est possible et d’évaluer si l’ensemble de données est approprié pour le cas d’utilisation prévu.

Manque de représentation explicite des connaissances

Les modèles d’IA apprennent grâce à la correspondance de modèles statistiques, mais manquent d’une représentation structurée des faits et des concepts. Même lorsqu'ils génèrent des déclarations factuelles, ils ne « savent » pas qu'elles sont vraies parce qu'ils ne disposent pas de mécanisme pour suivre ce qui est réel et ce qui ne l'est pas.

Cette absence de cadre factuel distinct signifie que même si les LLM peuvent produire des informations très fiables, ils excellent dans l’imitation du langage humain sans la véritable compréhension ou vérification des faits que possèdent les humains. Cette limitation fondamentale constitue une différence clé entre l’IA et la cognition humaine. Alors que l’IA continue de se développer, il reste crucial pour les développeurs de relever ce défi afin d’améliorer la fiabilité des systèmes d’IA.

Manque de compréhension du contexte

Le contexte est crucial dans la communication humaine, mais les modèles d’IA ont souvent du mal à le gérer. Lorsqu’elles sont sollicitées en langage naturel, leurs réponses peuvent être trop littérales ou déconnectées de la réalité parce qu’elles n’ont pas la compréhension plus profonde que les humains tirent du contexte : notre connaissance du monde, nos expériences vécues, notre capacité à lire entre les lignes et notre compréhension des hypothèses tacites.

Au cours de l’année écoulée, les modèles d’IA ont amélioré leur compréhension du contexte humain, mais ils ont encore du mal à gérer des éléments tels que les sous-textes émotionnels, le sarcasme, l’ironie et les références culturelles. L'argot ou les expressions familières dont le sens a évolué peuvent être mal interprétés par un modèle d'IA qui n'a pas été récemment mis à jour. Jusqu’à ce que les modèles d’IA soient capables d’interpréter le réseau complexe d’expériences et d’émotions humaines, les hallucinations resteront un défi de taille.

À quelle fréquence les chatbots IA hallucinent-ils ?

Il est difficile de déterminer la fréquence exacte des hallucinations de l’IA. Le taux varie considérablement en fonction du modèle ou du contexte dans lequel les outils d’IA sont utilisés. Une estimation de Vectara, une startup d'IA, suggère que les chatbots hallucinent entre 3 % et 27 % du temps, selon le classement public des hallucinations de Vectara sur GitHub, qui suit la fréquence des hallucinations parmi les chatbots populaires lors de la synthèse de documents.

Les entreprises technologiques ont mis en place des clauses de non-responsabilité dans leurs chatbots qui avertissent les gens des inexactitudes potentielles et de la nécessité d'une vérification supplémentaire. Les développeurs travaillent activement à affiner les modèles et nous avons déjà constaté des progrès l'année dernière. Par exemple, OpenAI note que GPT-4 est 40 % plus susceptible de produire des réponses factuelles que son prédécesseur.

Comment prévenir les hallucinations de l'IA

Bien qu’il soit impossible d’éradiquer complètement les hallucinations de l’IA, plusieurs stratégies peuvent réduire leur apparition et leur impact. Certaines de ces méthodes sont davantage applicables aux chercheurs et aux développeurs travaillant à l’amélioration des modèles d’IA, tandis que d’autres concernent les personnes ordinaires utilisant des outils d’IA.

Améliorer la qualité des données de formation

Garantir des données diversifiées et de haute qualité est crucial pour tenter de prévenir les hallucinations de l’IA. Si les données de formation sont incomplètes, biaisées ou manquent de variété suffisante, le modèle aura du mal à générer des résultats précis face à des cas nouveaux ou extrêmes. Les chercheurs et les développeurs doivent s’efforcer de constituer des ensembles de données complets et représentatifs qui couvrent diverses perspectives.

Limiter le nombre de résultats

Dans certains cas, les hallucinations de l’IA se produisent lorsque les modèles génèrent un grand nombre de réponses. Par exemple, si vous demandez au modèle 20 exemples d'invites d'écriture créative, vous réaliserez peut-être que la qualité du résultat diminue vers la fin de l'ensemble. Pour atténuer ce problème, vous pouvez limiter l'ensemble de résultats à un nombre plus petit et demander à l'outil d'IA de se concentrer sur les réponses les plus prometteuses et les plus cohérentes, réduisant ainsi les chances qu'il réponde avec des résultats tirés par les cheveux ou incohérents.

Tests et validation

Les développeurs et les utilisateurs doivent tester et valider les outils d’IA pour garantir leur fiabilité. Les développeurs doivent systématiquement évaluer les résultats du modèle par rapport à des vérités connues, des jugements d'experts et des heuristiques d'évaluation pour identifier les modèles d'hallucinations. Toutes les hallucinations ne sont pas identiques ; une fabrication complète diffère d'une interprétation erronée en raison d'un indice contextuel manquant.

Les utilisateurs doivent valider les performances de l'outil à des fins spécifiques avant de faire confiance à ses résultats. Les outils d’IA excellent dans des tâches telles que la synthèse de texte, la génération de texte et le codage, mais ne sont pas parfaits dans tous les domaines. Fournir des exemples de résultats souhaités et indésirables lors des tests aide l’IA à connaître vos préférences. Investir du temps dans les tests et la validation peut réduire considérablement le risque d'hallucinations de l'IA dans votre application.

Fournir des modèles pour les sorties structurées

Vous pouvez fournir des modèles de données qui indiquent aux modèles d'IA le format ou la structure précise dans laquelle vous souhaitez que les informations soient présentées. En spécifiant exactement comment les résultats doivent être organisés et quels éléments clés doivent être inclus, vous pouvez guider le système d'IA pour générer des réponses plus ciblées et plus pertinentes. Par exemple, si vous utilisez un outil d'IA pour évaluer les produits Amazon, copiez simplement tout le texte d'une page de produit, puis demandez à l'outil d'IA de catégoriser le produit à l'aide de l'exemple de modèle suivant :

Invite :analysez le texte de la page du produit Amazon fourni et remplissez le modèle ci-dessous. Extrayez les détails pertinents, gardez les informations concises et précises et concentrez-vous sur les aspects les plus importants. S’il manque des informations, écrivez « N/A ». N’ajoutez aucune information non directement référencée dans le texte.

• Nom du produit : [Nom du produit déduit de l'IA ici]
• Catégorie de produit : [Catégorie de produit déduite par l'IA ici]
• Fourchette de prix : [Prix déduit par l'IA ici] [Dollars américains]
• Principales caractéristiques : [descriptions concises ici]
• Avantages [top 3 en puces]
• Inconvénients [top 3 des puces]
• Note globale : [classé sur une échelle de 1 à 5]
• Résumé du produit : [2 à 3 phrases maximum]

Le résultat obtenu est beaucoup moins susceptible d’impliquer des résultats erronés et des informations ne répondant pas aux spécifications que vous avez fournies.

Utilisez les outils d’IA de manière responsable

Bien que les stratégies mentionnées ci-dessus puissent aider à prévenir les hallucinations de l’IA à un niveau systémique, les utilisateurs individuels peuvent apprendre à utiliser les outils d’IA de manière plus responsable. Ces pratiques n’empêchent peut-être pas les hallucinations, mais elles peuvent améliorer vos chances d’obtenir des informations fiables et précises auprès des systèmes d’IA.

• Croisez les résultats et diversifiez vos sources :Ne comptez pas uniquement sur un seul outil d’IA pour les informations critiques. Croisez les résultats avec d'autres sources réputées, telles que des organismes de presse établis, des publications universitaires, des experts humains de confiance et des rapports gouvernementaux pour valider l'exactitude et l'exhaustivité des informations.
• Faites preuve de jugement :sachez que les outils d’IA, même les plus avancés, ont des limites et sont sujets aux erreurs. Ne faites pas automatiquement confiance à leurs résultats. Abordez-les avec un œil critique et utilisez votre propre jugement lorsque vous prenez des décisions basées sur les informations générées par l'IA.
• Utiliser l’IA comme point de départ :traitez les résultats générés par les outils d’IA comme un point de départ pour des recherches et des analyses plus approfondies plutôt que comme des réponses définitives. Utilisez l’IA pour explorer des idées, générer des hypothèses et identifier des informations pertinentes, mais toujours valider et développer les informations générées grâce à l’expertise humaine et à des recherches supplémentaires.

Conclusion

Les hallucinations de l’IA proviennent des limites actuelles des systèmes LLM, allant d’inexactitudes mineures à des fabrications complètes. Ces problèmes sont dus à des données de formation incomplètes ou biaisées, à une compréhension contextuelle limitée et à un manque de connaissances explicites.

Même si elle représente un défi, la technologie de l’IA reste puissante et s’améliore continuellement. Les chercheurs s’efforcent de réduire les hallucinations et des progrès significatifs ont été réalisés. Vous pouvez limiter les hallucinations en fournissant des modèles structurés, en limitant la sortie et en validant le modèle pour votre cas d'utilisation.

Explorez les outils d'IA avec un esprit ouvert. Ils offrent des capacités impressionnantes qui améliorent l’ingéniosité humaine et la productivité. Cependant, utilisez votre jugement avec les résultats générés par l’IA et croisez les informations avec des sources fiables. Profitez du potentiel de l’IA tout en restant vigilant face aux hallucinations.