Alucinaciones por IA: qué son y por qué ocurren

¿Qué son las alucinaciones de la IA?

Las alucinaciones de IA ocurren cuando las herramientas de IA generan información incorrecta mientras parecen seguras. Estos errores pueden variar desde inexactitudes menores, como indicar erróneamente una fecha histórica, hasta información muy engañosa, como recomendar remedios para la salud obsoletos o perjudiciales. Las alucinaciones de IA pueden ocurrir en sistemas impulsados ​​por grandes modelos de lenguaje (LLM) y otras tecnologías de IA, incluidos los sistemas de generación de imágenes.

Por ejemplo, una herramienta de inteligencia artificial podría indicar incorrectamente que la Torre Eiffel tiene 335 metros de altura en lugar de su altura real de 330 metros. Si bien un error de este tipo puede ser intrascendente en una conversación informal, las mediciones precisas son fundamentales en situaciones de alto riesgo, como brindar asesoramiento médico.

Para reducir las alucinaciones en la IA, los desarrolladores utilizan dos técnicas principales: entrenar con ejemplos contradictorios, lo que fortalece los modelos, y afinarlos con métricas que penalizan los errores. Comprender estos métodos ayuda a los usuarios a utilizar de manera más efectiva las herramientas de inteligencia artificial y evaluar críticamente la información que producen.

Ejemplos de alucinaciones de IA

Las generaciones anteriores de modelos de IA experimentaron alucinaciones más frecuentes que los sistemas actuales. Los incidentes notables incluyen el robot de inteligencia artificial de Microsoft, Sydney, que le dijo al periodista de tecnología Kevin Roose que "estaba enamorado de él" y el generador de imágenes de inteligencia artificial Gemini de Google que produce imágenes históricamente inexactas.

Sin embargo, las herramientas de inteligencia artificial actuales han mejorado, aunque todavía se producen alucinaciones. A continuación se muestran algunos tipos comunes de alucinaciones de IA:

• Hecho histórico: una herramienta de inteligencia artificial podría afirmar que el primer alunizaje ocurrió en 1968, cuando en realidad ocurrió en 1969. Tales imprecisiones pueden llevar a tergiversaciones de eventos importantes en la historia de la humanidad.
• Error geográfico: una IA podría referirse incorrectamente a Toronto como la capital de Canadá a pesar de que la capital real sea Ottawa.Esta información errónea podría confundir a los estudiantes y viajeros que buscan aprender sobre la geografía de Canadá.
• Datos financieros: un modelo de IA podría alucinar métricas financieras, como afirmar que el precio de las acciones de una empresa aumentó un 30 por ciento en un día cuando, en realidad, el cambio fue mucho menor.Depender únicamente de asesoramiento financiero erróneo podría llevar a malas decisiones de inversión.
• Orientación jurídica: un modelo de IA podría desinformar a los usuarios de que los acuerdos verbales son tan jurídicamente vinculantes como los contratos escritos en todos los contextos.Esto pasa por alto el hecho de que ciertas transacciones (por ejemplo, transacciones inmobiliarias) requieren contratos escritos para su validez y aplicabilidad.
• Información errónea sobre la investigación científica: una herramienta de inteligencia artificial podría citar un estudio que supuestamente confirma un avance científico cuando tal estudio no existe.Este tipo de alucinación puede engañar a los investigadores y al público sobre importantes logros científicos.

¿Por qué ocurren las alucinaciones por IA?

Para comprender por qué ocurren las alucinaciones en la IA, es importante reconocer el funcionamiento fundamental de los LLM. Estos modelos se basan en lo que se conoce como arquitectura transformadora, que procesa texto (o tokens) y predice el siguiente token en una secuencia. A diferencia de los cerebros humanos, no tienen un “modelo mundial” que comprenda inherentemente la historia, la física u otras materias.

Una alucinación de IA ocurre cuando el modelo genera una respuesta que es inexacta pero estadísticamente similar a datos objetivamente correctos. Esto significa que, si bien la respuesta es falsa, tiene un parecido semántico o estructural con lo que el modelo predice como probable.

Otras razones de las alucinaciones por IA incluyen:

Datos de entrenamiento incompletos

Los modelos de IA dependen en gran medida de la amplitud y calidad de los datos con los que se entrenan. Cuando los datos de entrenamiento están incompletos o carecen de diversidad, limitan la capacidad del modelo para generar respuestas precisas y completas. Estos modelos aprenden con el ejemplo, y si sus ejemplos no cubren una gama suficientemente amplia de escenarios, perspectivas y contrafactuales, sus resultados pueden reflejar estas brechas.

Esta limitación a menudo se manifiesta como alucinaciones porque un modelo de IA puede completar la información faltante con detalles plausibles pero incorrectos. Por ejemplo, si una IA ha estado predominantemente expuesta a datos de una región geográfica (por ejemplo, un lugar con mucho transporte público) podría generar respuestas que asuman que estos rasgos son globales cuando no lo son. La IA no está equipada para saber que se está aventurando más allá de los límites para los que fue entrenada. Por lo tanto, el modelo podría hacer afirmaciones seguras que no tengan fundamento o estén sesgadas.

Sesgo en los datos de entrenamiento.

El sesgo en los datos de entrenamiento está relacionado con la integridad, pero no es lo mismo. Si bien los datos incompletos se refieren a lagunas en la información proporcionada a la IA, los datos sesgados significan que la información disponible está sesgada de alguna manera. Esto es inevitable hasta cierto punto, dado que estos modelos se entrenan en gran medida en Internet, y Internet tiene sesgos inherentes. Por ejemplo, muchos países y poblaciones están subrepresentados en línea: casi 3 mil millones de personas en todo el mundo todavía carecen de acceso a Internet. Esto significa que es posible que los datos de capacitación no reflejen adecuadamente las perspectivas, los idiomas y las normas culturales de estas comunidades fuera de línea.

Incluso entre las poblaciones en línea, existen disparidades en quién crea y comparte contenido, qué temas se discuten y cómo se presenta esa información. Estos datos sesgados pueden llevar a que los modelos de IA aprendan y perpetúen sesgos en sus resultados. Es inevitable cierto grado de sesgo, pero el alcance y el impacto del sesgo de los datos pueden variar considerablemente. Por lo tanto, el objetivo de los desarrolladores de IA es ser conscientes de estos sesgos, trabajar para mitigarlos cuando sea posible y evaluar si el conjunto de datos es apropiado para el caso de uso previsto.

Falta de representación explícita del conocimiento.

Los modelos de IA aprenden mediante la comparación de patrones estadísticos, pero carecen de una representación estructurada de hechos y conceptos. Incluso cuando generan declaraciones factuales, no “saben” que sean ciertas porque no tienen un mecanismo para rastrear qué es real y qué no.

Esta ausencia de un marco fáctico distinto significa que, si bien los LLM pueden producir información altamente confiable, se destacan en imitar el lenguaje humano sin la comprensión o verificación genuina de los hechos que poseen los humanos. Esta limitación fundamental es una diferencia clave entre la IA y la cognición humana. A medida que la IA continúa desarrollándose, abordar este desafío sigue siendo crucial para que los desarrolladores mejoren la confiabilidad de los sistemas de IA.

Falta de comprensión del contexto

El contexto es crucial en la comunicación humana, pero los modelos de IA a menudo tienen problemas con él. Cuando se les pide en lenguaje natural, sus respuestas pueden ser demasiado literales o fuera de contacto porque carecen de la comprensión más profunda que los humanos obtienen del contexto: nuestro conocimiento del mundo, las experiencias vividas, la capacidad de leer entre líneas y la comprensión de suposiciones tácitas.

Durante el año pasado, los modelos de IA mejoraron en la comprensión del contexto humano, pero todavía tienen problemas con elementos como el subtexto emocional, el sarcasmo, la ironía y las referencias culturales. Las jergas o frases coloquiales cuyo significado ha evolucionado pueden ser malinterpretadas por un modelo de IA que no se haya actualizado recientemente. Hasta que los modelos de IA puedan interpretar la compleja red de experiencias y emociones humanas, las alucinaciones seguirán siendo un desafío importante.

¿Con qué frecuencia alucinan los chatbots de IA?

Es un desafío determinar la frecuencia exacta de las alucinaciones de la IA. La tasa varía ampliamente según el modelo o contexto en el que se utilizan las herramientas de IA. Una estimación de Vectara, una startup de inteligencia artificial, sugiere que los chatbots alucinan entre el 3 y el 27 por ciento de las veces, según la tabla de clasificación de alucinaciones públicas de Vectara en GitHub, que rastrea la frecuencia de las alucinaciones entre los chatbots populares al resumir documentos.

Las empresas de tecnología han implementado descargos de responsabilidad en sus chatbots que advierten a las personas sobre posibles imprecisiones y la necesidad de verificación adicional. Los desarrolladores están trabajando activamente para perfeccionar los modelos y ya hemos visto avances durante el último año. Por ejemplo, OpenAI señala que GPT-4 tiene un 40 por ciento más de probabilidades de producir respuestas fácticas que su predecesor.

Cómo prevenir las alucinaciones por IA

Si bien es imposible erradicar por completo las alucinaciones de la IA, existen varias estrategias que pueden reducir su aparición y su impacto. Algunos de estos métodos son más aplicables a investigadores y desarrolladores que trabajan para mejorar los modelos de IA, mientras que otros pertenecen a la gente común que utiliza herramientas de IA.

Mejorar la calidad de los datos de entrenamiento.

Garantizar datos diversos y de alta calidad es crucial cuando se intenta prevenir las alucinaciones por IA. Si los datos de entrenamiento están incompletos, sesgados o carecen de variedad suficiente, el modelo tendrá dificultades para generar resultados precisos cuando se enfrente a casos novedosos o extremos. Los investigadores y desarrolladores deben esforzarse por seleccionar conjuntos de datos completos y representativos que cubran diversas perspectivas.

Limitar el número de resultados

En algunos casos, las alucinaciones de la IA ocurren cuando los modelos generan una gran cantidad de respuestas. Por ejemplo, si le pide al modelo 20 ejemplos de indicaciones de escritura creativa, es posible que se dé cuenta de que la calidad del resultado disminuye hacia el final del conjunto. Para mitigar esto, puede limitar el conjunto de resultados a un número menor e indicar a la herramienta de IA que se centre en las respuestas más prometedoras y coherentes, reduciendo las posibilidades de que responda con resultados inverosímiles o inconsistentes.

Pruebas y validación

Tanto los desarrolladores como los usuarios deben probar y validar las herramientas de inteligencia artificial para garantizar la confiabilidad. Los desarrolladores deben evaluar sistemáticamente los resultados del modelo comparándolos con verdades conocidas, juicios de expertos y heurísticas de evaluación para identificar patrones de alucinaciones. No todas las alucinaciones son iguales; una invención completa difiere de una mala interpretación debido a la falta de una pista de contexto.

Los usuarios deben validar el rendimiento de la herramienta para propósitos específicos antes de confiar en sus resultados. Las herramientas de inteligencia artificial destacan en tareas como el resumen y la generación de texto y la codificación, pero no son perfectas en todo. Proporcionar ejemplos de resultados deseados y no deseados durante las pruebas ayuda a la IA a conocer sus preferencias. Invertir tiempo en pruebas y validación puede reducir significativamente el riesgo de alucinaciones de IA en su aplicación.

Proporcionar plantillas para resultados estructurados.

Puede proporcionar plantillas de datos que indiquen a los modelos de IA el formato o estructura precisa en la que desea que se presente la información. Al especificar exactamente cómo se deben organizar los resultados y qué elementos clave se deben incluir, se puede guiar al sistema de IA para generar respuestas más enfocadas y relevantes. Por ejemplo, si está utilizando una herramienta de IA para revisar productos de Amazon, simplemente copie todo el texto de la página de un producto y luego indique a la herramienta de IA que categorice el producto usando la siguiente plantilla de ejemplo:

Mensaje:Analice el texto de la página del producto de Amazon proporcionado y complete la plantilla a continuación.Extraiga detalles relevantes, mantenga la información concisa y precisa y céntrese en los aspectos más importantes.Si falta alguna información, escriba "N/A". No agregue ninguna información a la que no se haga referencia directa en el texto.

• Nombre del producto: [nombre del producto deducido por IA aquí]
• Categoría de producto: [categoría de producto deducida por IA aquí]
• Rango de precios: [precio deducido por IA aquí] [dólares estadounidenses]
• Características clave: [descripciones concisas aquí]
• Pros [top 3 en viñetas]
• Contras [top 3 en viñetas]
• Calificación general: [clasificada en una escala de 1 a 5]
• Resumen del producto: [2 a 3 oraciones como máximo]

Es mucho menos probable que el resultado resultante incluya resultados erróneos e información que no cumpla con las especificaciones que proporcionó.

Utilice las herramientas de IA de forma responsable

Si bien las estrategias mencionadas anteriormente pueden ayudar a prevenir las alucinaciones de IA a nivel sistémico, los usuarios individuales pueden aprender a emplear las herramientas de IA de manera más responsable. Es posible que estas prácticas no prevengan las alucinaciones, pero pueden mejorar sus posibilidades de obtener información confiable y precisa de los sistemas de inteligencia artificial.

• Haga referencias cruzadas de resultados y diversifique sus fuentes: no confíe únicamente en una única herramienta de inteligencia artificial para obtener información crítica.Haga referencias cruzadas de los resultados con otras fuentes acreditadas, como organizaciones de noticias establecidas, publicaciones académicas, expertos humanos confiables e informes gubernamentales para validar la precisión y la integridad de la información.
• Utilice su criterio: reconozca que las herramientas de inteligencia artificial, incluso las más avanzadas, tienen limitaciones y son propensas a errores.No confíe automáticamente en sus resultados. Acérquese a ellos con ojo crítico y utilice su propio criterio al tomar decisiones basadas en información generada por IA.
• Utilice la IA como punto de partida: trate los resultados generados por las herramientas de IA como un punto de partida para futuras investigaciones y análisis, en lugar de respuestas definitivas.Utilice la IA para explorar ideas, generar hipótesis e identificar información relevante, pero siempre valide y amplíe los conocimientos generados a través de la experiencia humana y la investigación adicional.

Conclusión

Las alucinaciones de IA surgen de las limitaciones actuales de los sistemas LLM, que van desde pequeñas imprecisiones hasta fabricaciones completas. Estos ocurren debido a datos de capacitación incompletos o sesgados, comprensión contextual limitada y falta de conocimiento explícito.

Si bien es un desafío, la tecnología de inteligencia artificial sigue siendo poderosa y mejora continuamente. Los investigadores están trabajando para reducir las alucinaciones y se han logrado avances significativos. Puede limitar las alucinaciones proporcionando plantillas estructuradas, restringiendo la salida y validando el modelo para su caso de uso.

Explore las herramientas de IA con la mente abierta. Ofrecen capacidades impresionantes que mejoran el ingenio y la productividad humanos. Sin embargo, utilice su criterio con los resultados generados por IA y haga referencias cruzadas de información con fuentes confiables. Aproveche el potencial de la IA mientras permanece atento a las alucinaciones.