Галлюцинации искусственного интеллекта: что это такое и почему они возникают

Что такое галлюцинации ИИ?

Галлюцинации ИИ возникают, когда инструменты ИИ генерируют неверную информацию, но выглядят уверенно. Эти ошибки могут варьироваться от незначительных неточностей, таких как искажение исторической даты, до серьезно вводящей в заблуждение информации, например, рекомендации устаревших или вредных для здоровья средств. Галлюцинации ИИ могут возникать в системах, основанных на больших языковых моделях (LLM) и других технологиях ИИ, включая системы генерации изображений.

Например, инструмент искусственного интеллекта может неправильно указать, что высота Эйфелевой башни составляет 335 метров вместо фактической высоты 330 метров. Хотя такая ошибка может быть несущественной в обычном разговоре, точные измерения имеют решающее значение в ситуациях с высокими ставками, таких как предоставление медицинской консультации.

Чтобы уменьшить галлюцинации в ИИ, разработчики используют два основных метода: обучение на состязательных примерах, которое усиливает модели, и их тонкая настройка с помощью метрик, наказывающих за ошибки. Понимание этих методов помогает пользователям более эффективно использовать инструменты искусственного интеллекта и критически оценивать информацию, которую они производят.

Примеры галлюцинаций ИИ

Более ранние поколения моделей ИИ испытывали более частые галлюцинации, чем нынешние системы. Среди примечательных инцидентов можно назвать ИИ-бот Microsoft Сидни, который рассказал техническому репортеру Кевину Роузу, что он «влюблен в него», а также генератор изображений Gemini AI от Google, создающий исторически неточные изображения.

Однако сегодняшние инструменты искусственного интеллекта улучшились, хотя галлюцинации все еще случаются. Вот некоторые распространенные типы галлюцинаций ИИ:

• Исторический факт: инструмент искусственного интеллекта может утверждать, что первая высадка на Луну произошла в 1968 году, тогда как на самом деле она произошла в 1969 году. Такие неточности могут привести к искажению важных событий в истории человечества.
• Географическая ошибка: ИИ может ошибочно назвать Торонто столицей Канады, несмотря на то, что фактической столицей является Оттава.Эта дезинформация может сбить с толку студентов и путешественников, желающих узнать о географии Канады.
• Финансовые данные. Модель ИИ может искажать финансовые показатели, например, утверждать, что цена акций компании выросла на 30 процентов за день, хотя на самом деле изменение было гораздо меньшим.Если полагаться исключительно на ошибочные финансовые советы, это может привести к принятию плохих инвестиционных решений.
• Юридическое руководство. Модель ИИ может дезинформировать пользователей о том, что устные соглашения имеют такую ​​же юридическую силу, как и письменные контракты, во всех контекстах.При этом упускается из виду тот факт, что некоторые сделки (например, сделки с недвижимостью) требуют письменных договоров для действительности и обеспечения исполнения.
• Дезинформация о научных исследованиях. Инструмент ИИ может ссылаться на исследование, которое предположительно подтверждает научный прорыв, хотя такого исследования не существует.Такого рода галлюцинации могут ввести в заблуждение исследователей и общественность относительно значительных научных достижений.

Почему случаются галлюцинации ИИ?

Чтобы понять, почему галлюцинации возникают у ИИ, важно понять фундаментальную работу LLM. Эти модели построены на так называемой архитектуре преобразователя, которая обрабатывает текст (или токены) и прогнозирует следующий токен в последовательности. В отличие от человеческого мозга, у них нет «модели мира», которая по своей сути понимает историю, физику или другие предметы.

Галлюцинация ИИ возникает, когда модель генерирует неточный ответ, но статистически схожий с фактически верными данными. Это означает, что, хотя ответ и ложный, он имеет семантическое или структурное сходство с тем, что модель предсказывает как вероятное.

Другие причины галлюцинаций ИИ включают:

Неполные данные обучения

Модели ИИ во многом полагаются на объем и качество данных, на которых они обучаются. Когда обучающие данные неполны или им не хватает разнообразия, это ограничивает способность модели генерировать точные и всесторонние ответы. Эти модели учатся на примерах, и если их примеры не охватывают достаточно широкий спектр сценариев, перспектив и контрфактических явлений, их результаты могут отражать эти пробелы.

Это ограничение часто проявляется в виде галлюцинаций, поскольку модель ИИ может заполнять недостающую информацию правдоподобными, но неверными деталями. Например, если ИИ преимущественно подвергался воздействию данных из одного географического региона — скажем, места с развитым общественным транспортом — он может генерировать ответы, предполагающие, что эти характеристики являются глобальными, хотя на самом деле это не так. ИИ не способен осознавать, что он выходит за пределы того, чему его обучали. Следовательно, модель может делать уверенные утверждения, которые являются необоснованными или предвзятыми.

Смещение в данных обучения

Смещение обучающих данных связано с полнотой, но это не одно и то же. В то время как неполные данные относятся к пробелам в информации, предоставляемой ИИ, предвзятые данные означают, что доступная информация каким-то образом искажена. Это в некоторой степени неизбежно, поскольку эти модели обучаются в основном в Интернете, а Интернету присуща предвзятость. Например, многие страны и группы населения недостаточно представлены в Интернете: почти 3 миллиарда человек во всем мире по-прежнему не имеют доступа к Интернету. Это означает, что данные обучения могут неадекватно отражать взгляды, языки и культурные нормы этих офлайн-сообществ.

Даже среди онлайн-популяций существуют различия в том, кто создает и распространяет контент, какие темы обсуждаются и как эта информация представляется. Эти искажения данных могут привести к обучению моделей ИИ и сохранению систематических ошибок в их результатах. Некоторая степень предвзятости неизбежна, но степень и влияние перекоса данных могут значительно различаться. Таким образом, цель разработчиков ИИ — знать об этих предубеждениях, работать над их смягчением, где это возможно, и оценивать, подходит ли набор данных для предполагаемого варианта использования.

Отсутствие явного представления знаний

Модели ИИ обучаются посредством статистического сопоставления с образцом, но им не хватает структурированного представления фактов и концепций. Даже когда они создают фактические утверждения, они не «знают», что они правдивы, потому что у них нет механизма отслеживания того, что реально, а что нет.

Отсутствие четкой фактической структуры означает, что, хотя LLM могут предоставлять высоконадежную информацию, они превосходно имитируют человеческий язык без подлинного понимания или проверки фактов, которыми обладают люди. Это фундаментальное ограничение является ключевым отличием между ИИ и человеческим познанием. Поскольку ИИ продолжает развиваться, решение этой проблемы по-прежнему имеет решающее значение для разработчиков, поскольку они повышают надежность систем ИИ.

Недостаточное понимание контекста

Контекст имеет решающее значение в человеческом общении, но модели ИИ часто с ним сталкиваются. Когда им задают вопросы на естественном языке, их ответы могут быть слишком буквальными или оторванными от реальности, потому что им не хватает более глубокого понимания, которое люди извлекают из контекста — наших знаний о мире, жизненного опыта, способности читать между строк и понимания невысказанных предположений.

За последний год модели ИИ улучшились в понимании человеческого контекста, но им по-прежнему трудно справляться с такими элементами, как эмоциональный подтекст, сарказм, ирония и культурные отсылки. Сленговые или разговорные фразы, значение которых изменилось, могут быть неверно истолкованы моделью ИИ, которая недавно не обновлялась. Пока модели ИИ не смогут интерпретировать сложную сеть человеческих переживаний и эмоций, галлюцинации останутся серьезной проблемой.

Как часто чат-боты с искусственным интеллектом галлюцинируют?

Трудно определить точную частоту галлюцинаций ИИ. Скорость широко варьируется в зависимости от модели или контекста, в котором используются инструменты ИИ. Согласно одной из оценок Vectara, стартапа в области искусственного интеллекта, чат-боты галлюцинируют где-то от 3 до 27 процентов времени, согласно общедоступной таблице лидеров галлюцинаций Vectara на GitHub, которая отслеживает частоту галлюцинаций среди популярных чат-ботов при обобщении документов.

Технологические компании внедрили в свои чат-боты заявления об отказе от ответственности, которые предупреждают людей о возможных неточностях и необходимости дополнительной проверки. Разработчики активно работают над доработкой моделей, и за последний год мы уже наблюдаем прогресс. Например, OpenAI отмечает, что GPT-4 на 40 процентов чаще дает фактические ответы, чем его предшественник.

Как предотвратить галлюцинации ИИ

Хотя полностью искоренить галлюцинации ИИ невозможно, некоторые стратегии могут уменьшить их возникновение и влияние. Некоторые из этих методов более применимы к исследователям и разработчикам, работающим над улучшением моделей ИИ, тогда как другие относятся к обычным людям, использующим инструменты ИИ.

Улучшите качество обучающих данных

Обеспечение высококачественных и разнообразных данных имеет решающее значение при попытке предотвратить галлюцинации ИИ. Если обучающие данные неполны, предвзяты или им не хватает разнообразия, модели будет сложно генерировать точные результаты, когда она сталкивается с новыми или пограничными случаями. Исследователи и разработчики должны стремиться создавать комплексные и репрезентативные наборы данных, охватывающие различные точки зрения.

Ограничьте количество исходов

В некоторых случаях галлюцинации ИИ случаются, когда модели генерируют большое количество ответов. Например, если вы попросите модель привести 20 примеров подсказок для творческого письма, вы можете обнаружить, что качество результата снижается к концу набора. Чтобы избежать этого, вы можете ограничить набор результатов меньшим числом и поручить инструменту ИИ сосредоточиться на наиболее многообещающих и последовательных ответах, уменьшая вероятность того, что он ответит надуманными или противоречивыми результатами.

Тестирование и проверка

И разработчики, и пользователи должны тестировать и проверять инструменты искусственного интеллекта, чтобы обеспечить надежность. Разработчики должны систематически сравнивать результаты модели с известными истинами, экспертными суждениями и эвристикой оценки, чтобы выявить закономерности галлюцинаций. Не все галлюцинации одинаковы; Полная выдумка отличается от неправильного толкования из-за отсутствия контекстной подсказки.

Пользователи должны проверить производительность инструмента для конкретных целей, прежде чем доверять его результатам. Инструменты ИИ превосходно справляются с такими задачами, как обобщение текста, генерация текста и кодирование, но не во всем идеальны. Предоставление примеров желаемых и нежелательных результатов во время тестирования помогает ИИ узнать ваши предпочтения. Потратив время на тестирование и проверку, можно значительно снизить риск галлюцинаций ИИ в вашем приложении.

Предоставьте шаблоны для структурированных результатов

Вы можете предоставить шаблоны данных, которые сообщат моделям ИИ точный формат или структуру, в которой вы хотите представить информацию. Точно указав, как должны быть организованы результаты и какие ключевые элементы должны быть включены, вы можете помочь системе ИИ генерировать более целенаправленные и релевантные ответы. Например, если вы используете инструмент искусственного интеллекта для просмотра продуктов Amazon, просто скопируйте весь текст со страницы продукта, а затем поручите инструменту искусственного интеллекта классифицировать продукт, используя следующий пример шаблона:

Подсказка:Проанализируйте предоставленный текст страницы продукта Amazon и заполните шаблон ниже.Извлекайте важные детали, сохраняйте информацию краткой и точной и сосредоточьтесь на наиболее важных аспектах.Если какая-либо информация отсутствует, напишите «Н/Д». Не добавляйте никакой информации, не упомянутой напрямую в тексте.

• Название продукта: [название продукта, полученное с помощью AI]
• Категория продукта: [Категория продукта, рассчитанная с помощью искусственного интеллекта, здесь]
• Диапазон цен: [цена, рассчитанная с помощью искусственного интеллекта] [доллары США]
• Ключевые особенности: [краткое описание здесь]
• Плюсы [топ-3 по пунктам]
• Минусы [топ-3 по пунктам]
• Общий рейтинг: [оценивается по шкале от 1 до 5]
• Краткое описание продукта: [максимум 2–3 предложения]

Полученный результат с гораздо меньшей вероятностью будет содержать ошибочные выходные данные и информацию, не соответствующую предоставленным вами спецификациям.

Используйте инструменты искусственного интеллекта ответственно

Хотя упомянутые выше стратегии могут помочь предотвратить галлюцинации ИИ на системном уровне, отдельные пользователи могут научиться использовать инструменты ИИ более ответственно. Эти методы, возможно, не предотвратят галлюцинации, но могут повысить ваши шансы на получение надежной и точной информации от систем искусственного интеллекта.

• Ссылайтесь на результаты и диверсифицируйте источники: не полагайтесь исключительно на один инструмент искусственного интеллекта для получения важной информации.Сравнивайте результаты с другими авторитетными источниками, такими как авторитетные новостные организации, научные публикации, доверенные эксперты и правительственные отчеты, чтобы подтвердить точность и полноту информации.
• Используйте свое суждение: признайте, что инструменты ИИ, даже самые продвинутые, имеют ограничения и подвержены ошибкам.Не доверяйте автоматически их выводам. Подходите к ним критически и руководствуйтесь собственными суждениями при принятии решений на основе информации, генерируемой ИИ.
• Используйте ИИ в качестве отправной точки. Рассматривайте результаты, полученные с помощью инструментов ИИ, как отправную точку для дальнейших исследований и анализа, а не как однозначные ответы.Используйте ИИ для изучения идей, генерации гипотез и выявления соответствующей информации, но всегда проверяйте и расширяйте полученные идеи с помощью человеческого опыта и дополнительных исследований.

Заключение

Галлюцинации ИИ возникают из-за текущих ограничений систем LLM, варьирующихся от незначительных неточностей до полных выдумок. Это происходит из-за неполных или предвзятых данных обучения, ограниченного понимания контекста и отсутствия явных знаний.

Несмотря на сложность, технология искусственного интеллекта остается мощной и постоянно совершенствуется. Исследователи работают над уменьшением галлюцинаций, и уже достигнут значительный прогресс. Вы можете ограничить галлюцинации, предоставив структурированные шаблоны, ограничив вывод и проверив модель для вашего варианта использования.

Исследуйте инструменты искусственного интеллекта непредвзято. Они предлагают впечатляющие возможности, которые повышают человеческую изобретательность и производительность. Однако руководствуйтесь результатами, полученными с помощью ИИ, и ссылайтесь на информацию из надежных источников. Используйте потенциал ИИ, сохраняя при этом бдительность в отношении галлюцинаций.