Четыре всадника генеративного ИИ (и как избежать кошмара)

Быть директором по информационной безопасности сопряжено с большой ответственностью. Ежедневно я отвечаю за защиту наших пользователей, продукта, который мы производим, компании и данных, которые находятся в центре нашей работы, и все это при создании системы мирового класса, которая работает круглосуточно для поиска угроз. и уничтожить их, прежде чем они смогут причинить какой-либо вред. Мне нравится, что я могу делать эту работу. В этой роли мы принимаем на себя основную группу угроз и рисков, но именно это делает нашу работу интересной: перехитрить злоумышленников и найти лучшие способы защиты наших пользователей. Это страшно? Это может быть, но это не должно быть кошмаром.

Кто-то недавно спросил меня, что не дает мне спать по ночам (то есть, из чего состоят мои кошмары), и это заставило меня задуматься о том, каковы реальные и предполагаемые угрозы в наш нынешний цифровой век. В результате тщательного планирования и упорной работы моей команды в Grammarly список вещей, которые не дают мне уснуть, очень и очень короткий. Но переломным моментом, и мы все это знаем, является генеративный искусственный интеллект.

Генеративный ИИ и страх перед неизвестным

Генеративный ИИ кажется, что он повсюду, потому что на самом деле он повсюду. Менее года назад GPT достигла миллиона пользователей за долю (точнее, 1/15) времени, чем его ближайший аналог — Instagram.

Отлично, так это везде. И что теперь? ИТ-лидеры во всем мире теперь столкнулись с совершенно новым набором действительно пугающих возможностей, от которых мы должны быть готовы защищаться. Этот вектор угроз иной.

Возможно, вы не знаете мельчайших подробностей того, как мы становимся совместимыми с SOC2, но я готов поспорить, что вы осведомлены об опасностях генеративного ИИ и угрозах, связанных с обучением на ваших данных. Верно? Верно. Генеративный искусственный интеллект присутствует не только в продуктах, которые мы используем, но и в нашем цикле новостей, и он находится в центре внимания всех, кто хотя бы отдаленно интересуется миром, в котором используются технологии. Но это не должно быть страшно – по крайней мере, не так, как вас просят бояться.

Не так уж и страшно: преувеличенные угрозы генеративного ИИ

Мы наблюдаем растущую обеспокоенность по поводу угроз генеративного искусственного интеллекта, некоторые из которых заслуживают доверия, но многие, я считаю, сегодня преувеличены. Если я собираюсь назвать настоящие угрозы «Четыреми всадниками», то давайте назовем эти три «Три марионетки генеративного ИИ»: утечка данных, раскрытие IP-адресов и несанкционированное обучение. Прежде чем вы не согласитесь, позвольте мне объяснить, почему, по моему мнению, эти три пункта отвлекают вас от реальных проблем, с которыми мы сталкиваемся сегодня:

• Утечка данных: без возможности обучения третьей стороны на ваших конфиденциальных данных атаки по утечке данных остаются теоретическими против известных моделей большого языка (LLM) без крупномасштабной демонстрации практических атак.
• Воздействие интеллектуальной собственности: за исключением какого-либо обучения, риск воздействия интеллектуальной собственности остается таким же, как и при использовании SaaS-приложений без генеративного искусственного интеллекта, таких как онлайн-таблицы.
• Несанкционированное обучение: разрешение пользователям отказаться от использования их данных для обучения генеративного ИИ становится отраслевым стандартом, что смягчает проблемы обучения конфиденциальных данных, которые были распространены всего несколько месяцев назад.

Четыре всадника генеративного ИИ

На чем вам действительно следует сосредоточиться, чтобы убедиться, что ваша организация готова справиться с новой реальностью, в которой мы живем? Предупреждаю — вот тут-тодействительностановится страшно.

Grammarly уже более 14 лет является ведущей компанией по оказанию помощи в написании текстов с использованием искусственного интеллекта, и моя работа в последние несколько лет заключалась в том, чтобы помочь нашей компании защититься от реальных угроз. Я называю эти угрозы кошмарного уровня «четырьмя всадниками генеративного искусственного интеллекта»: уязвимости безопасности, риск третьих лиц, конфиденциальность и авторское право, а также качество продукции.

Уязвимости безопасности

Поскольку так много людей присоединяются к генеративному ИИ и придумывают разные модели, мы сталкиваемся с новыми уязвимостями безопасности — от предсказуемых до тех, которые пугающе легко не заметить.

LLM подвержены появляющемуся множеству уязвимостей безопасности ( полный список см. в OWASP LLM Top 10 ), и нам необходимо обеспечить, чтобы каждый периметр оставался укрепленным. Надежный поставщик LLM должен объяснить, какие усилия по обеспечению безопасности, такие как объединение искусственного интеллекта и сторонние аудиты, были вложены в их предложения для устранения уязвимостей безопасности LLM. Проявите должную осмотрительность. Охраняемый периметр ничего не значит, если вы оставите замки открытыми.

Конфиденциальность и авторские права

Учитывая развитие правовой среды и конфиденциальности, связанной с генеративным искусственным интеллектом, насколько вы защищены от регулирующих действий против вашего провайдера или себя самого? Мы наблюдали довольно сильную реакцию в ЕС, основанную только на происхождении наборов обучающих данных. Не просыпайтесь в кошмаре для себя и своей команды юристов.

Инструменты генеративного ИИ основаны на закономерностях в данных, но что происходит, когда эта закономерность переносится к вам из чужой работы? Защищены ли вы как пользователь, если кто-то обвинит вас в плагиате? Без правильных ограждений это может превратиться из неудобной головной боли в ужасающую реальность. Защитите себя и своих клиентов с самого начала, изучив обязательства поставщика по авторским правам.

Риски стороннего поставщика LLM

Многие из сторонних LLM являются новыми и будут иметь некоторый доступ к конфиденциальным данным. И хотя все интегрируются с этими технологиями, не все из них являются зрелыми. Крупные игроки, такие как поставщики облачных услуг, которые уже являются частью нашего профиля риска, могут помочь нам снизить риск таким образом, что более мелкие SaaS-компании не могут (или не хотят) этого сделать. Если бы я мог дать вам один совет, я бы посоветовал быть осторожным с тем, кого вы приглашаете на вечеринку. Ваша ответственность перед клиентом начинается задолго до того, как он начнет использовать ваш продукт.

Качество вывода

Инструменты генеративного искусственного интеллекта очень отзывчивы, уверены в себе и бегло работают, но они также могут ошибаться и вводить в заблуждение своих пользователей (например, галлюцинациями). Убедитесь, что вы понимаете, как ваш провайдер обеспечивает точность создаваемого контента.

Что хуже? Инструменты генеративного искусственного интеллекта могут создавать контент, который может не подходить вашей аудитории, например слова или выражения, вредные для определенных групп. В Grammarly это худший результат, который может произойти с нашим продуктом, и мы прилагаем все усилия, чтобы предусмотреть его и защититься от него.

Убедитесь, что вы знаете, какие меры защиты и возможности есть у вашего провайдера для пометки конфиденциального контента. Попросите у своего провайдера API модерации контента, который позволит вам фильтровать контент, который не подходит для вашей аудитории. От этого зависит доверие вашей аудитории.

Не бегите от этого: уверенно двигайтесь к генеративному ИИ

Создайте лучшую внутреннюю команду безопасности

Инвестируйте в отличную собственную команду по безопасности искусственного интеллекта, аналогичную командам по облачной безопасности, которые мы создали за последние 10 лет, когда начали использовать облачные вычисления. Внутренний опыт поможет вам определить, как каждая из этих реальных угроз может относиться к вашему бизнесу/продукту/потребителю и какие инструменты вам понадобятся для надлежащей защиты.

Обучите свою команду экспертов. А затем обучить их красной команде. Попросите их провести атаки на основе моделей ИИ (например, джейлбрейк, межклиентский прорыв, раскрытие конфиденциальных данных и т. д.) и настольные упражнения по сценариям с высокой степенью воздействия, чтобы вы знали, как справляться со скрывающимися угрозами.

Расширьте возможности (и вооружите) своих сотрудников

При внедрении генеративного искусственного интеллекта на предприятие рассматривайте своих сотрудников как вторую линию защиты от описанных угроз безопасности. Предоставьте им возможность помочь защитить вашу компанию, предоставив обучение по технике безопасности с использованием генеративного ИИ и четкие рекомендации по политике допустимого использования.

Исследования показывают, что 68 процентов сотрудников признаются, что скрывают от своих работодателей использование генеративного ИИ. Притворство иного не приведет к исчезновению Четырех Всадников генеративного ИИ. Вместо этого я рекомендую вам построить асфальтированную дорогу, которая позволит Всадникам обойти вашу роту.

Чтобы узнать, как мы проложили этот путь в Grammarly, посетите мою сессию на Gartner IT Symposium/XPo в этом году. В своем выступлении я подробно расскажу о концепции безопасного внедрения генеративного ИИ. Наш технический документ по этой теме будет выпущен 19 октября.

Чтобы узнать больше о приверженности Grammarly ответственному использованию искусственного интеллекта, посетите нашЦентр управления безопасностью .