生成人工智能的四骑士（以及如何避免噩梦）

担任首席信息安全官需要承担很多责任。每天，我负责保护我们的用户、我们制造的产品、公司以及我们工作中心的数据，同时构建一个全天候运行的世界一流系统以查找威胁并在他们造成任何伤害之前消灭他们。我很高兴能从事这项工作。我们在这个角色中承担了一组核心的固有威胁和风险，但这正是让事情变得令人兴奋的原因：智胜不良行为者并找到更好的方法来保护我们的用户。可怕吗？它可以——但它不应该是一场噩梦。

最近有人问我是什么让我彻夜难眠（又名我的噩梦是由什么组成的），这让我思考当前数字时代真正的和感知到的威胁是什么。经过 Grammarly 团队的大量精心计划和辛勤工作，让我保持清醒的事情清单非常非常短。但我们都知道，改变游戏规则的是生成式人工智能。

生成式人工智能和对未知的恐惧

生成式人工智能让人感觉它无处不在，因为它实际上无处不在。不到一年前，GPT 在很短的时间内（准确地说是 Instagram 的 1/15）就达到了 100 万用户。

太好了，所以到处都有。现在怎么办？世界各地的 IT 领导者现在面临着一系列全新的、非常可怕的可能性，我们必须做好防御准备。这种威胁向量是不同的。

您可能不知道我们如何符合 SOC2 的具体细节，但我敢打赌您知道生成式 AI 的危险以及数据训练带来的威胁。正确的？正确的。生成式人工智能不仅存在于我们使用的产品中，而且也存在于我们的新闻周期中，对于任何对技术世界感兴趣的人来说，它都是最重要的。但它不应该让人害怕——至少不像人们告诉你的那样让人害怕。

没那么可怕：生成人工智能的威胁被夸大了

我们看到人们越来越担心生成式人工智能的威胁，其中一些是可信的，但我认为现在很多都被夸大了。如果我将真正的威胁称为“四骑士”，那么我们就将这三个称为生成式人工智能的“三个傀儡”：数据泄露、IP 暴露和未经授权的训练。在您不同意之前，请允许我解释一下为什么我认为这三点分散了您对我们今天面临的真正挑战的注意力：

• 数据泄露：在不允许第三方对您的机密数据进行训练的情况下，针对著名的大语言模型（LLM）的数据泄露攻击仍然停留在理论上，没有大规模的实际攻击演示
• IP 暴露：除非进行任何培训，IP 暴露风险仍然与非生成式 AI 支持的 SaaS 应用程序（例如在线电子表格）类似
• 未经授权的培训：允许用户选择不使用其数据来训练生成式人工智能正在成为行业标准，从而缓解几个月前还普遍存在的敏感数据培训问题

生成人工智能的四骑士

为了确保您的组织准备好应对我们所生活的新现实，您真正应该关注什么？我警告你——这才是真正让人害怕的地方。

Grammarly 14 年来一直是领先的人工智能写作辅助公司，过去几年我的工作是帮助我们公司防范可信威胁。我将这些噩梦级威胁称为生成人工智能四骑士：安全漏洞、第三方风险、隐私和版权以及输出质量。

安全漏洞

随着如此多的人加入生成式人工智能的潮流并提出不同的模型，我们发现自己面临着新的安全漏洞——从可预测的漏洞到极其容易被忽视的漏洞。

LLM 很容易受到一系列新兴安全漏洞的影响（查看OWASP LLM Top 10以获取完整列表），我们需要确保每个边界都得到加强。可靠的法学硕士提供商必须解释其产品中已经采取了哪些第一方和第三方保证措施，例如人工智能红队和第三方审计，以减轻法学硕士的安全漏洞。尽职调查。如果你把锁开着，那么安全的周边就毫无意义。

隐私和版权

随着围绕生成人工智能的法律和隐私环境的不断发展，您的提供商或您自己免受监管行动的安全程度如何？仅基于训练数据集的来源，我们就看到了欧盟的一些相当强烈的反应。不要发现自己醒来时发现自己和您的法律团队陷入了一场噩梦。

生成式人工智能工具基于数据模式，但是当该模式从别人的工作中提升并转移到您身上时会发生什么？如果有人指控您抄袭，您作为用户是否受到保护？如果没有适当的护栏，这可能会从令人不便的头痛变成可怕的现实。通过调查提供商的版权承诺，从一开始就保护您自己和您的客户。

LLM第三方提供商风险

许多第三方法学硕士都是新的，并且可以访问一些机密数据。而且，虽然每个人都在集成这些技术，但并非所有技术都是成熟的。云提供商等大型参与者已经成为我们风险状况的一部分，能够帮助我们以小型 SaaS 公司无法（或不愿意）的方式降低风险。如果我可以给你一条建议，我会说要小心你邀请的人参加聚会。您对客户的责任早在他们使用您的产品之前就开始了。

输出质量

生成式人工智能工具反应灵敏、自信且流畅，但它们也可能出错并误导用户（例如产生幻觉）。确保您了解提供商如何确保生成内容的准确性。

更糟糕的是什么呢？生成式人工智能工具可以创建可能不适合受众的内容，例如对某些群体有害的词语或表达方式。在 Grammarly，这是我们的产品可能出现的最糟糕的结果，我们非常努力地寻找并防范它。

确保您了解提供商拥有哪些防护措施和功能来标记敏感内容。向您的提供商请求内容审核 API，使您能够过滤不适合您的受众的内容。观众的信任取决于此。

不要逃避：充满信心地走向生成式人工智能

尽可能建立最好的内部保安队伍

投资一支优秀的内部人工智能安全团队，类似于我们在过去 10 年拥抱云计算时建立的云安全团队。内部专业知识将帮助您概述这些真正的威胁如何与您的业务/产品/消费者相关，以及您需要哪些工具来正确保护自己。

培训您的专家团队。然后训练他们加入红队。让他们进行基于AI模型的攻击（例如越狱、跨租户越狱、敏感数据泄露等）以及高影响场景的桌面演练，以便您知道如何处理潜伏的威胁。

授权（并武装）您的员工

当您将生成式人工智能引入企业时，请将您的员工视为抵御上述安全威胁的第二道防线。让他们能够提供生成式 AI 安全培训和关于可接受的使用政策的明确指导，帮助保护您的公司。

研究表明，68% 的员工承认向雇主隐瞒了生成式人工智能的使用情况。假装不这样做并不会让生成人工智能的四骑士消失。相反，我建议你建造一条铺好的道路，让骑士绕过你的连队。

要了解我们如何在 Grammarly 上开辟这条道路，请查看我在今年 Gartner IT 研讨会/XPo 上的会议。在我的演讲中，我将介绍安全生成人工智能采用的详细框架。我们关于这个主题的白皮书将于 10 月 19 日发布。

要了解有关 Grammarly 对负责任人工智能的承诺的更多信息，请访问我们的信任中心。