生成 AI の四騎士 (そして悪夢を回避する方法)

最高情報セキュリティ責任者になるには、多くの責任が伴います。 私は毎日、ユーザー、私たちが作る製品、会社、そして私たちの仕事の中心にあるデータを保護すると同時に、脅威を探索するために 24 時間稼働する世界クラスのシステムを構築する責任を負っています。そして害を及ぼす前に彼らを殲滅します。 この仕事ができるのが大好きです。 この役割では、私たちが想定する固有の脅威とリスクの中核グループが存在しますが、それが物事をエキサイティングなものにしているのです。つまり、悪意のある人物を出し抜いて、ユーザーを保護するより良い方法を見つけるということです。 怖いですか？ そうなる可能性はありますが、決して悪夢であってはなりません。

最近、ある人が私に、何が私を夜眠れなくさせているのかと尋ねました（別名、私の悪夢は何でできているのですか）。それが私に、現在のデジタル時代における本当の、そして認識されている脅威が何なのかについて考えるきっかけになりました。 Grammarly のチームが綿密に計画し、熱心に取り組んだ結果、私を眠らせているもののリストは非常に短くなりました。 しかし、ゲームチェンジャーは、誰もが知っているように、生成 AI です。

生成 AI と未知への恐怖

生成 AI は実際にどこにでも存在するため、どこにでもあるように感じられます。 1 年も経たないうちに、GPT は最も近い比較対象である Instagram と比べてほんのわずか (正確には 15 分の 1) の時間で 100 万人のユーザーに到達しました。

すごいですね、どこにでもあるんですね。 それで？ 世界中の IT リーダーは現在、まったく新しい一連の本当に恐ろしい可能性に直面しており、それに対して防御する準備をしなければなりません。 この脅威ベクトルは異なります。

SOC2 に準拠するための詳細についてはご存じないかもしれませんが、生成 AI の危険性と、データのトレーニングによってもたらされる脅威については認識していると思います。 右？ 右。 生成 AI は、私たちが使用する製品だけでなく、ニュース サイクルにも含まれており、テクノロジーを使用する世界に遠くから興味を持っている人にとっては最優先事項です。 しかし、それは怖がるべきではありません。少なくとも、怖がれと言われているような怖さではありません。

それほど怖くない: 生成型 AI の誇張された脅威

生成型 AI の脅威に関する懸念が高まっており、その中には信頼できるものも含まれていますが、今日ではその多くが誇張されすぎていると私は考えています。 私が本当の脅威を「四騎士」と呼ぶのであれば、これら 3 つを生成 AI の「三ばか」と呼びましょう: データ漏洩、IP 暴露、および不正トレーニングです。 異論がある前に、これら 3 つの点が今日私たちが直面している本当の課題から皆さんの目をそらしていると私が考える理由を説明させてください。

• データ漏洩: 第三者に機密データのトレーニングを許可しない限り、データ漏洩攻撃は、世にあるよく知られた大規模言語モデル (LLM) に対する理論的なものにとどまり、実際的な攻撃の大規模な実証はありません。
• IP 漏洩: トレーニングを行わない限り、IP 漏洩リスクはオンライン スプレッドシートなどの非生成 AI を活用した SaaS アプリケーションと同様のままです。
• 不正なトレーニング: 生成 AI のトレーニングに使用されるデータをユーザーがオプトアウトできるようにすることが業界標準になりつつあり、ほんの数か月前に蔓延していた機密データのトレーニングに関する懸念が軽減されます。

生成 AI の四騎士

私たちが生きている新しい現実に組織が確実に対応できるようにするために、実際に何に焦点を当てるべきでしょうか? 警告しておきますが、ここが本当に怖いところです。

Grammarly は 14 年以上にわたって AI ライティング支援の大手企業であり、ここ数年の私の仕事は、当社が信頼できる脅威に対してゴーストプルーフを実現できるよう支援することでした。 私はこれらの悪夢レベルの脅威を、セキュリティ脆弱性、サードパーティ リスク、プライバシーと著作権、出力品質という生成 AI の四騎士と呼んでいます。

セキュリティの脆弱性

非常に多くの人々が生成 AI の流行に乗り、さまざまなモデルを考案しているため、予測可能なものから恐ろしいほど見逃しやすいものまで、新たなセキュリティの脆弱性に直面していることに気づきました。

LLM は、新たに出現した一連のセキュリティ脆弱性の影響を受けやすいため (包括的なリストについては、 OWASP LLM トップ 10を確認してください)、すべての境界が強化されたままであることを確認する必要があります。 信頼できる LLM プロバイダーは、LLM セキュリティの脆弱性を軽減するために、自社のサービスに AI レッドチームやサードパーティ監査などのファーストパーティおよびサードパーティの保証の取り組みがどのように組み込まれているかを説明する必要があります。 デューデリジェンスを行ってください。 ロックを開いたままにしておくと、安全な境界は意味がありません。

プライバシーと著作権

生成 AI をめぐる法的およびプライバシー環境が進化する中、プロバイダーや自分自身に対する規制措置からどの程度安全ですか? EU では、トレーニング データセットの出所だけに基づいて、かなり強い反応が見られました。 あなたとあなたの法務チームにとって悪夢の中で目覚める必要はありません。

生成 AI ツールはデータのパターンに基づいていますが、そのパターンが他の人の仕事から持ち上げられ、自分に移されたらどうなるでしょうか? 誰かがあなたを盗作で告発した場合、ユーザーとしてあなたは守られますか? 適切なガードレールが設置されていない場合、これは不便な頭痛の種から恐ろしい現実へと進む可能性があります。 プロバイダーの著作権に関する取り組みを検討して、最初から自分自身と顧客を守りましょう。

LLM サードパーティプロバイダーのリスク

サードパーティ LLM の多くは新しいものであり、機密データにある程度のアクセス権を持っています。 そして、誰もがこれらのテクノロジーと統合していますが、そのすべてが成熟しているわけではありません。 すでに当社のリスク プロファイルの一部となっているクラウド プロバイダーなどの大手企業は、小規模の SaaS 企業ではできない (または喜んで) リスクを軽減できる方法で当社のリスクを軽減することができます。 一つアドバイスできるとしたら、パーティーに誰を招待するかには気をつけてくださいと言いたいです。 顧客に対する責任は、製品を使用するずっと前から始まります。

出力品質

生成 AI ツールは応答性が高く、自信があり、流暢ですが、間違ってユーザーを誤解させる可能性もあります (幻覚など)。 プロバイダーが生成されたコンテンツの正確性をどのように保証しているかを必ず理解してください。

何が悪いの？ 生成 AI ツールは、特定のグループにとって有害な単語や表現など、視聴者にとって不適切なコンテンツを作成する可能性があります。 Grammarly では、これは製品が引き起こす可能性のある最悪の結果であるため、これに注意し、それから保護するために非常に熱心に取り組んでいます。

プロバイダーが機密コンテンツにフラグを立てるためにどのようなガードレールと機能を備えているかを必ず確認してください。 視聴者にとって不適切なコンテンツをフィルタリングできるコンテンツ モデレーション API については、プロバイダーに問い合わせてください。 視聴者の信頼はそれにかかっています。

そこから逃げないでください: 自信を持って生成 AI に向かって進みましょう

可能な限り最高の社内セキュリティ部隊を編成する

過去 10 年間にクラウド コンピューティングを導入して全員で構築したクラウド セキュリティ チームと同様の、優れた社内 AI セキュリティ チームに投資します。 社内の専門知識は、これらの実際の脅威がそれぞれのビジネス/製品/消費者にどのように関係するのか、また適切に身を守るためにどのツールが必要なのかを概説するのに役立ちます。

専門家チームをトレーニングします。 そして彼らをレッドチームに訓練します。 AI モデルベースの攻撃 (ジェイルブレイク、クロステナントブレイクアウト、機密データの漏洩など) や影響の大きいシナリオの机上演習を実行してもらい、潜んでいる脅威に対処する方法を理解してもらいます。

従業員に力を与え（そして武装させ）

生成型 AI を企業に導入する際には、従業員を、ここで概説したセキュリティの脅威に対する第 2 の防御線として考慮してください。 生成的な AI 安全性トレーニングと許容される使用ポリシーに関する明確なガイダンスを提供することで、企業の保護を支援できるようにします。

調査によると、従業員の 68% がジェネレーティブ AI の使用を雇用主に隠していることを認めています。 そうでないふりをしても、生成 AI の四騎士が消えるわけではありません。 代わりに、ホースマンが会社を迂回できる舗装道路を建設することをお勧めします。

Grammarly でその道をどのように構築したかについては、今年の Gartner IT Symposium/XPo での私のセッションをご覧ください。私の講演では、安全な生成 AI 導入のための詳細なフレームワークについて説明します。 このトピックに関するホワイトペーパーは 10 月 19 日にリリースされる予定です。

Grammarly の責任ある AI への取り組みの詳細については、トラスト センターをご覧ください。