Les quatre cavaliers de l'IA générative (et comment éviter un cauchemar)

Être responsable de la sécurité de l’information implique de nombreuses responsabilités. Au quotidien, je suis responsable de la protection de nos utilisateurs, des produits que nous fabriquons, de l'entreprise et des données qui sont au centre de notre travail, tout en construisant un système de classe mondiale qui fonctionne 24 heures sur 24 pour rechercher les menaces. et anéantissez-les avant qu’ils ne puissent causer le moindre mal. J’aime pouvoir faire ce travail. Il existe un noyau de menaces et de risques inhérents que nous assumons dans ce rôle, mais c'est ce qui rend les choses passionnantes : déjouer les mauvais acteurs et trouver de meilleurs moyens de protéger nos utilisateurs. Est-ce que ça fait peur ? Cela peut être le cas, mais cela ne devrait jamais être un cauchemar.

Quelqu'un m'a récemment demandé ce qui m'empêche de dormir la nuit (c'est-à-dire de quoi sont faits mes cauchemars), et cela m'a fait réfléchir aux menaces réelles et perçues dans notre ère numérique actuelle. Grâce à une planification minutieuse et au travail acharné de mon équipe chez Grammarly, la liste des choses qui m'empêchent de dormir est très, très courte. Mais ce qui change la donne, et nous le savons tous, c’est l’IA générative.

L'IA générative et la peur de l'inconnu

L’IA générative donne l’impression d’être partout parce qu’elle est en réalité partout. Il y a moins d'un an, GPT atteignait un million d'utilisateurs en une fraction (1/15ème pour être exact) du temps que sa comparaison la plus proche, Instagram.

Super, donc c'est partout. Et maintenant ? Les responsables informatiques du monde entier sont désormais confrontés à un tout nouvel ensemble de possibilités vraiment effrayantes contre lesquelles nous devons nous préparer à nous défendre. Ce vecteur de menace est différent.

Vous ne connaissez peut-être pas les moindres détails sur la façon dont nous devenons conformes au SOC2, mais je suis prêt à parier que vous êtes conscient des dangers de l'IA générative et des menaces posées par la formation sur vos données. Droite? Droite. L'IA générative n'est pas seulement présente dans les produits que nous utilisons, mais elle fait également partie de notre cycle d'actualités et constitue une priorité pour quiconque s'intéresse de loin à un monde qui utilise la technologie. Mais cela ne devrait pas être effrayant, du moins pas de la manière dont on vous dit d'avoir peur.

Pas si effrayant : les menaces exagérées de l'IA générative

Nous constatons une inquiétude croissante concernant les menaces de l’IA générative, dont certaines sont crédibles, mais je crois que nombre d’entre elles sont aujourd’hui exagérées. Si je dois appeler les véritables menaces les Quatre Cavaliers, appelons ces trois-là les Trois Compagnons de l’IA générative : fuite de données, exposition IP et formation non autorisée. Avant que vous ne soyez en désaccord, permettez-moi d’expliquer pourquoi je pense que ces trois points vous détournent des véritables défis auxquels nous sommes confrontés aujourd’hui :

• Fuite de données : sans permettre à un tiers de s'entraîner sur vos données confidentielles, les attaques de fuite de données restent théoriques contre les grands modèles de langage (LLM) bien connus, sans démonstration à grande échelle d'attaques pratiques.
• Exposition à la propriété intellectuelle : sauf formation, le risque d'exposition à la propriété intellectuelle reste similaire à celui des applications SaaS non génératives basées sur l'IA, telles que les feuilles de calcul en ligne.
• Formation non autorisée : permettre aux utilisateurs de refuser que leurs données soient utilisées pour entraîner l'IA générative est devenu une norme de l'industrie, atténuant ainsi les problèmes de formation sur les données sensibles qui prévalaient il y a à peine quelques mois.

Les quatre cavaliers de l'IA générative

Sur quoi devriez-vous vraiment vous concentrer pour vous assurer que votre organisation est prête à faire face à la nouvelle réalité dans laquelle nous vivons ? Je vous préviens, c'est là que ça devientvraimenteffrayant.

Grammarly est la principale société d'assistance à la rédaction en IA depuis plus de 14 ans, et mon travail ces dernières années a consisté à aider notre entreprise à se protéger contre les menaces crédibles. J'appelle ces menaces cauchemardesques les quatre cavaliers de l'IA générative : vulnérabilités de sécurité, risques liés aux tiers, confidentialité et droits d'auteur, et qualité des résultats.

Failles de sécurité

Avec autant de personnes qui sautent dans le train de l’IA générative et proposent différents modèles, nous nous retrouvons confrontés à de nouvelles vulnérabilités en matière de sécurité, des plus prévisibles aux plus effrayantes et faciles à ignorer.

Les LLM sont sensibles à un nouvel éventail de vulnérabilités de sécurité (consultez le OWASP LLM Top 10 pour une liste complète), et nous devons nous assurer que chaque périmètre reste fortifié. Un fournisseur LLM fiable doit expliquer quels efforts d'assurance de première partie et de tiers, tels que l'équipe rouge d'IA et les audits tiers, ont été intégrés à ses offres pour atténuer les vulnérabilités de sécurité LLM. Faites preuve de diligence raisonnable. Un périmètre sécurisé ne veut rien dire si vous laissez les serrures ouvertes.

Confidentialité et droit d'auteur

Avec l'évolution de l'environnement juridique et de la confidentialité autour de l'IA générative, dans quelle mesure êtes-vous à l'abri des mesures réglementaires contre votre fournisseur ou contre vous-même ? Nous avons assisté à des réactions assez fortes au sein de l’UE, basées uniquement sur la provenance des ensembles de données de formation. Ne vous réveillez pas dans un cauchemar pour vous et votre équipe juridique.

Les outils d'IA générative sont basés sur des modèles de données, mais que se passe-t-il lorsque ce modèle vous est retiré et transféré du travail de quelqu'un d'autre ? Êtes-vous protégé, en tant qu'utilisateur, si quelqu'un vous accuse de plagiat ? Sans les garde-fous appropriés, cela pourrait passer d’un casse-tête gênant à une réalité terrifiante. Protégez-vous et vos clients dès le début en examinant les engagements des fournisseurs en matière de droits d'auteur.

Risques liés aux prestataires tiers LLM

De nombreux LLM tiers sont nouveaux et auront accès à des données confidentielles. Et même si tout le monde intègre ces technologies, elles ne sont pas toutes matures. Les grands acteurs tels que les fournisseurs de cloud qui font déjà partie de notre profil de risque sont en mesure de nous aider à atténuer les risques d'une manière que les petites entreprises SaaS ne peuvent (ou ne veulent) pas faire. Si je pouvais vous donner un conseil, je vous dirais de faire attention aux personnes que vous invitez à la fête. Votre responsabilité envers votre client commence bien avant qu’il n’utilise votre produit.

Qualité de sortie

Les outils d'IA générative sont très réactifs, sûrs et fluides, mais ils peuvent également se tromper et induire leurs utilisateurs en erreur (par exemple une hallucination). Assurez-vous de comprendre comment votre fournisseur garantit l'exactitude du contenu généré.

Qu'est-ce qui est pire ? Les outils d'IA générative peuvent créer du contenu qui peut ne pas être approprié pour votre public, comme des mots ou des expressions préjudiciables à certains groupes. Chez Grammarly, c'est le pire résultat que notre produit puisse avoir, et nous travaillons très dur pour le surveiller et nous en protéger.

Assurez-vous de connaître les garde-fous et les capacités mis en place par votre fournisseur pour signaler le contenu sensible. Demandez à votre fournisseur une API de modération de contenu qui vous permet de filtrer le contenu qui ne convient pas à votre public. La confiance de votre public en dépend.

Ne vous enfuyez pas : évoluez en toute confiance vers l’IA générative

Construisez la meilleure équipe de sécurité interne possible

Investissez dans une excellente équipe interne de sécurité de l’IA, similaire aux équipes de sécurité cloud que nous avons tous constituées au cours des 10 dernières années lorsque nous avons adopté le cloud computing. L'expertise interne vous aidera à déterminer comment chacune de ces menaces réelles pourrait être liée à votre entreprise/produit/consommateur, et de quels outils vous aurez besoin pour vous protéger correctement.

Formez votre équipe d’experts. Et puis formez-les à l'équipe rouge. Demandez-leur d'exécuter des attaques basées sur des modèles d'IA (par exemple, jailbreak, évasion entre locataires et divulgation de données sensibles, etc.) et des exercices sur table de scénarios à fort impact, afin que vous sachiez comment gérer les menaces qui vous guettent.

Donnez du pouvoir (et armez) vos employés

Lorsque vous introduisez l’IA générative dans l’entreprise, considérez vos employés comme votre deuxième ligne de défense contre les menaces de sécurité décrites. Permettez-leur de vous aider à protéger votre entreprise en proposant une formation générative sur la sécurité de l’IA et des conseils clairs sur une politique d’utilisation acceptable.

Les recherches montrent que 68 % des employés admettent cacher à leur employeur l’utilisation de l’IA générative. Prétendre le contraire ne fera pas disparaître les Quatre Cavaliers de l’IA générative. Au lieu de cela, je vous recommande de construire une route goudronnée permettant aux cavaliers de contourner votre entreprise.

Pour savoir comment nous avons construit cette route chez Grammarly, veuillez consulter ma session au Gartner IT Symposium/XPo de cette année. Dans mon exposé, je couvrirai un cadre détaillé pour l’adoption sûre de l’IA générative. Notre livre blanc sur ce sujet sera publié le 19 octobre.

Pour en savoir plus sur l'engagement de Grammarly en faveur d'une IA responsable, visitez notreCentre de confiance .