Die vier Reiter der generativen KI (und wie man einen Albtraum vermeidet)

Die Position des Chief Information Security Officer bringt eine Menge Verantwortung mit sich. Ich bin täglich dafür verantwortlich, unsere Benutzer, die von uns hergestellten Produkte, das Unternehmen und die Daten, die im Mittelpunkt unserer Arbeit stehen, zu schützen und gleichzeitig ein erstklassiges System aufzubauen, das rund um die Uhr in Betrieb ist, um Bedrohungen aufzuspüren und vernichte sie, bevor sie Schaden anrichten können. Ich liebe es, dass ich diese Arbeit machen darf. Es gibt eine Kerngruppe inhärenter Bedrohungen und Risiken, die wir in dieser Rolle übernehmen, aber das ist es, was die Sache spannend macht: böswillige Akteure auszutricksen und bessere Wege zum Schutz unserer Benutzer zu finden. Ist es beängstigend? Es kann sein – aber es sollte niemals ein Albtraum sein.

Kürzlich hat mich jemand gefragt, was mich nachts wach hält (also woraus meine Albträume bestehen), und das hat mich zum Nachdenken gebracht, was die realen und vermeintlichen Bedrohungen in unserem aktuellen digitalen Zeitalter sind. Aufgrund der sorgfältigen Planung und der harten Arbeit meines Teams bei Grammarly ist die Liste der Dinge, die mich wach halten, sehr, sehr kurz. Aber der Game Changer, und das wissen wir alle, ist die generative KI.

Generative KI und die Angst vor dem Unbekannten

Generative KI scheint überall zu sein, weil sie tatsächlich überall ist. Vor weniger als einem Jahr erreichte GPT im Vergleich zu seinem engsten Vergleich, Instagram, in einem Bruchteil (1/15, um genau zu sein) eine Million Nutzer.

Großartig, also ist es überall. Was jetzt? IT-Führungskräfte auf der ganzen Welt stehen nun vor völlig neuen, wirklich beängstigenden Möglichkeiten, auf deren Abwehr wir uns vorbereiten müssen. Dieser Bedrohungsvektor ist anders.

Sie wissen vielleicht nicht bis ins kleinste Detail, wie wir SOC2-konform werden, aber ich wette, dass Sie sich der Gefahren generativer KI und der Bedrohungen bewusst sind, die das Training Ihrer Daten mit sich bringt. Rechts? Rechts. Generative KI steckt nicht nur in den Produkten, die wir verwenden, sondern auch in unserem Nachrichtenzyklus und steht im Fokus aller, die sich auch nur entfernt für eine Welt interessieren, in der Technologie zum Einsatz kommt. Aber es sollte nicht beängstigend sein – zumindest nicht in der Art und Weise, wie man Ihnen sagt, dass Sie Angst haben sollen.

Nicht so beängstigend: Die überbewerteten Bedrohungen der generativen KI

Wir sehen wachsende Besorgnis über die Bedrohungen durch generative KI, von denen einige glaubwürdig sind, viele jedoch meiner Meinung nach heute überbewertet werden. Wenn ich die wahren Bedrohungen die „Vier Reiter“ nenne, nennen wir diese drei die „Drei Handlanger der generativen KI“: Datenlecks, Offenlegung von geistigem Eigentum und unbefugtes Training. Bevor Sie anderer Meinung sind, lassen Sie mich erklären, warum diese drei Punkte Sie meiner Meinung nach von den wahren Herausforderungen ablenken, vor denen wir heute stehen:

• Datenlecks: Ohne die Möglichkeit, dass Dritte Ihre vertraulichen Daten trainieren, bleiben Datenleckangriffe im Vergleich zu den bekannten Large Language Models (LLM) theoretisch und es gibt keine groß angelegte Demonstration praktischer Angriffe
• Gefährdung des geistigen Eigentums: Sofern keine Schulung erfolgt, bleibt das Risiko der Gefährdung des geistigen Eigentums ähnlich wie bei SaaS-Anwendungen, die nicht auf generativer KI basieren, wie z. B. Online-Tabellen
• Unautorisiertes Training: Benutzern die Möglichkeit zu geben, die Verwendung ihrer Daten zum Training generativer KI abzulehnen, wird zum Branchenstandard – und mildert damit Bedenken hinsichtlich des Trainings sensibler Daten, die noch vor wenigen Monaten vorherrschten

Die vier Reiter der generativen KI

Worauf sollten Sie sich wirklich konzentrieren, um sicherzustellen, dass Ihr Unternehmen auf die neue Realität, in der wir leben, vorbereitet ist? Ich warne Sie – hier wird estatsächlichbeängstigend.

Grammarly ist seit über 14 Jahren das führende Unternehmen für KI-Schreibunterstützung, und meine Arbeit in den letzten Jahren bestand darin, unserem Unternehmen dabei zu helfen, sich vor glaubwürdigen Bedrohungen zu schützen. Ich nenne diese albtraumhaften Bedrohungen die vier Reiter der generativen KI: Sicherheitslücken, Risiko Dritter, Datenschutz und Urheberrecht sowie Ausgabequalität.

Sicherheitslücken

Da so viele Menschen auf den Zug der generativen KI aufspringen und unterschiedliche Modelle entwickeln, sehen wir uns mit neuen Sicherheitslücken konfrontiert – von vorhersehbar bis hin zu erschreckend leicht zu übersehen.

LLMs sind anfällig für eine Reihe neu auftretender Sicherheitslücken ( eine umfassende Liste finden Sie unter OWASP LLM Top 10 ), und wir müssen sicherstellen, dass jeder Perimeter gesichert bleibt. Ein zuverlässiger LLM-Anbieter muss erklären, welche First- und Third-Party-Assurance-Maßnahmen, wie etwa KI-Red-Teaming und Third-Party-Audits, in seine Angebote eingeflossen sind, um LLM-Sicherheitslücken zu schließen. Führen Sie Ihre Due-Diligence-Prüfung durch. Ein sicherer Perimeter bedeutet nichts, wenn Sie die Schlösser offen lassen.

Datenschutz und Urheberrecht

Wie sicher sind Sie angesichts der Weiterentwicklung der rechtlichen und datenschutzrechtlichen Rahmenbedingungen rund um generative KI vor behördlichen Maßnahmen gegen Ihren Anbieter oder sich selbst? Wir haben in der EU einige ziemlich heftige Reaktionen gesehen, die nur auf der Herkunft der Trainingsdatensätze basieren. Erwachen Sie nicht mit einem Albtraum für Sie und Ihr Rechtsteam.

Generative KI-Tools basieren auf Mustern in Daten, aber was passiert, wenn dieses Muster aufgehoben und von der Arbeit einer anderen Person auf Sie übertragen wird? Sind Sie als Nutzer geschützt, wenn Ihnen jemand Plagiat vorwirft? Ohne die richtigen Leitplanken könnte dies von lästigen Kopfschmerzen zur erschreckenden Realität werden. Schützen Sie sich und Ihre Kunden von Anfang an, indem Sie die Urheberrechtsverpflichtungen der Anbieter prüfen.

Risiken von LLM-Drittanbietern

Viele der LLMs von Drittanbietern sind neu und werden einen gewissen Zugriff auf vertrauliche Daten haben. Und obwohl alle diese Technologien integrieren, sind nicht alle davon ausgereift. Große Akteure wie Cloud-Anbieter, die bereits Teil unseres Risikoprofils sind, können uns dabei helfen, das Risiko auf eine Weise zu mindern, die kleinere SaaS-Unternehmen nicht können (oder wollen). Wenn ich Ihnen einen Rat geben könnte, würde ich Ihnen sagen, seien Sie vorsichtig, wen Sie zur Party einladen. Ihre Verantwortung gegenüber Ihren Kunden beginnt lange bevor diese Ihr Produkt verwenden.

Ausgabequalität

Generative KI-Tools sind sehr reaktionsschnell, sicher und flüssig, können aber auch falsch liegen und ihre Benutzer irreführen (z. B. eine Halluzination). Stellen Sie sicher, dass Sie verstehen, wie Ihr Anbieter die Richtigkeit der generierten Inhalte gewährleistet.

Was ist schlimmer? Generative KI-Tools können Inhalte erstellen, die möglicherweise nicht für Ihre Zielgruppe geeignet sind, beispielsweise Wörter oder Ausdrücke, die für bestimmte Gruppen schädlich sind. Bei Grammarly ist das das schlimmste Ergebnis, das unser Produkt haben kann, und wir arbeiten sehr hart daran, darauf zu achten und uns davor zu schützen.

Stellen Sie sicher, dass Sie wissen, über welche Richtlinien und Möglichkeiten Ihr Anbieter verfügt, um sensible Inhalte zu kennzeichnen. Fragen Sie Ihren Anbieter nach einer Content-Moderations-API, mit der Sie Inhalte filtern können, die für Ihr Publikum nicht geeignet sind. Das Vertrauen Ihres Publikums hängt davon ab.

Laufen Sie nicht davon: Gehen Sie selbstbewusst auf die generative KI zu

Bauen Sie das bestmögliche interne Sicherheitsteam auf

Investieren Sie in ein großartiges internes KI-Sicherheitsteam, ähnlich den Cloud-Sicherheitsteams, die wir alle in den letzten 10 Jahren aufgebaut haben, als wir Cloud Computing eingeführt haben. Internes Fachwissen wird Ihnen dabei helfen, herauszufinden, welche Auswirkungen jede dieser realen Bedrohungen auf Ihr Unternehmen/Produkt/Ihren Verbraucher haben könnte und welche Tools Sie benötigen, um sich angemessen zu schützen.

Bilden Sie Ihr Expertenteam aus. Und sie dann zum Red-Team ausbilden. Lassen Sie sie auf KI-Modellen basierende Angriffe (z. B. Jailbreak, mandantenübergreifender Breakout und Offenlegung sensibler Daten usw.) und Tabletop-Übungen mit hochwirksamen Szenarien durchspielen, damit Sie wissen, wie Sie mit den lauernden Bedrohungen umgehen müssen.

Stärken (und bewaffnen) Sie Ihre Mitarbeiter

Wenn Sie generative KI in Ihr Unternehmen einführen, sollten Sie Ihre Mitarbeiter als Ihre zweite Verteidigungslinie gegen die beschriebenen Sicherheitsbedrohungen betrachten. Ermöglichen Sie ihnen, zum Schutz Ihres Unternehmens beizutragen, indem Sie generative KI-Sicherheitsschulungen und klare Anleitungen zu einer akzeptablen Nutzungsrichtlinie anbieten.

Untersuchungen zeigen, dass 68 Prozent der Arbeitnehmer zugeben, den Einsatz generativer KI vor ihren Arbeitgebern zu verbergen. Wenn man etwas anderes vorgibt, werden die vier Reiter der generativen KI nicht verschwinden. Stattdessen empfehle ich Ihnen, eine asphaltierte Straße zu bauen, die es den Reitern ermöglicht, Ihr Unternehmen zu umgehen.

Um zu erfahren, wie wir diesen Weg bei Grammarly aufgebaut haben, schauen Sie sich bitte meine Sitzung beim diesjährigen Gartner IT Symposium/XPo an.In meinem Vortrag werde ich einen detaillierten Rahmen für die sichere Einführung generativer KI erläutern.Unser Whitepaper zu diesem Thema erscheint am 19. Oktober.

Um mehr über Grammarlys Engagement für verantwortungsvolle KI zu erfahren, besuchen Sie unserTrust Center.