Czterej jeźdźcy generatywnej sztucznej inteligencji (i jak uniknąć koszmaru)

Stanowisko dyrektora ds. bezpieczeństwa informacji wiąże się z dużą odpowiedzialnością. Na co dzień jestem odpowiedzialny za ochronę naszych użytkowników, produktu, który tworzymy, firmy i danych, które są w centrum naszej pracy, a wszystko to przy jednoczesnym budowaniu światowej klasy systemu, który działa przez całą dobę i wyszukuje zagrożenia i unicestwić je, zanim wyrządzą jakąkolwiek krzywdę. Kocham to, że mogę wykonywać tę pracę. Istnieje podstawowa grupa nieodłącznych zagrożeń i ryzyka, które podejmujemy w tej roli, ale to właśnie sprawia, że ​​wszystko jest tak ekscytujące: przechytrzanie złych aktorów i znajdowanie lepszych sposobów ochrony naszych użytkowników. Czy to przerażające? Może tak być, ale nigdy nie powinno to być koszmarem.

Ktoś niedawno zapytał mnie, co nie pozwala mi zasnąć w nocy (czyli z czego składają się moje koszmary), i to skłoniło mnie do zastanowienia się, jakie są rzeczywiste i postrzegane zagrożenia w naszej obecnej erze cyfrowej. W wyniku starannego planowania i ciężkiej pracy mojego zespołu w Grammarly lista rzeczy, które nie pozwalają mi zasnąć, jest bardzo, bardzo krótka. Ale przełomem i wszyscy o tym wiemy jest generatywna sztuczna inteligencja.

Generatywna sztuczna inteligencja i strach przed nieznanym

Wydaje się, że generatywna sztuczna inteligencja jest wszędzie, ponieważ tak naprawdę jest wszędzie. Niecały rok temu GPT osiągnął milion użytkowników w ułamku (dokładnie 1/15) czasu, jak najbliższe porównanie, Instagram.

Świetnie, więc jest wszędzie. Co teraz? Liderzy IT na całym świecie stoją obecnie przed zupełnie nowym zestawem naprawdę przerażających możliwości, przed którymi musimy się przygotować, aby się bronić. Ten wektor zagrożenia jest inny.

Być może nie znasz najdrobniejszych szczegółów tego, jak osiągamy zgodność z SOC2, ale jestem skłonny się założyć, że zdajesz sobie sprawę z niebezpieczeństw związanych z generatywną sztuczną inteligencją i zagrożeń stwarzanych przez szkolenie na Twoich danych. Prawidłowy? Prawidłowy. Generatywna sztuczna inteligencja jest obecna nie tylko w produktach, których używamy, ale także w naszym cyklu wiadomości i jest na pierwszym planie dla każdego, kto choć trochę interesuje się światem korzystającym z technologii. Ale to nie powinno być przerażające – przynajmniej nie w taki sposób, w jaki mówi się, żebyś się bał.

Nie takie straszne: przesadzone zagrożenia ze strony generatywnej sztucznej inteligencji

Widzimy rosnące obawy związane z zagrożeniami związanymi z generatywną sztuczną inteligencją. Niektóre z nich są wiarygodne, ale moim zdaniem wiele z nich jest dziś przesadzonych. Jeśli mam nazwać prawdziwe zagrożenia Czterema Jeźdźcami, nazwijmy tych trzech Trzema Stoogami generatywnej sztucznej inteligencji: wyciek danych, ujawnienie własności intelektualnej i nieautoryzowane szkolenia. Zanim się nie zgodzisz, pozwól, że wyjaśnię, dlaczego moim zdaniem te trzy punkty odwracają Twoją uwagę od prawdziwych wyzwań, przed którymi stoimy dzisiaj:

• Wyciek danych: bez umożliwienia stronie trzeciej szkolenia na poufnych danych ataki polegające na wycieku danych pozostają teoretyczne w porównaniu z dobrze znanymi modelami dużych języków (LLM), bez demonstracji praktycznych ataków na dużą skalę
• Ekspozycja na IP: poza wszelkimi szkoleniami ryzyko narażenia na IP pozostaje podobne jak w przypadku aplikacji SaaS niegeneratywnych wykorzystujących sztuczną inteligencję, takich jak arkusze kalkulacyjne online
• Nieautoryzowane szkolenia: umożliwienie użytkownikom rezygnacji z wykorzystywania ich danych do szkolenia generatywnej sztucznej inteligencji staje się standardem branżowym – łagodząc obawy dotyczące szkoleń dotyczących wrażliwych danych, które były powszechne zaledwie kilka miesięcy temu

Czterej jeźdźcy generatywnej sztucznej inteligencji

Na czym tak naprawdę powinieneś się skupić, aby Twoja organizacja była przygotowana na radzenie sobie w nowej rzeczywistości, w której żyjemy? Ostrzegam cię – tutajnaprawdęrobi się strasznie.

Grammarly jest od ponad 14 lat wiodącą firmą pomagającą w pisaniu sztucznej inteligencji, a moja praca przez ostatnie kilka lat polegała na pomaganiu naszej firmie w zabezpieczeniu przed duchami przed wiarygodnymi zagrożeniami. Nazywam te koszmarne zagrożenia Czterema Jeźdźcami generatywnej sztucznej inteligencji: luki w zabezpieczeniach, ryzyko strony trzeciej, prywatność i prawa autorskie oraz jakość wyjściowa.

Luki w zabezpieczeniach

Przy tak wielu ludziach podążających za modą generatywnej sztucznej inteligencji i wymyślających różne modele, stajemy w obliczu nowych luk w zabezpieczeniach — od przewidywalnych po przerażająco łatwe do przeoczenia.

LLM są podatne na pojawiający się szereg luk w zabezpieczeniach (obszerna lista znajduje się w OWASP LLM Top 10 ), dlatego musimy zadbać o to, aby każdy obwód pozostał ufortyfikowany. Wiarygodny dostawca LLM musi wyjaśnić, jakie działania zabezpieczające własne i strony trzeciej, takie jak red-teaming AI i audyty stron trzecich, wprowadzono do jego ofert w celu ograniczenia luk w zabezpieczeniach LLM. Dołóż należytej staranności. Bezpieczny obwód nic nie znaczy, jeśli pozostawisz zamki otwarte.

Prywatność i prawa autorskie

W miarę ewolucji otoczenia prawnego i prywatności wokół generatywnej sztucznej inteligencji, jak bezpieczny jesteś przed działaniami regulacyjnymi skierowanymi przeciwko Twojemu dostawcy lub Tobie? Zaobserwowaliśmy dość silne reakcje w UE, oparte jedynie na pochodzeniu zbiorów danych szkoleniowych. Nie myśl, że budzisz się z koszmarem dla Ciebie i Twojego zespołu prawnego.

Narzędzia generatywnej sztucznej inteligencji opierają się na wzorcach w danych, ale co się stanie, gdy ten wzorzec zostanie usunięty i przeniesiony na Ciebie z pracy kogoś innego? Czy jako użytkownik jesteś chroniony, jeśli ktoś oskarży Cię o plagiat? Bez odpowiednich barier ochronnych sytuacja może zmienić się z niewygodnego bólu głowy w przerażającą rzeczywistość. Chroń siebie i swoich klientów od samego początku, sprawdzając zobowiązania dostawców dotyczące praw autorskich.

Ryzyko dostawcy zewnętrznego LLM

Wiele zewnętrznych firm LLM jest nowych i będzie miało pewien dostęp do poufnych danych. I chociaż wszyscy integrują się z tymi technologiami, nie wszystkie z nich są dojrzałe. Duzi gracze, tacy jak dostawcy usług w chmurze, którzy są już częścią naszego profilu ryzyka, są w stanie pomóc nam ograniczyć ryzyko w sposób, w jaki mniejsze firmy SaaS nie są w stanie (lub nie chcą). Jeśli mogłabym dać Ci jedną radę, to radziłabym: uważaj, kogo zapraszasz na imprezę. Twoja odpowiedzialność wobec klienta zaczyna się na długo przed użyciem Twojego produktu.

Jakość wyjściowa

Narzędzia generatywnej sztucznej inteligencji są bardzo responsywne, pewne i płynne, ale mogą się też mylić i wprowadzać użytkowników w błąd (np. halucynacje). Upewnij się, że rozumiesz, w jaki sposób Twój dostawca zapewnia dokładność generowanych treści.

Co jest gorsze? Narzędzia generatywnej sztucznej inteligencji mogą tworzyć treści, które mogą być nieodpowiednie dla Twoich odbiorców, takie jak słowa lub wyrażenia szkodliwe dla określonych grup. W firmie Grammarly jest to najgorszy wynik, jaki może mieć nasz produkt, dlatego bardzo ciężko pracujemy, aby o to zadbać i chronić się przed nim.

Upewnij się, że wiesz, jakie zabezpieczenia i możliwości ma Twój dostawca w celu oznaczania poufnych treści. Poproś swojego dostawcę o interfejs API do moderowania treści, który umożliwia filtrowanie treści nieodpowiednich dla Twoich odbiorców. Od tego zależy zaufanie odbiorców.

Nie uciekaj od tego: śmiało przejdź w stronę generatywnej sztucznej inteligencji

Zbuduj najlepszy możliwy wewnętrzny zespół ochrony

Zainwestuj w świetny wewnętrzny zespół ds. bezpieczeństwa sztucznej inteligencji, podobny do zespołów ds. bezpieczeństwa w chmurze, które wszyscy zbudowaliśmy w ciągu ostatnich 10 lat, gdy zaczęliśmy korzystać z chmury obliczeniowej. Wewnętrzna wiedza specjalistyczna pomoże Ci określić, w jaki sposób każde z tych realnych zagrożeń może odnosić się do Twojej firmy/produktu/konsumenta i jakich narzędzi będziesz potrzebować, aby odpowiednio się chronić.

Szkoluj swój zespół ekspertów. A potem wytrenuj ich do drużyny czerwonej. Niech przeprowadzą ataki oparte na modelach sztucznej inteligencji (np. jailbreak, ucieczki między dzierżawcami i ujawnienie danych wrażliwych itp.) oraz ćwiczenia praktyczne dotyczące scenariuszy o dużym wpływie, abyś wiedział, jak radzić sobie z czyhającymi zagrożeniami.

Wzmocnij (i uzbroić) swoich pracowników

Wprowadzając generatywną sztuczną inteligencję do przedsiębiorstwa, potraktuj swoich pracowników jako drugą linię obrony przed opisanymi zagrożeniami bezpieczeństwa. Pozwól im pomóc chronić Twoją firmę, zapewniając szkolenia w zakresie bezpieczeństwa w zakresie sztucznej inteligencji i jasne wytyczne dotyczące zasad dopuszczalnego użytkowania.

Badania pokazują, że 68 procent pracowników przyznaje się do ukrywania przed pracodawcami wykorzystania generatywnej sztucznej inteligencji. Udawanie, że jest inaczej, nie sprawi, że Czterej Jeźdźcy generatywnej AI znikną. Zamiast tego radzę zbudować utwardzoną drogę, która umożliwi Jeźdźcom ominięcie Twojej kompanii.

Aby dowiedzieć się, jak zbudowaliśmy tę drogę w Grammarly, zapoznaj się z moją sesją podczas tegorocznego Sympozjum IT Gartner/XPo.W moim wystąpieniu omówię szczegółowe ramy bezpiecznego wdrażania generatywnej sztucznej inteligencji.Nasza biała księga na ten temat zostanie opublikowana 19 października.

Aby dowiedzieć się więcej o zaangażowaniu Grammarly w odpowiedzialną sztuczną inteligencję, odwiedź naszeCentrum zaufania.