Cei patru călăreți ai inteligenței artificiale generative (și cum să eviți un coșmar)

A fi Chief Information Security Officer vine cu multă responsabilitate. Zilnic, sunt responsabil pentru protejarea utilizatorilor noștri, a produsului pe care îl facem, a companiei și a datelor care stau în centrul activității noastre, toate în același timp construind un sistem de clasă mondială care funcționează non-stop pentru a identifica amenințările. și anihilați-le înainte de a putea cauza vreun rău. Îmi place că pot să fac această muncă. Există un grup central de amenințări și riscuri inerente pe care ni le asumăm în acest rol, dar acesta este ceea ce face ca lucrurile să fie interesante: depășirea actorilor răi și găsirea unor modalități mai bune de a ne proteja utilizatorii. Este înfricoșător? Poate fi, dar nu ar trebui să fie niciodată un coșmar.

Cineva m-a întrebat recent ce mă ține treaz noaptea (alias din ce sunt făcute coșmarurile mele) și m-a făcut să mă gândesc la care sunt amenințările reale și percepute în era digitală actuală. Ca urmare a multor planificări atente și a muncii grele din partea echipei mele de la Grammarly, lista lucrurilor care mă țin treaz este foarte, foarte scurtă. Dar schimbarea jocului, și o știm cu toții, este IA generativă.

AI generativă și frica de necunoscut

Inteligența artificială generativă simte că este peste tot pentru că de fapt este peste tot. Cu mai puțin de un an în urmă, GPT a ajuns la un milion de utilizatori într-o fracțiune (1/15 pentru a fi exact) din timp, ca comparație cea mai apropiată, Instagram.

Grozav, deci este peste tot. Acum ce? Liderii IT din întreaga lume se confruntă acum cu un set complet nou de posibilități cu adevărat înfricoșătoare împotriva cărora trebuie să ne pregătim să ne apărăm. Acest vector de amenințare este diferit.

S-ar putea să nu cunoașteți detaliile esențiale despre modul în care devenim conform SOC2, dar sunt dispus să pariez că sunteți conștient de pericolele AI generative și de amenințările reprezentate de antrenamentul asupra datelor dvs. Corect? Corect. Inteligența artificială generativă nu se regăsește numai în produsele pe care le folosim, ci și în ciclul nostru de știri și este în fruntea minții pentru oricine este interesat de la distanță de o lume care utilizează tehnologia. Dar nu ar trebui să fie înfricoșător – cel puțin nu în modul în care ți se spune să fii speriat.

Nu atât de înfricoșător: amenințările supraevaluate ale IA generativă

Observăm îngrijorări tot mai mari în legătură cu amenințările AI generative, dintre care unele sunt credibile, dar multe cred că sunt supraevaluate astăzi. Dacă am de gând să numesc amenințările reale Patru Călăreți, să îi numim pe aceștia trei cei trei ciudățeni ai inteligenței artificiale generative: scurgerea de date, expunerea IP și antrenamentul neautorizat. Înainte de a nu fi de acord, permiteți-mi să vă explic de ce cred că aceste trei puncte vă distrage atenția de la provocările reale cu care ne confruntăm astăzi:

• Scurgeri de date: fără a permite terțelor părți să se antreneze cu privire la datele dvs. confidențiale, atacurile de scurgere de date rămân teoretice împotriva modelelor de limbaj mari (LLM) bine-cunoscute, fără o demonstrație la scară largă a atacurilor practice.
• Expunerea la IP: cu excepția oricărei instruiri, riscul de expunere la IP rămâne similar cu aplicațiile SaaS care nu sunt alimentate de AI, cum ar fi foile de calcul online.
• Instruire neautorizată: permiterea utilizatorilor să renunțe la utilizarea datelor lor pentru a antrena AI generativă devine un standard în industrie, atenuând preocupările sensibile privind formarea datelor care erau predominante cu câteva luni în urmă

Cei patru călăreți ai IA generativă

Pe ce ar trebui să vă concentrați cu adevărat pentru a vă asigura că organizația dumneavoastră este pregătită să facă față noii realități în care trăim? Vă avertizez – aici devinede faptînfricoșător.

Grammarly a fost cea mai importantă companie de asistență pentru scriere AI de peste 14 ani, iar munca mea din ultimii câțiva ani a fost să ajut compania noastră să fie rezistentă la amenințări credibile. Eu numesc aceste amenințări la nivel de coșmar „Patru Călăreți ai AI generative: Vulnerabilități de securitate, Risc pentru terți, Confidențialitate și drepturi de autor și calitatea rezultatelor”.

Vulnerabilități de securitate

Cu atât de mulți oameni care trec pe valul AI generativ și vin cu modele diferite, ne trezim confruntându-ne cu noi vulnerabilități de securitate – de la previzibil până la înspăimântător de ușor de ratat.

LLM-urile sunt susceptibile la o serie emergentă de vulnerabilități de securitate (consultați OWASP LLM Top 10 pentru o listă cuprinzătoare) și trebuie să ne asigurăm că fiecare perimetru rămâne fortificat. Un furnizor de încredere LLM trebuie să explice ce eforturi de asigurare primare și terță parte, cum ar fi AI red-teaming și audituri terță parte, au intrat în ofertele lor pentru a atenua vulnerabilitățile de securitate LLM. Fă-ți diligența. Un perimetru sigur nu înseamnă nimic dacă lăsați încuietorile deschise.

Confidențialitate și drepturi de autor

Odată cu evoluția mediului legal și de confidențialitate din jurul IA generativă, cât de ferit sunteți de acțiunile de reglementare împotriva furnizorului dvs. sau a dvs.? Am văzut câteva reacții destul de puternice în UE, bazate doar pe proveniența setului de date de antrenament. Nu vă treziți într-un coșmar pentru dvs. și echipa dvs. juridică.

Instrumentele AI generative se bazează pe modele din date, dar ce se întâmplă atunci când acel model este ridicat și transferat către dvs. din munca altcuiva? Ești protejat, ca utilizator, dacă cineva te acuză de plagiat? Fără balustradele potrivite, acest lucru ar putea trece de la o durere de cap incomodă la o realitate terifiantă. Protejați-vă pe dvs. și clienții dvs. încă de la început, analizând angajamentele de drepturi de autor ale furnizorului.

Riscurile furnizorilor terți de LLM

Multe dintre LLM-urile terțe sunt noi și vor avea un anumit acces la date confidențiale. Și, în timp ce toată lumea se integrează cu aceste tehnologii, nu toate sunt mature. Jucătorii mari, cum ar fi furnizorii de cloud, care fac deja parte din profilul nostru de risc, ne pot ajuta să atenuăm riscul într-un mod în care companiile SaaS mai mici nu sunt capabile (sau dispuse). Dacă aș putea să-ți dau un sfat, aș spune să fii atent la cine inviți la petrecere. Responsabilitatea dumneavoastră față de client începe cu mult înainte ca aceștia să vă folosească produsul.

Calitatea ieșirii

Instrumentele AI generative sunt foarte receptive, încrezătoare și fluente, dar pot, de asemenea, să greșească și să-și inducă în eroare utilizatorii (de exemplu, o halucinație). Asigurați-vă că înțelegeți modul în care furnizorul dvs. asigură acuratețea conținutului generat.

Ce e mai rău? Instrumentele AI generative pot crea conținut care ar putea să nu fie adecvat pentru publicul dvs., cum ar fi cuvinte sau expresii dăunătoare anumitor grupuri. La Grammarly, acesta este cel mai rău rezultat pe care îl poate avea produsul nostru și muncim foarte mult pentru a-l urmări și a ne proteja împotriva lui.

Asigurați-vă că știți ce balustrade și capacități are furnizorul dvs. pentru a semnala conținut sensibil. Solicitați furnizorului dvs. un API de moderare a conținutului care vă permite să filtrați conținutul care nu este potrivit pentru publicul dvs. Încrederea publicului tău depinde de asta.

Nu fugi de ea: treci cu încredere către IA generativă

Construiește cea mai bună echipă de securitate internă posibilă

Investește într-o echipă internă de securitate AI grozavă, similară echipelor de securitate în cloud pe care le-am construit cu toții în ultimii 10 ani, când am îmbrățișat cloud computing. Expertiza internă vă va ajuta să subliniați modul în care fiecare dintre aceste amenințări reale s-ar putea raporta la afacerea/produsul/consumatorul dvs. și de ce instrumente veți avea nevoie pentru a vă proteja corespunzător.

Antrenează-ți echipa de experți. Și apoi antrenează-i la echipa roșie. Puneți-le să execute atacuri bazate pe modele AI (de exemplu, jailbreak, spargere între chiriași și dezvăluiri de date sensibile etc.) și exerciții de masă pentru scenarii cu impact ridicat, astfel încât să știți cum să gestionați amenințările care pândesc.

Împuterniciți (și înarmați) angajații dvs

Pe măsură ce introduceți inteligența artificială generativă în întreprindere, considerați-vă angajații drept a doua linie de apărare împotriva amenințărilor de securitate prezentate. Permiteți-le să vă ajute să vă protejați compania, oferind instruire generativă de siguranță AI și îndrumări clare cu privire la o politică de utilizare acceptabilă.

Cercetările arată că 68% dintre angajați recunosc că au ascuns folosirea generativă a IA de angajatori. Pretinderea contrariului nu va face ca cei Patru Călăreți ai IA generativă să dispară. În schimb, vă recomand să construiți un drum asfaltat care să permită Călăreților să ocolească compania dumneavoastră.

Pentru a afla cum am construit acel drum la Grammarly, vă rugăm să consultați sesiunea mea de la Simpozionul/XPo Gartner IT de anul acesta. În discursul meu, voi acoperi un cadru detaliat pentru adoptarea sigură a IA generativă. Cartea noastră albă pe această temă va fi lansată pe 19 octombrie.

Pentru a afla mai multe despre angajamentul Grammarly față de IA responsabilă, vizitațiCentrul nostru de încredere .