Os quatro cavaleiros da IA ​​generativa (e como evitar um pesadelo)

Ser Diretor de Segurança da Informação exige muita responsabilidade. Diariamente, sou responsável por proteger nossos usuários, o produto que fabricamos, a empresa e os dados que estão no centro do nosso trabalho, ao mesmo tempo em que construo um sistema de classe mundial que opera 24 horas por dia para detectar ameaças. e aniquilá-los antes que possam causar algum dano. Eu amo poder fazer esse trabalho. Há um grupo central de ameaças e riscos inerentes que assumimos nesta função, mas é isso que mantém as coisas interessantes: ser mais esperto que os malfeitores e encontrar melhores maneiras de proteger nossos usuários. É assustador? Pode ser, mas nunca deveria ser um pesadelo.

Recentemente, alguém me perguntou o que me mantém acordado à noite (também conhecido como de que são feitos os meus pesadelos), e isso me fez pensar sobre quais são as ameaças reais e percebidas em nossa atual era digital. Como resultado de muito planejamento cuidadoso e trabalho árduo de minha equipe da Grammarly, a lista de coisas que me mantêm acordado é muito, muito curta. Mas a virada do jogo, e todos nós sabemos disso, é a IA generativa.

IA generativa e o medo do desconhecido

A IA generativa parece estar em todo lugar porque na verdade está em todo lugar. Há menos de um ano, o GPT alcançou um milhão de usuários em uma fração (1/15, para ser exato) do tempo de sua comparação mais próxima, o Instagram.

Ótimo, então está em todo lugar. E agora? Os líderes de TI em todo o mundo enfrentam agora um conjunto inteiramente novo de possibilidades realmente assustadoras, das quais temos de nos preparar para nos defendermos. Este vetor de ameaça é diferente.

Talvez você não conheça os detalhes essenciais de como nos tornamos compatíveis com o SOC2, mas aposto que você está ciente dos perigos da IA ​​generativa e das ameaças representadas pelo treinamento em seus dados. Certo? Certo. A IA generativa não está apenas nos produtos que usamos, mas também em nosso ciclo de notícias e é uma prioridade para qualquer pessoa que esteja remotamente interessada em um mundo que usa tecnologia. Mas não deveria ser assustador - pelo menos não da maneira que dizem para você ter medo.

Não é tão assustador: as ameaças exageradas da IA ​​generativa

Estamos vendo preocupações crescentes em torno das ameaças da IA ​​generativa, algumas das quais são credíveis, mas muitas, acredito, hoje são exageradas. Se vou chamar as ameaças reais de Quatro Cavaleiros, vamos chamar essas três de Três Patetas da IA ​​generativa: vazamento de dados, exposição de IP e treinamento não autorizado. Antes de discordar, permita-me explicar por que penso que estes três pontos o estão a distrair dos desafios reais que enfrentamos hoje:

• Vazamento de dados: sem permitir que terceiros treinem com seus dados confidenciais, os ataques de vazamento de dados permanecem teóricos contra os conhecidos modelos de linguagem grande (LLM) existentes, sem demonstração em larga escala de ataques práticos
• Exposição de IP: salvo qualquer treinamento, o risco de exposição de IP permanece semelhante aos aplicativos SaaS não generativos alimentados por IA, como planilhas on-line
• Treinamento não autorizado: permitir que os usuários optem por não permitir que seus dados sejam usados ​​para treinar IA generativa está se tornando um padrão do setor, mitigando preocupações com treinamento de dados confidenciais que prevaleciam há poucos meses

Os Quatro Cavaleiros da IA ​​generativa

Em que você realmente deveria se concentrar para garantir que sua organização esteja preparada para lidar com a nova realidade em que vivemos? Vou avisá-lo: é aqui que tudo ficarealmenteassustador.

Grammarly é a empresa líder em assistência à redação de IA há mais de 14 anos, e meu trabalho nos últimos anos tem sido ajudar nossa empresa a se tornar à prova de fantasmas em relação a ameaças confiáveis. Eu chamo essas ameaças de pesadelo de os Quatro Cavaleiros da IA ​​Gerativa: Vulnerabilidades de Segurança, Risco de Terceiros, Privacidade e Direitos Autorais e Qualidade de Saída.

Vulnerabilidades de segurança

Com tantas pessoas aderindo ao movimento da IA ​​generativa e criando modelos diferentes, nos deparamos com novas vulnerabilidades de segurança – desde as previsíveis até as assustadoramente fáceis de ignorar.

Os LLMs são suscetíveis a uma série emergente de vulnerabilidades de segurança (confira o OWASP LLM Top 10 para obter uma lista abrangente) e precisamos garantir que cada perímetro permaneça fortificado. Um provedor de LLM confiável deve explicar quais esforços de garantia próprios e de terceiros, como equipes de IA e auditorias de terceiros, foram aplicados em suas ofertas para mitigar vulnerabilidades de segurança de LLM. Faça sua devida diligência. Um perímetro seguro não significa nada se você deixar as fechaduras abertas.

Privacidade e direitos autorais

Com a evolução do ambiente legal e de privacidade em torno da IA ​​generativa, quão seguro você está contra ações regulatórias contra seu provedor ou contra você mesmo? Temos visto algumas reações bastante fortes na UE, com base apenas na proveniência dos conjuntos de dados de formação. Não acorde com um pesadelo para você e sua equipe jurídica.

As ferramentas de IA generativa são baseadas em padrões de dados, mas o que acontece quando esse padrão é retirado e transferido para você do trabalho de outra pessoa? Você está protegido, como usuário, se alguém o acusar de plágio? Sem as proteções corretas, isso pode passar de uma dor de cabeça inconveniente a uma realidade aterrorizante. Proteja você e seus clientes desde o início, analisando os compromissos de direitos autorais dos fornecedores.

Riscos de provedores terceirizados de LLM

Muitos dos LLMs de terceiros são novos e terão algum acesso a dados confidenciais. E, embora todos estejam se integrando a essas tecnologias, nem todos estão maduros. Grandes players, como provedores de nuvem, que já fazem parte do nosso perfil de risco, são capazes de nos ajudar a mitigar o risco de uma forma que as pequenas empresas de SaaS não conseguem (ou desejam). Se eu pudesse lhe dar um conselho, diria para ter cuidado com quem você convida para a festa. Sua responsabilidade para com seu cliente começa muito antes de ele usar seu produto.

Qualidade de saída

As ferramentas de IA generativa são altamente responsivas, confiantes e fluentes, mas também podem estar erradas e enganar os seus utilizadores (por exemplo, uma alucinação). Certifique-se de entender como seu provedor garante a precisão do conteúdo gerado.

O que é pior? As ferramentas generativas de IA podem criar conteúdo que pode não ser apropriado para o seu público, como palavras ou expressões prejudiciais a determinados grupos. Na Grammarly, esse é o pior resultado que nosso produto pode ter, e trabalhamos muito para cuidar disso e nos proteger contra ele.

Certifique-se de saber quais proteções e recursos seu provedor possui para sinalizar conteúdo confidencial. Peça ao seu provedor uma API de moderação de conteúdo que permita filtrar conteúdo que não é apropriado para o seu público. A confiança do seu público depende disso.

Não fuja disso: avance com confiança em direção à IA generativa

Crie o melhor esquadrão de segurança interno possível

Invista em uma excelente equipe interna de segurança de IA, semelhante às equipes de segurança em nuvem que construímos nos últimos 10 anos, à medida que adotamos a computação em nuvem. A experiência interna o ajudará a descrever como cada uma dessas ameaças reais pode estar relacionada ao seu negócio/produto/consumidor e quais ferramentas você precisará para se proteger adequadamente.

Treine sua equipe de especialistas. E então treine-os para o time vermelho. Faça com que eles executem ataques baseados em modelos de IA (por exemplo, jailbreak, invasão entre locatários e divulgações de dados confidenciais, etc.) e exercícios de mesa de cenários de alto impacto, para que você saiba como lidar com as ameaças que estão à espreita.

Capacite (e arme) seus funcionários

Ao trazer IA generativa para a empresa, considere seus funcionários como sua segunda linha de defesa contra as ameaças à segurança descritas. Permita que eles ajudem a proteger sua empresa, fornecendo treinamento generativo em segurança de IA e orientações claras sobre uma política de uso aceitável.

A pesquisa mostra que 68% dos funcionários admitem esconder de seus empregadores o uso generativo de IA. Fingir o contrário não fará desaparecer os Quatro Cavaleiros da IA ​​generativa. Em vez disso, recomendo que você construa uma estrada pavimentada que permita aos Cavaleiros contornar sua companhia.

Para saber como construímos esse caminho na Grammarly, confira minha sessão no Gartner IT Symposium/XPo deste ano. Na minha palestra, abordarei uma estrutura detalhada para a adoção segura de IA generativa. Nosso white paper sobre este tópico será lançado em 19 de outubro.

Para saber mais sobre o compromisso da Grammarly com a IA responsável, visite nossaCentral de Confiança .