Los cuatro jinetes de la IA generativa (y cómo evitar una pesadilla)

Ser Director de Seguridad de la Información conlleva mucha responsabilidad. Diariamente, soy responsable de proteger a nuestros usuarios, el producto que fabricamos, la empresa y los datos que se encuentran en el centro de nuestro trabajo, todo mientras construyo un sistema de clase mundial que opera las 24 horas del día para detectar amenazas. y aniquilarlos antes de que puedan causar algún daño. Me encanta poder hacer este trabajo. Hay un grupo central de amenazas y riesgos inherentes que asumimos en este rol, pero eso es lo que mantiene las cosas interesantes: burlar a los malos actores y encontrar mejores formas de proteger a nuestros usuarios. ¿Da miedo? Puede serlo, pero nunca debería ser una pesadilla.

Alguien me preguntó recientemente qué me mantiene despierto por la noche (es decir, de qué están hechas mis pesadillas) y me hizo pensar en cuáles son las amenazas reales y percibidas en nuestra era digital actual. Como resultado de una planificación cuidadosa y un arduo trabajo por parte de mi equipo en Grammarly, la lista de cosas que me mantienen despierto es muy, muy corta. Pero lo que cambia las reglas del juego, y todos lo sabemos, es la IA generativa.

La IA generativa y el miedo a lo desconocido

La IA generativa parece estar en todas partes porque en realidad está en todas partes. Hace menos de un año, GPT alcanzó el millón de usuarios en una fracción (1/15 para ser exactos) del tiempo que su comparación más cercana, Instagram.

Genial, entonces está en todas partes. ¿Y ahora qué? Los líderes de TI de todo el mundo se enfrentan ahora a un conjunto completamente nuevo de posibilidades realmente aterradoras contra las que tenemos que prepararnos para defendernos. Este vector de amenaza es diferente.

Puede que no conozcas los detalles esenciales de cómo cumplimos con SOC2, pero estoy dispuesto a apostar que eres consciente de los peligros de la IA generativa y las amenazas que plantea el entrenamiento con tus datos. ¿Bien? Bien. La IA generativa no solo está en los productos que utilizamos, sino también en nuestro ciclo de noticias y es una prioridad para cualquiera que esté remotamente interesado en un mundo que utiliza la tecnología. Pero no debería dar miedo, al menos no en la forma en que te dicen que tengas miedo.

No es tan aterrador: las amenazas sobrevaloradas de la IA generativa

Estamos viendo preocupaciones crecientes en torno a las amenazas de la IA generativa, algunas de las cuales son creíbles, pero creo que muchas están sobrevaloradas hoy en día. Si voy a llamar a las amenazas reales los Cuatro Jinetes, llamemos a estos tres los Tres Chiflados de la IA generativa: fuga de datos, exposición de la propiedad intelectual y entrenamiento no autorizado. Antes de que no estés de acuerdo, permíteme explicarte por qué creo que estos tres puntos te distraen de los verdaderos desafíos que enfrentamos hoy:

• Fuga de datos: sin permitir que un tercero se capacite con sus datos confidenciales, los ataques de fuga de datos siguen siendo teóricos frente a los conocidos modelos de lenguaje grande (LLM) que existen, sin una demostración a gran escala de ataques prácticos.
• Exposición a la propiedad intelectual: salvo que se realice capacitación, el riesgo de exposición a la propiedad intelectual sigue siendo similar al de las aplicaciones SaaS impulsadas por IA no generativa, como las hojas de cálculo en línea.
• Capacitación no autorizada: permitir a los usuarios optar por que sus datos no se utilicen para entrenar IA generativa se está convirtiendo en un estándar de la industria, lo que mitiga las preocupaciones sobre la capacitación de datos confidenciales que prevalecían hace apenas unos meses.

Los cuatro jinetes de la IA generativa

¿En qué debería centrarse realmente para asegurarse de que su organización esté preparada para afrontar la nueva realidad en la que vivimos? Te lo advierto: aquí es donderealmenteda miedo.

Grammarly ha sido la empresa líder en asistencia de redacción de IA durante más de 14 años, y mi trabajo estos últimos años ha sido ayudar a nuestra empresa a estar a prueba de fantasmas frente a amenazas creíbles. A estas amenazas de pesadilla las llamo los cuatro jinetes de la IA generativa: vulnerabilidades de seguridad, riesgos de terceros, privacidad y derechos de autor, y calidad de los resultados.

Vulnerabilidades de seguridad

Con tanta gente subiéndose al tren de la IA generativa y ideando diferentes modelos, nos encontramos frente a nuevas vulnerabilidades de seguridad, desde las predecibles hasta las terriblemente fáciles de pasar por alto.

Los LLM son susceptibles a una variedad emergente de vulnerabilidades de seguridad (consulte OWASP LLM Top 10 para obtener una lista completa) y debemos asegurarnos de que cada perímetro permanezca fortificado. Un proveedor de LLM confiable debe explicar qué esfuerzos de aseguramiento propios y de terceros, como equipos rojos de IA y auditorías de terceros, se han incluido en sus ofertas para mitigar las vulnerabilidades de seguridad de LLM. Haga su debida diligencia. Un perímetro seguro no significa nada si deja las cerraduras abiertas.

Privacidad y derechos de autor

Con la evolución del entorno legal y de privacidad en torno a la IA generativa, ¿qué tan seguro está usted de acciones regulatorias contra su proveedor o contra usted mismo? Hemos visto algunas reacciones bastante fuertes en la UE, basadas únicamente en la procedencia de los conjuntos de datos de entrenamiento. No se despierte con una pesadilla para usted y su equipo legal.

Las herramientas de IA generativa se basan en patrones en los datos, pero ¿qué sucede cuando ese patrón se elimina y se transfiere a usted desde el trabajo de otra persona? ¿Estás protegido, como usuario, si alguien te acusa de plagio? Sin las barreras de seguridad adecuadas, esto podría pasar de un incómodo dolor de cabeza a una aterradora realidad. Protéjase a usted y a sus clientes desde el principio analizando los compromisos de derechos de autor de los proveedores.

Riesgos de proveedores externos de LLM

Muchos de los LLM de terceros son nuevos y tendrán cierto acceso a datos confidenciales. Y, si bien todo el mundo se está integrando con estas tecnologías, no todas están maduras. Los grandes actores, como los proveedores de nube, que ya forman parte de nuestro perfil de riesgo, pueden ayudarnos a mitigar el riesgo de una manera que las empresas SaaS más pequeñas no pueden (o no quieren) hacerlo. Si pudiera darte un consejo, te diría que tengas cuidado con a quién invitas a la fiesta. Su responsabilidad hacia su cliente comienza mucho antes de que utilice su producto.

Calidad de salida

Las herramientas de IA generativa son muy receptivas, seguras y fluidas, pero también pueden equivocarse y engañar a sus usuarios (por ejemplo, una alucinación). Asegúrese de comprender cómo su proveedor garantiza la precisión del contenido generado.

¿Qué es peor? Las herramientas de IA generativa pueden crear contenido que puede no ser apropiado para sus audiencias, como palabras o expresiones perjudiciales para ciertos grupos. En Grammarly, ese es el peor resultado que puede tener nuestro producto, y trabajamos muy duro para vigilarlo y protegerlo.

Asegúrese de saber qué medidas de seguridad y capacidades tiene implementadas su proveedor para marcar contenido confidencial. Solicite a su proveedor una API de moderación de contenido que le permita filtrar contenido que no es apropiado para su audiencia. La confianza de tu audiencia depende de ello.

No huyas de ello: avanza con confianza hacia la IA generativa

Construya el mejor equipo de seguridad interno posible

Invierta en un excelente equipo interno de seguridad de IA, similar a los equipos de seguridad en la nube que todos hemos creado en los últimos 10 años cuando adoptamos la computación en la nube. La experiencia interna le ayudará a describir cómo cada una de estas amenazas reales podría relacionarse con su negocio/producto/consumidor, y qué herramientas necesitará para protegerse adecuadamente.

Forma a tu equipo de expertos. Y luego entrenarlos para el equipo rojo. Pídales que realicen ataques basados ​​en modelos de IA (por ejemplo, jailbreak, ruptura entre inquilinos y divulgación de datos confidenciales, etc.) y ejercicios prácticos de escenarios de alto impacto, para que sepa cómo manejar las amenazas que acechan.

Empodere (y arme) a sus empleados

A medida que incorpora la IA generativa a la empresa, considere a sus empleados como su segunda línea de defensa contra las amenazas de seguridad descritas. Permítales ayudar a proteger su empresa brindándoles capacitación en seguridad de IA generativa y orientación clara sobre una política de uso aceptable.

Las investigaciones muestran que el 68 por ciento de los empleados admiten haber ocultado el uso de la IA generativa a sus empleadores. Pretender lo contrario no hará desaparecer a los Cuatro Jinetes de la IA generativa. En su lugar, te recomiendo que construyas una carretera pavimentada que permita a los Jinetes evitar tu compañía.

Para saber cómo construimos ese camino en Grammarly, consulte mi sesión en el Simposio de TI/XPo de Gartner de este año. En mi charla, cubriré un marco detallado para la adopción segura de la IA generativa. Nuestro documento técnico sobre este tema se publicará el 19 de octubre.

Para obtener más información sobre el compromiso de Grammarly con la IA responsable, visite nuestroCentro de confianza .