생성 AI의 네 기수(그리고 악몽을 피하는 방법)

최고정보보안책임자(CIO)가 되면 많은 책임이 따른다. 나는 매일 사용자, 우리가 만드는 제품, 회사, 업무의 중심이 되는 데이터를 보호하는 동시에 24시간 내내 위협을 찾아내는 세계적 수준의 시스템을 구축하는 책임을 맡고 있습니다. 그리고 그들이 해를 끼치기 전에 그들을 전멸시키십시오. 나는 이 일을 하게 된 것을 좋아한다. 이 역할에는 우리가 가정하는 고유한 위협과 위험의 핵심 그룹이 있지만 이것이 바로 일을 흥미롭게 만드는 것입니다. 즉, 악의적인 행위자를 능가하고 사용자를 보호할 수 있는 더 나은 방법을 찾는 것입니다. 무서운가요? 그럴 수도 있지만 결코 악몽이 되어서는 안 됩니다.

최근 누군가가 저에게 밤잠을 설치게 하는 요소(일명 악몽은 무엇으로 구성되어 있는지)를 물었고, 현재 디지털 시대에 실제 위협과 인지된 위협이 무엇인지 생각해 보게 되었습니다. Grammarly 팀의 신중한 계획과 노력의 결과로, 나를 잠 못 들게 하는 것들의 목록은 아주 아주 짧습니다. 그러나 우리 모두가 알고 있듯이 게임 체인저(game Changer)는 생성적 AI(Generative AI)입니다.

생성적 AI와 미지의 것에 대한 두려움

제너레이티브 AI는 실제로 어디에나 있기 때문에 어디에나 있는 것처럼 느껴집니다. 1년도 채 지나지 않아 GPT는 가장 가까운 비교 대상인 Instagram에 비해 아주 짧은 시간(정확히 1/15) 만에 사용자 100만 명에 도달했습니다.

좋아요, 그래서 어디에나 있어요. 이제 어쩌지? 전 세계 IT 리더들은 이제 우리가 방어해야 할 완전히 새로운 무서운 가능성에 직면해 있습니다. 이 위협 벡터는 다릅니다.

여러분은 우리가 어떻게 SOC2를 준수하게 되는지에 대한 핵심적인 세부 사항을 알지 못할 수도 있지만, 여러분이 생성 AI의 위험성과 데이터 교육으로 인한 위협을 알고 있다고 확신합니다. 오른쪽? 오른쪽. 생성적 AI는 우리가 사용하는 제품뿐만 아니라 뉴스에도 등장하며, 기술을 사용하는 세계에 원격으로 관심이 있는 모든 사람의 최우선 관심사입니다. 하지만 겁이 나서는 안 됩니다. 적어도 겁을 먹으라는 말을 듣는 방식만큼은 아니어야 합니다.

별로 무섭지 않음: 생성 AI의 과장된 위협

생성 AI의 위협에 대한 우려가 커지고 있습니다. 그 중 일부는 신뢰할 만하지만 오늘날 많은 부분이 과장되었다고 생각합니다. 진짜 위협을 네 명의 기사라고 부르려면 이 세 가지를 생성 AI의 세 가지 주요 인물, 즉 데이터 유출, IP 노출, 무단 훈련이라고 부르겠습니다. 동의하지 않으시기 전에, 이 세 가지 사항이 오늘날 우리가 직면하고 있는 실제 과제에서 귀하를 방해하고 있다고 생각하는 이유를 설명하겠습니다.

• 데이터 유출: 제3자가 귀하의 기밀 데이터에 대해 교육하도록 허용하지 않으면 데이터 유출 공격은 실제 공격에 대한 대규모 시연 없이 잘 알려진 LLM(대형 언어 모델)에 대해 이론적인 상태로 유지됩니다.
• IP 노출: 교육을 제외하면 IP 노출 위험은 온라인 스프레드시트와 같은 비생성 AI 기반 SaaS 애플리케이션과 유사하게 유지됩니다.
• 무단 훈련: 사용자가 생성 AI 훈련에 사용되는 데이터를 거부할 수 있도록 허용하는 것이 업계 표준이 되어 불과 몇 달 전에 만연했던 민감한 데이터 훈련 문제를 완화합니다.

생성 AI의 네 기수

귀하의 조직이 우리가 살고 있는 새로운 현실에 대처할 준비가 되어 있는지 확인하기 위해 실제로 무엇에 집중해야 합니까? 경고하겠습니다.실제로무서운 부분이 바로 여기에 있습니다.

Grammarly는 14년 넘게 선도적인 AI 글쓰기 지원 회사였으며, 지난 몇 년간 제가 한 일은 우리 회사가 신뢰할 수 있는 위협에 대해 유령으로부터 보호할 수 있도록 돕는 것이었습니다. 저는 이러한 악몽 수준의 위협을 생성 AI의 4가지 기수(보안 취약성, 제3자 위험, 개인 정보 보호 및 저작권, 출력 품질)라고 부릅니다.

보안 취약점

너무나 많은 사람들이 생성 AI에 편승하여 다양한 모델을 내놓는 가운데 우리는 예측 가능한 것부터 놀라울 정도로 놓치기 쉬운 것까지 새로운 보안 취약점에 직면하게 되었습니다.

LLM은 새로운 보안 취약성에 취약하므로( 포괄적인 목록은 OWASP LLM 상위 10개 확인 ) 모든 경계가 강화되도록 해야 합니다. 신뢰할 수 있는 LLM 제공업체는 LLM 보안 취약성을 완화하기 위해 AI 레드팀 구성 및 제3자 감사와 같은 자사 및 제3자 보증 노력이 어떤 것인지 설명해야 합니다. 실사를 하십시오. 보안 경계는 자물쇠를 열어 두면 아무 의미가 없습니다.

개인정보 보호 및 저작권

생성 AI에 대한 법률 및 개인 정보 보호 환경이 발전함에 따라 공급자 또는 자신에 대한 규제 조치로부터 얼마나 안전합니까? 우리는 훈련 데이터 세트의 출처만을 토대로 EU에서 꽤 강력한 반응을 보았습니다. 귀하와 귀하의 법무팀이 악몽을 꾸고 있다는 사실을 깨닫지 마십시오.

생성적 AI 도구는 데이터의 패턴을 기반으로 하지만, 해당 패턴이 다른 사람의 작업에서 당신에게로 옮겨지면 어떻게 될까요? 누군가가 당신을 표절 혐의로 고발하더라도 사용자로서 당신은 보호됩니까? 적절한 가드레일이 없으면 불편한 두통이 무서운 현실로 바뀔 수 있습니다. 공급자 저작권 약속을 조사하여 처음부터 자신과 고객을 보호하십시오.

LLM 제3자 제공업체의 위험

많은 제3자 LLM이 신규이며 기밀 데이터에 대한 일부 액세스 권한을 갖습니다. 그리고 모든 사람이 이러한 기술을 통합하고 있지만 모두가 성숙한 것은 아닙니다. 이미 위험 프로필의 일부인 클라우드 제공업체와 같은 대규모 업체는 소규모 SaaS 회사가 할 수 없거나 의지가 없는 방식으로 위험을 완화하는 데 도움을 줄 수 있습니다. 한 가지 조언을 하자면, 파티에 누구를 초대할지 조심하라는 것입니다. 고객에 대한 책임은 고객이 제품을 사용하기 오래 전부터 시작됩니다.

출력 품질

생성적 AI 도구는 응답성이 뛰어나고 자신감 있고 유창하지만 잘못되거나 사용자를 오도할 수도 있습니다(예: 환각). 공급자가 생성된 콘텐츠의 정확성을 어떻게 보장하는지 이해해야 합니다.

더 나쁜 것은 무엇입니까? 생성적 AI 도구는 특정 집단에 유해한 단어나 표현 등 청중에게 적합하지 않을 수 있는 콘텐츠를 생성할 수 있습니다. Grammarly에서는 이것이 우리 제품이 초래할 수 있는 최악의 결과이며, 우리는 이를 찾아내고 보호하기 위해 매우 열심히 노력하고 있습니다.

공급자가 민감한 콘텐츠에 플래그를 지정하기 위해 어떤 가드레일과 기능을 갖추고 있는지 확인하세요. 청중에게 적합하지 않은 콘텐츠를 필터링할 수 있는 콘텐츠 조정 API를 제공업체에 요청하세요. 청중의 신뢰는 그것에 달려 있습니다.

도망치지 마세요: 자신감을 갖고 생성 AI를 향해 나아가세요

가능한 최고의 사내 보안팀을 구축하세요

지난 10년 동안 클라우드 컴퓨팅을 도입하면서 구축한 클라우드 보안 팀과 유사한 훌륭한 사내 AI 보안 팀에 투자하세요. 내부 전문 지식은 이러한 실제 위협이 비즈니스/제품/소비자와 어떻게 관련될 수 있는지, 그리고 자신을 적절하게 보호하는 데 필요한 도구를 간략하게 설명하는 데 도움이 됩니다.

전문가 팀을 교육하세요. 그런 다음 그들을 레드팀으로 훈련시키세요. AI 모델 기반 공격(예: 탈옥, 테넌트 간 침입, 민감한 데이터 공개 등)과 영향력이 큰 시나리오에 대한 모의 훈련을 통해 숨어 있는 위협을 처리하는 방법을 알 수 있습니다.

직원에게 권한 부여(및 무장)

생성 AI를 기업에 도입할 때 직원을 앞서 설명된 보안 위협에 대한 2차 방어선으로 고려하십시오. 생성적 AI 안전 교육과 허용 가능한 사용 정책에 대한 명확한 지침을 제공하여 회사를 보호할 수 있도록 지원하세요.

연구에 따르면 직원의 68%가 생성적 AI 사용을 고용주에게 숨긴 사실을 인정했습니다. 그렇지 않은 척 한다고 해서 생성 AI의 네 명의 기사가 사라지지는 않습니다. 대신에 기병들이 당신의 중대를 우회할 수 있도록 포장된 도로를 건설하는 것이 좋습니다.

우리가 Grammarly에서 그 길을 어떻게 구축했는지 알아보려면 올해 Gartner IT 심포지엄/XPo에서 제 세션을 확인하세요. 제 강연에서는 안전한 생성 AI 채택을 위한 세부 프레임워크를 다룰 것입니다. 이 주제에 대한 백서는 10월 19일에 발표될 예정입니다.

책임감 있는 AI에 대한 Grammarly의 노력에 대해 자세히 알아보려면신뢰 센터를 방문하세요 .