AI 환각: 정의 및 발생 이유

AI 환각이란 무엇입니까?

AI 환각은 AI 도구가 자신감 있는 것처럼 보이면서도 잘못된 정보를 생성할 때 발생합니다. 이러한 오류는 과거 날짜를 잘못 기재하는 것과 같은 사소한 부정확성에서부터 오래되었거나 유해한 건강 치료법을 권장하는 것과 같이 심각하게 오해를 불러일으키는 정보까지 다양할 수 있습니다. AI 환각은 LLM(대형 언어 모델) 및 이미지 생성 시스템을 포함한 기타 AI 기술로 구동되는 시스템에서 발생할 수 있습니다.

예를 들어, AI 도구는 에펠탑의 실제 높이가 330미터가 아닌 335미터라고 잘못 기술할 수 있습니다. 이러한 오류는 일상적인 대화에서는 중요하지 않을 수 있지만 의학적 조언 제공과 같이 위험이 큰 상황에서는 정확한 측정이 중요합니다.

AI의 환각을 줄이기 위해 개발자는 두 가지 주요 기술을 사용합니다. 하나는 모델을 강화하는 적대적 사례를 사용한 교육이고, 다른 하나는 오류에 불이익을 주는 측정항목을 사용하여 미세 조정하는 것입니다. 이러한 방법을 이해하면 사용자가 AI 도구를 보다 효과적으로 활용하고 생성된 정보를 비판적으로 평가하는 데 도움이 됩니다.

AI 환각의 예

이전 세대의 AI 모델은 현재 시스템보다 더 자주 환각을 경험했습니다. 주목할만한 사건으로는 Microsoft의 AI 봇 시드니가 기술 기자 Kevin Roose에게 "그를 사랑했다"고 말한 것과 역사적으로 부정확한 이미지를 생성하는 Google의 Gemini AI 이미지 생성기가 있습니다.

그러나 오늘날의 AI 도구는 개선되었지만 여전히 환각이 발생합니다. AI 환각의 일반적인 유형은 다음과 같습니다.

• 역사적 사실: AI 도구는 최초의 달 착륙이 1968년에 일어났지만 실제로는 1969년에 일어났다고 기술할 수 있습니다. 이러한 부정확성은 인류 역사상 중요한 사건을 잘못 표현할 수 있습니다.
• 지리적 오류: AI는 실제 수도가 오타와임에도 불구하고 토론토를 캐나다의 수도로 잘못 언급할 수 있습니다.이러한 잘못된 정보는 캐나다의 지리를 배우려는 학생과 여행자에게 혼란을 줄 수 있습니다.
• 재무 데이터: AI 모델은 회사의 주가가 하루 만에 30% 상승했다고 주장하는 등 재무 지표를 환각적으로 나타낼 수 있습니다. 실제로는 변화폭이 훨씬 낮습니다.잘못된 재무 조언에만 의존하면 잘못된 투자 결정을 내릴 수 있습니다.
• 법적 지침: AI 모델은 모든 상황에서 구두 계약이 서면 계약만큼 법적 구속력이 있다는 사실을 사용자에게 잘못 알릴 수 있습니다.이는 특정 거래(예: 부동산 거래)의 유효성과 집행 가능성을 위해 서면 계약이 필요하다는 사실을 간과합니다.
• 과학적 연구의 잘못된 정보: AI 도구는 그러한 연구가 존재하지 않는데도 과학적 혁신을 확인하는 것으로 추정되는 연구를 인용할 수 있습니다.이런 종류의 환각은 연구자와 대중에게 중요한 과학적 성과에 대해 오해를 불러일으킬 수 있습니다.

AI 환각은 왜 발생하는가?

AI에서 환각이 발생하는 이유를 이해하려면 LLM의 기본 작동 방식을 인식하는 것이 중요합니다. 이러한 모델은 텍스트(또는 토큰)를 처리하고 시퀀스의 다음 토큰을 예측하는 변환기 아키텍처를 기반으로 구축되었습니다. 인간의 뇌와는 달리, 인간의 뇌에는 역사, 물리학, 기타 주제를 본질적으로 이해하는 '세계 모델'이 없습니다.

AI 환각은 모델이 부정확하지만 실제로는 올바른 데이터와 통계적으로 유사한 응답을 생성할 때 발생합니다. 이는 응답이 거짓이기는 하지만 모델이 예상하는 것과 의미상 또는 구조적으로 유사하다는 것을 의미합니다.

AI 환각의 다른 이유는 다음과 같습니다.

불완전한 훈련 데이터

AI 모델은 훈련된 데이터의 폭과 품질에 크게 의존합니다. 훈련 데이터가 불완전하거나 다양성이 부족하면 정확하고 다재다능한 응답을 생성하는 모델의 능력이 제한됩니다. 이러한 모델은 사례를 통해 학습하며, 해당 사례가 광범위한 시나리오, 관점 및 반사실적을 충분히 다루지 못하는 경우 해당 결과는 이러한 격차를 반영할 수 있습니다.

AI 모델이 그럴듯하지만 잘못된 세부 정보로 누락된 정보를 채울 수 있기 때문에 이러한 제한은 종종 환각으로 나타납니다. 예를 들어, AI가 한 지역(예: 광범위한 대중 교통이 있는 장소)의 데이터에 주로 노출된 경우 이러한 특성이 전역적이라고 가정하는 반응이 생성될 수 있습니다. AI는 자신이 훈련받은 범위를 넘어서 모험을 하고 있다는 것을 알 수 있는 장비가 없습니다. 따라서 모델은 근거가 없거나 편향된 확신 있는 주장을 할 수 있습니다.

훈련 데이터의 편향

훈련 데이터의 편향은 완전성과 관련이 있지만 동일하지는 않습니다. 불완전한 데이터는 AI에 제공되는 정보의 공백을 의미하는 반면, 편향된 데이터는 사용 가능한 정보가 어떤 방식으로든 왜곡되어 있음을 의미합니다. 이러한 모델은 주로 인터넷에서 훈련되고 인터넷에는 본질적인 편견이 있기 때문에 이는 어느 정도 피할 수 없습니다. 예를 들어, 많은 국가와 인구는 온라인에서 과소 대표됩니다. 전 세계적으로 약 30억 명의 사람들이 여전히 인터넷 접속이 부족합니다. 이는 훈련 데이터가 오프라인 커뮤니티의 관점, 언어 및 문화적 규범을 적절하게 반영하지 못할 수 있음을 의미합니다.

온라인 인구 사이에서도 누가 콘텐츠를 만들고 공유하는지, 어떤 주제가 논의되는지, 해당 정보가 표시되는 방식에는 차이가 있습니다. 이러한 데이터 편향으로 인해 AI 모델이 출력에서 ​​편향을 학습하고 영속시킬 수 있습니다. 어느 정도의 편향은 불가피하지만 데이터 편향의 정도와 영향은 상당히 다를 수 있습니다. 따라서 AI 개발자의 목표는 이러한 편견을 인식하고 가능한 경우 이를 완화하기 위해 노력하며 데이터 세트가 의도한 사용 사례에 적합한지 평가하는 것입니다.

명시적 지식 표현의 부족

AI 모델은 통계적 패턴 일치를 통해 학습하지만 사실과 개념의 구조화된 표현이 부족합니다. 사실에 근거한 진술을 생성하더라도 무엇이 진짜이고 무엇이 아닌지 추적하는 메커니즘이 없기 때문에 그것이 사실인지 "알지" 못합니다.

뚜렷한 사실적 틀이 없다는 것은 LLM이 매우 신뢰할 수 있는 정보를 생성할 수 있지만 인간이 소유한 사실에 대한 진정한 이해나 검증 없이도 인간의 언어를 모방하는 데 탁월하다는 것을 의미합니다. 이러한 근본적인 한계는 AI와 인간 인지의 주요 차이점입니다. AI가 계속 발전함에 따라 개발자가 AI 시스템의 신뢰성을 높이기 위해서는 이 문제를 해결하는 것이 여전히 중요합니다.

맥락 이해 부족

인간의 의사소통에서는 상황이 매우 중요하지만 AI 모델은 종종 상황에 어려움을 겪습니다. 자연 언어로 메시지가 표시되면 그들의 반응은 지나치게 문자 그대로이거나 접촉이 어려울 수 있습니다. 왜냐하면 인간이 맥락에서 끌어내는 더 깊은 이해, 즉 세상에 대한 지식, 생생한 경험, 줄 사이를 읽는 능력, 무언의 가정 파악이 부족하기 때문입니다.

지난 1년 동안 AI 모델은 인간의 맥락에 대한 이해가 향상되었지만 여전히 정서적 하위 텍스트, 풍자, 아이러니, 문화적 참조와 같은 요소로 인해 어려움을 겪고 있습니다. 의미가 진화한 속어나 구어체는 최근 업데이트되지 않은 AI 모델에 의해 잘못 해석될 수 있습니다. AI 모델이 인간 경험과 감정의 복잡한 웹을 해석할 수 있을 때까지 환각은 여전히 ​​중요한 과제로 남아 있을 것입니다.

AI 챗봇은 얼마나 자주 환각을 보나요?

AI 환각의 정확한 빈도를 결정하는 것은 어렵습니다. 비율은 AI 도구가 사용되는 모델이나 상황에 따라 크게 달라집니다. 문서를 요약할 때 인기 있는 챗봇의 환각 빈도를 추적하는 GitHub의 Vectara 공개 환각 리더보드에 따르면 AI 스타트업인 Vectara의 추정에 따르면 챗봇은 3~27%의 시간 동안 환각을 경험한다고 합니다.

기술 회사는 잠재적인 부정확성과 추가 확인의 필요성을 사람들에게 경고하는 면책 조항을 챗봇에 구현했습니다. 개발자들은 모델을 개선하기 위해 적극적으로 노력하고 있으며 작년에 이미 진전을 보았습니다. 예를 들어 OpenAI는 GPT-4가 이전 버전보다 사실적 응답을 생성할 가능성이 40% 더 높다고 지적합니다.

AI 환각을 예방하는 방법

AI 환각을 완전히 근절하는 것은 불가능하지만 몇 가지 전략을 통해 발생과 영향을 줄일 수 있습니다. 이러한 방법 중 일부는 AI 모델 개선을 위해 노력하는 연구원 및 개발자에게 더 적합한 반면, 다른 방법은 AI 도구를 사용하는 일상적인 사람들에게 적용됩니다.

훈련 데이터의 품질 향상

AI 환각을 예방하려면 고품질의 다양한 데이터를 확보하는 것이 중요합니다. 훈련 데이터가 불완전하거나 편향되거나 다양성이 부족한 경우 모델은 새로운 사례 또는 극단적인 사례에 직면했을 때 정확한 출력을 생성하는 데 어려움을 겪습니다. 연구자와 개발자는 다양한 관점을 다루는 포괄적이고 대표적인 데이터 세트를 선별하기 위해 노력해야 합니다.

결과 수 제한

어떤 경우에는 모델이 많은 수의 응답을 생성할 때 AI 환각이 발생합니다. 예를 들어 모델에게 창의적인 글쓰기 프롬프트의 20가지 예를 요청하면 세트가 끝날 무렵 결과 품질이 저하된다는 것을 알 수 있습니다. 이를 완화하기 위해 결과 집합을 더 작은 수로 제한하고 AI 도구에 가장 유망하고 일관된 응답에 집중하도록 지시하여, 무리하거나 일관되지 않은 결과로 응답할 가능성을 줄일 수 있습니다.

테스트 및 검증

개발자와 사용자 모두 신뢰성을 보장하기 위해 AI 도구를 테스트하고 검증해야 합니다. 개발자는 환각 패턴을 식별하기 위해 알려진 진실, 전문가 판단 및 평가 휴리스틱을 기준으로 모델의 출력을 체계적으로 평가해야 합니다. 모든 환각이 동일한 것은 아닙니다. 완전한 조작은 맥락 단서의 누락으로 인한 잘못된 해석과 다릅니다.

사용자는 출력을 신뢰하기 전에 특정 목적에 대한 도구의 성능을 검증해야 합니다. AI 도구는 텍스트 요약, 텍스트 생성, 코딩과 같은 작업에 탁월하지만 모든 면에서 완벽하지는 않습니다. 테스트 중에 원하는 출력과 원하지 않는 출력의 예를 제공하면 AI가 사용자의 선호도를 학습하는 데 도움이 됩니다. 테스트 및 검증에 시간을 투자하면 애플리케이션에서 AI 환각의 위험을 크게 줄일 수 있습니다.

구조화된 출력을 위한 템플릿 제공

AI 모델에 표시하려는 정보의 정확한 형식이나 구조를 알려주는 데이터 템플릿을 제공할 수 있습니다. 결과를 구성하는 방법과 포함해야 하는 핵심 요소를 정확하게 지정함으로써 AI 시스템이 보다 집중적이고 관련성 있는 응답을 생성하도록 안내할 수 있습니다. 예를 들어 AI 도구를 사용하여 Amazon 제품을 검토하는 경우 제품 페이지의 모든 텍스트를 복사한 후 다음 예제 템플릿을 사용하여 AI 도구에 제품을 분류하도록 지시하세요.

프롬프트:제공된 Amazon 제품 페이지 텍스트를 분석하고 아래 템플릿을 작성하세요.관련 세부정보를 추출하고 정보를 간결하고 정확하게 유지하며 가장 중요한 측면에 집중하세요.누락된 정보가 있는 경우 “N/A”라고 기재하세요. 본문에서 직접적으로 언급되지 않은 정보는 추가하지 마세요.

• 상품명 : [AI가 추론한 상품명 입력]
• 제품 카테고리: [AI가 추론한 제품 카테고리는 여기]
• 가격대 : [AI가 추론한 가격] [미국 달러]
• 주요 기능: [간결한 설명은 여기]
• 장점 [글머리 기호 상위 3개]
• 단점 [글머리 기호 상위 3개]
• 종합 평점: [1~5점 척도]
• 상품 요약: [최대 2~3문장]

결과 출력에는 사용자가 제공한 사양을 충족하지 않는 잘못된 출력 및 정보가 포함될 가능성이 훨씬 적습니다.

AI 도구를 책임감 있게 사용하세요

위에서 언급한 전략은 체계적 수준에서 AI 환각을 예방하는 데 도움이 될 수 있지만, 개별 사용자는 AI 도구를 보다 책임감 있게 사용하는 방법을 배울 수 있습니다. 이러한 관행은 환각을 예방할 수는 없지만 AI 시스템에서 신뢰할 수 있고 정확한 정보를 얻을 가능성을 높일 수 있습니다.

• 결과를 상호 참조하고 소스를 다양화하세요. 중요한 정보를 얻기 위해 단일 AI 도구에만 의존하지 마세요.정보의 정확성과 완전성을 검증하기 위해 기존 언론 기관, 학술 출판물, 신뢰할 수 있는 인간 전문가, 정부 보고서 등 다른 평판이 좋은 소스와 출력을 상호 참조합니다.
• 판단하십시오. AI 도구는 심지어 가장 발전된 도구라도 한계가 있고 오류가 발생하기 쉽다는 점을 인식하십시오.출력을 자동으로 신뢰하지 마십시오. AI가 생성한 정보를 기반으로 결정을 내릴 때 비판적인 눈으로 접근하고 스스로 판단하십시오.
• AI를 출발점으로 사용: AI 도구로 생성된 출력을 최종 답변이 아닌 추가 연구 및 분석을 위한 출발점으로 취급합니다.AI를 사용하여 아이디어를 탐구하고, 가설을 생성하고, 관련 정보를 식별하지만, 항상 인간의 전문 지식과 추가 연구를 통해 생성된 통찰력을 검증하고 확장합니다.

결론

AI 환각은 사소한 부정확성부터 완전한 제작에 이르기까지 LLM 시스템의 현재 한계로 인해 발생합니다. 이는 불완전하거나 편향된 학습 데이터, 제한된 상황 이해, 명시적 지식 부족으로 인해 발생합니다.

도전적이지만 AI 기술은 여전히 ​​강력하며 지속적으로 개선되고 있습니다. 연구자들은 환각을 줄이기 위해 노력하고 있으며 상당한 진전이 이루어졌습니다. 구조화된 템플릿을 제공하고, 출력을 제한하고, 사용 사례에 대한 모델을 검증하여 환각을 제한할 수 있습니다.

열린 마음으로 AI 도구를 살펴보세요. 이는 인간의 독창성과 생산성을 향상시키는 인상적인 기능을 제공합니다. 그러나 AI가 생성한 결과와 신뢰할 수 있는 출처의 상호 참조 정보를 활용하여 판단하세요. 환각을 경계하면서 AI의 잠재력을 받아들이십시오.