퓨샷 학습 설명: 최소한의 데이터로 AI 혁신

게시 됨: 2025-01-13

FSL(Few-Shot Learning)은 방대한 데이터 세트가 필요한 기존 방법과 달리 모델이 소수의 예에서 정확한 출력을 학습하고 생성할 수 있도록 하여 기계 학습(ML)을 혁신하고 있습니다. 이 가이드에서는 FSL의 작동 방식, 응용 프로그램, ZSL(Zero-Shot Learning)과의 비교, 과제 및 잠재력을 살펴봅니다.

퓨샷 학습이란 무엇인가요?
퓨샷 학습과 퓨샷 프롬프트: 차이점은 무엇인가요?
퓨샷 학습의 작동 방식
퓨샷 학습 vs. 제로샷 학습
퓨샷 학습을 위한 응용
퓨샷 학습의 이점
퓨샷 학습의 과제

FSL(Few Shot Learning)이란 무엇입니까?

FSL(Few-Shot Learning)은 카테고리별로 몇 개의 레이블이 지정된 예시에 대해 교육을 받은 후 정확한 출력을 생성할 수 있는 적응형 모델을 생성하도록 설계된 ML 기술 제품군을 나타냅니다. 카테고리당 하나의 라벨링된 예만 사용할 수 있는 경우 이를 일회성 학습이라고 합니다. 예를 들어 최신 스마트폰은 FSL을 활용하여 단 몇 장의 사진 또는 단 한 장의 사진만으로 사용자의 얼굴을 인식합니다.

FSL은 ML 모델이 현실 세계에서 흔히 발생하는 데이터가 부족한 문제를 해결할 수 있게 해주기 때문에 특히 가치가 있습니다. FSL 모델은 일반화 방법을 학습하므로 기존 지도 학습 모델보다 더 광범위한 작업을 처리할 수 있습니다. 완전히 새로운 모델을 처음부터 훈련하는 것보다 FSL 모델을 새로운 작업에 적용하는 것이 더 저렴하고 빠르기 때문에 리소스가 절약됩니다. FSL은 종종 소수의 예에서 추상화하는 방법을 학습하여 ML 모델이 인간처럼 "생각"하도록 가르치는 것으로 설명됩니다.

FSL은 컴퓨터 비전 애플리케이션에 자주 사용되지만 로봇 공학 및 자연어 처리(NLP)에도 배포됩니다. 예를 들어, FSL은 고대 수메르 텍스트를 번역하는 데 사용되었습니다. 이는 수메르 언어 전문가가 부족한 상황에서 유용한 작업입니다. 수메르어 번역가 FSL 모델은 설형 문자판의 작은 고품질 샘플 세트에서 번역하는 방법을 배웠습니다. 그런 다음 그들은 학자들이 분석할 수 있도록 많은 양의 익숙하지 않은 텍스트를 정확하게 번역했습니다.

Grammarly로 더욱 스마트하게 작업하세요

할 일이 있는 모든 사람을 위한 AI 글쓰기 파트너

퓨샷 학습과 퓨샷 프롬프트: 차이점은 무엇인가요?

FSL과 퓨샷 프롬프트는 ML과 NLP의 관련 개념이지만 서로 다른 목적으로 사용됩니다.

퓨샷 학습

FSL은 보이지 않는 데이터를 분류하도록 모델을 가르치는 모델 훈련 기술입니다. 이는 사전 지식을 활용하여 새로운 종류의 분류 작업에 적응하도록 모델 매개변수를 조정하는 방식으로 작동합니다. FSL은 지도 학습과 관련이 있지만 FSL 모델은 훨씬 더 제한된 데이터 세트에서 훈련된다는 차이점이 있습니다.

퓨샷 프롬프트

Few-shot 프롬프트는 LLM(대형 언어 모델)을 사용하여 작업하는 방법입니다. 모델이 형식, 정서 등 프롬프트의 정보를 사용하여 출력을 예측하는 학습 유형인 상황 내 학습을 사용합니다. FSL 및 기존 지도 학습과 달리 Few-Shot 프롬프트에는 LLM의 매개변수 변경이 포함되지 않습니다. 몇 번의 메시지를 사용하는 경우 원하는 응답 유형에 대한 몇 가지 예를 LLM에 제공합니다. FSL과 마찬가지로 Few-Shot Prompting은 유사한 작업의 몇 가지 예를 노출하여 모델을 일반화하도록 돕는 것입니다.

퓨샷 학습의 작동 방식

퓨샷 학습에는 두 단계가 포함됩니다. 첫째, 모델은 세상에 대해 학습하기 위해 일반 데이터 세트에서 사전 훈련됩니다. 그런 다음 모델이 작은 데이터 샘플을 일반화하는 방법을 학습하는 작업 적응을 거칩니다.

사전 훈련

대부분의 FSL 모델의 첫 번째 단계는 지도 학습과 마찬가지로 대규모 레이블이 지정된 데이터 세트에 대한 사전 학습으로 시작됩니다. 모델은 이 데이터 세트에서 특징 추출을 수행하고 데이터의 패턴과 관계에 대한 지식 기반을 개발하여 예제를 분류하는 방법을 학습합니다.

작업 적응

사전 훈련 후 FSL의 다음 단계는 모델을 훈련하여 새로운 분류 작업에 일반화하는 것입니다. 이를 작업 적응이라고 하며 여러 훈련 에피소드에 걸쳐 발생합니다.

각 에피소드에는 모델이 연구할 수 있는 2~5개의 예제로 구성된 지원 세트와 모델이 분류하려고 시도할 보이지 않는 대상이 포함된 쿼리 세트가 있습니다. 이 프레임워크를 N-way K-shot 분류라고 하며, 여기서N은범주(클래스라고 함)의 수를 나타내고K는각 범주의 레이블이 지정된 예제(shot)의 수를 나타냅니다.

모든 FSL 모델은 작업 적응을 달성하도록 설계되었습니다. FSL 기술 세트 내에서 가장 중요하고 흥미로운 연구 분야 중 하나는 메타 학습입니다.

메타 학습 접근법

메타 학습에는 모델이 처음에 해결하도록 훈련된 분류 작업과 유사하거나 관련된 작업에 모델을 노출시키는 작업이 포함됩니다. 각각의 새로운 작업에 대해 몇 가지 예만 가져오지만, 이로부터 익숙하지 않은 작업이 주어졌을 때 수행할 작업에 대한 메타 프레임워크를 개발하여 일반화하는 방법을 학습합니다.

대체로 메타러닝에는 세 가지 접근 방식이 있습니다.

최적화 기반 학습:여기에는 매개변수를 신속하게 개선하기 위해 모델을 교육하는 접근 방식이 포함됩니다. 그 중 일부는 학습자가 특정 작업에 대해 훈련을 받은 후 메타 학습자가 학습자 단계의 손실 함수를 사용하여 다음 작업에 대한 모델 매개변수를 개선하는 2단계 프로세스를 사용합니다.
메트릭 수준 학습:주로 컴퓨터 비전 작업에 사용되는 메트릭 학습은 추출된 특징을 임베딩 공간에 매핑하고 지도의 특징 사이의 거리를 사용하여 두 이미지가 유사할 확률을 출력하는 방식으로 작동합니다.
MAML(모델에 구애받지 않는 메타 학습):MAML에서 학습 프로세스의 목표는 작업에 관계없이 모델 매개변수를 최적화하는 데 필요한 경사 단계 수를 줄이는 것입니다. MAML은 작업에 대한 학습 프로세스를 분석하고 프로세스 작동 방식의 패턴을 추론하며 지름길 역할을 하는 모델을 개발하여 새로운 작업이 나타날 때마다 학습 프로세스의 속도를 높입니다.

연구자들이 모델을 적응할 수 있도록 돕는 새로운 방법을 고안함에 따라 메타 학습 기술을 사용하는 모델 아키텍처 목록이 계속 늘어나고 있습니다.

비메타학습 접근법

메타 학습을 사용하지 않는 FSL 및 FSL 인접 방법도 있습니다. FSL은 때때로 하이브리드 접근 방식을 만들기 위해 이러한 기술과 함께 배포됩니다.

전이 학습:이 방법에는 사전 훈련된 모델을 가져와 신경망의 외부 레이어를 미세 조정하는 작업이 포함됩니다. 전이 학습은 모델이 수행하기를 원하는 작업이 이미 훈련된 작업과 가까운 시나리오에서 더 유용합니다.
데이터 증대:FSL은 제한된 데이터를 기반으로 GAN(생성적 적대 네트워크) 또는 변형 자동 인코더를 사용하여 훈련 세트의 샘플 수를 늘리는 합성 데이터를 생성하는 데이터 증대를 통해 강화될 수 있습니다.

퓨샷 학습 vs. 제로샷 학습

퓨샷 학습(또는 원샷 학습)은 모델을 교육하기 위한 제한적이지만 고품질 데이터가 있는 시나리오에서 자주 사용됩니다. 하지만 고품질 데이터가 전혀 없다면 어떨까요? ZSL(제로 샷 학습)에서는 모델에 예제를 제공하지 않고 대신 익숙하지 않은 작업을 처리하기 위해 활용할 수 있는 사전 지식과 의미론적 임베딩에만 의존하도록 요청합니다.

ZSL은 매우 적은 데이터로 상황을 처리할 수 있는 빠르고 유연한 솔루션을 제공합니다. 그러나 ZSL 모델은 도메인 이동에 어려움을 겪을 수 있습니다. 즉, 보고 있는 데이터 유형이 지식 기반과 너무 다른 경우 어려움을 겪을 수 있으며 모델이 얼마나 잘 수행되고 있는지 평가하기 어려울 수 있습니다.

퓨샷 학습을 위한 응용

FSL의 응용 프로그램은 광범위하고 지속적으로 발전하지만 사용 가능한 예제가 상대적으로 적은 영역에서 유용할 수 있는 엄청난 잠재력을 가지고 있습니다. 사용 사례에 대한 최근 연구 분야는 다음과 같습니다.

의료 진단:FSL은 기존 지도 학습 모델이 도움이 될 만큼 레이블이 지정된 데이터가 충분하지 않은 경우 이미지 기반 종양 분류에 도움이 될 수 있습니다.
원격 감지:FSL은 UAV 영상을 사용하여 환경 재해의 영향을 평가하는 등의 원격 감지 작업 속도를 높일 수 있습니다.
F1 경주용 자동차 프로토타이핑:FSL 모델은 수천 번의 경주에 걸쳐 수백 대의 자동차에 대한 유체 및 공기 역학과 기타 데이터에 대해 사전 훈련되었습니다. 그런 다음 FSL을 사용하여 소수의 값비싼 테스트 실행을 기반으로 새 자동차 프로토타입의 공기 역학 및 부품 성능 저하를 예측합니다.
기계 번역:FSL은 입력을 거의 사용하지 않고 방언의 뉘앙스와 지역적 변화를 전례 없는 정확도로 포착할 수 있는 보다 효율적인 기계 번역기를 구축하는 데 도움을 주었습니다.
로봇 공학:FSL은 로봇이 인간의 시연을 관찰하여 물체를 잡는 방법을 배우도록 가르치는 데 사용되고 있습니다.
감정 분석:원래 호텔 리뷰에 대해 훈련된 FSL 모델을 사용하여 레스토랑 리뷰를 분류할 수 있습니다.

FSL은 또한 인간이 문제 해결에 접근하는 방식을 더 밀접하게 모방하기 때문에 인공 일반 지능을 구축하려는 탐구의 일부입니다.

퓨샷 학습의 이점

FSL 모델의 주요 이점은 제한된 데이터를 사용할 수 있는 문제를 처리할 수 있고 새로운 모델을 교육하는 데 필요한 계산 및 재정 리소스를 줄이는 데 도움이 될 수 있다는 것입니다.

제한된 데이터로 일반화

FSL 모델은 많은 반복을 통해 이미지, 소리 또는 언어를 기억하지 않기 때문에 이를 수행할 수 있습니다. 대신, 유사점과 차이점을 빠르게 분석하는 방법을 배웁니다. 기존 모델은 특정 새 종 식별이나 지문 일치와 같은 매우 구체적인 작업에 탁월한 반면, 다른 작업을 완료하도록 요청하면 즉시 실패합니다.

더 적은 리소스 사용

MAML과 같은 기술은 모델 훈련 리소스를 사용하는 훨씬 더 효율적인 방법입니다. 이를 통해 값비싼 재교육 단계 없이 매우 값비싼 대규모 모델을 특정 사용 사례에 빠르고 효율적으로 적용할 수 있습니다. 기계 학습의 가장 큰 과제 중 하나는 대규모 고품질 데이터 세트를 컴파일하고 필요한 시간과 계산 측면에서 유용한 출력을 생성하기 위해 모델을 교육하는 데 얼마나 많은 데이터가 필요한지입니다. FSL은 데이터가 부족하거나 도메인을 넘어서는 많은 실제 문제를 해결할 것을 약속합니다.

퓨샷 학습의 과제

이러한 가능성에도 불구하고 FSL에는 모델 효율성을 저해할 수 있는 과제가 있습니다.

과적합

제한된 데이터 세트를 사용하면 모델이 훈련 세트의 데이터와 너무 밀접하게 정렬되어 일반화하기 어려운 과적합이 발생할 수 있습니다. 이는 다른 ML 접근 방식보다 FSL에서 더 자주 발생하는 ML의 익숙한 문제입니다. 과적합된 FSL 모델은 테스트 데이터에서는 잘 작동하지만 실제 사례와 함께 제시되면 새로운 범주를 식별하지 못합니다. 이를 방지하려면 Few-Shot 훈련에 사용되는 제한된 샘플에 다양성을 갖는 것이 중요합니다. 위에서 설명한 데이터 증대는 훈련을 위해 더 많은 예제를 합성하여 과적합을 완화하려고 시도합니다.

데이터 품질

사전 훈련 단계와 Few-Shot 학습 단계 모두에서 고품질 데이터가 중요합니다. FSL 모델은 잡음이 많고 라벨이 제대로 지정되지 않은 데이터로 인해 더 쉽게 방해를 받습니다. 또한 데이터에 한 종류가 너무 많고 다른 종류는 없거나 모델이 분석할 기능이 너무 많으면 제대로 작동하지 않습니다. 이러한 경우에는 지나치게 복잡해지는 경향이 있습니다. 연구자들은 모델이 주의를 기울여야 할 것과 무시해야 할 것을 파악하는 데 도움이 되도록 데이터를 평활화하는 방법인 정규화 기술을 사용하여 이러한 문제에 대처할 수 있습니다.