자기 지도 학습: 정의 및 작동 방식

인공 지능의 최첨단 기술인 자기 지도 학습은 기계가 데이터 내에서 고유한 패턴과 구조를 발견할 수 있도록 지원하여 명시적인 지시가 아닌 상황과 경험을 통해 학습하는 인간의 능력을 모방합니다.

목차

• 자기 지도 학습이란 무엇입니까?
• 다른 기계 학습 유형에 비해 자기 ​​감독
• 자기 지도 학습의 작동 방식
• 자기 지도 학습의 유형
• 자기 지도 학습의 응용
• 자기주도 학습의 장점
• 자기주도 학습의 단점

자기주도 학습이란 무엇입니까?

자기 지도 학습은 레이블이 지정되지 않은 원시 데이터를 사용하여 자체 레이블, 즉 명시적으로 쌍을 이루는 입력 및 출력을 생성하도록 모델을 교육하는 일종의 기계 학습(ML)입니다. 상당한 양의 레이블이 지정된 데이터가 필요한 지도 학습과 달리 자기 지도 학습은 데이터 자체에서 의사 레이블(인공 레이블)을 생성합니다. 이 기술은 모델에 지도 학습 접근 방식의 목표 방향과 측정 가능성을 제공하며, 라벨이 지정되지 않은 대량의 데이터에서 유용한 결론을 내릴 수 있는 비지도 학습 기능도 제공합니다.

머신 러닝은 하드 코딩된 지침에 의존하지 않고 데이터와 통계 방법을 사용하여 인간의 추론을 모방하는 모델을 구축하는 인공 지능(AI)의 하위 집합입니다. 자기 지도 학습은 레이블이 지정되지 않은 방대한 양의 사용 가능한 데이터를 활용하므로 최소한의 수동 개입으로 모델 성능을 향상시킬 수 있는 강력한 접근 방식입니다. 실제로 오늘날의 주요 생성 AI 텍스트 및 이미지 모델은 대부분 자기 지도 학습을 사용하여 훈련됩니다.

다른 기계 학습 유형에 비해 자기 ​​감독

자기 지도 학습은 지도 학습과 비지도 학습의 요소를 모두 결합하지만 준지도 학습과는 다릅니다.

• 지도 학습: 레이블이 지정된 데이터를 사용하여 분류 및 회귀와 같은 특정 작업을 위한 모델을 교육합니다. 레이블은 명시적인 지침을 제공하여 모델이 정확한 예측을 할 수 있도록 합니다. 일반적인 애플리케이션에는 스팸 감지, 이미지 분류, 일기 예보가 포함됩니다.
• 비지도 학습: 레이블이 지정되지 않은 데이터를 사용하여 패턴과 그룹화를 찾습니다. 클러스터와 연관을 식별하고 더 쉬운 처리를 위해 데이터 복잡성을 줄입니다. 예로는 고객 세분화, 추천 시스템, 이상 탐지 등이 있습니다.
• 준지도 학습:적당한 양의 레이블이 지정된 데이터를 사용하여 초기 지침을 제공한 다음 레이블이 지정되지 않은 하나 이상의 대규모 데이터 컬렉션을 활용하여 모델을 개선하고 개선합니다. 이 접근 방식은 레이블이 지정된 데이터가 있을 때 특히 유용하지만 완전 지도 학습을 위한 충분한 생성이 너무 어렵거나 비용이 많이 듭니다.
• 자기 지도 학습:원시 데이터를 사용하여 자체 레이블을 생성하므로 모델이 초기 레이블 지정 데이터 없이 데이터에서 학습할 수 있습니다. 이 접근 방식은 레이블이 지정된 데이터를 전혀 사용할 수 없거나 NLP(자연어 처리) 또는 이미지 인식과 같이 사용 가능한 데이터의 작은 부분일 때 특히 유용합니다.

자기 지도 학습의 작동 방식

자기 감독이란 데이터 자체가 정답을 제공한다는 것을 의미합니다. 자기 지도 학습 과정에는 감독 방법과 비지도 방법의 측면을 결합한 여러 단계가 포함됩니다.

데이터 수집:레이블이 지정되지 않은 대량의 원시 데이터를 수집합니다. 이 데이터는 의사 레이블을 생성하고 모델을 교육하기 위한 기초를 형성합니다. 많은 데이터 세트를 무료로 사용할 수 있습니다.

1. 전처리:품질을 보장하기 위해 데이터를 준비합니다. 이 단계에는 중복 제거, 누락된 값 처리 및 데이터 범위 정규화가 포함됩니다.
2. 작업 생성:모델이 해결해야 할 퍼즐(프리텍스트 작업이라고 함)을 만듭니다. 이는 단어 제거, 이미지 픽셀 삭제, 비디오 프레임 섞기 등 데이터의 일부를 제거하거나 섞는 방식으로 생성됩니다. 이러한 의도적인 손상 이전에 존재했던 모든 것은 의사 라벨(pseudo-label)로 알려져 있습니다. 즉, 사람이 라벨을 붙인 것이 아니라 데이터 자체에서 생성된 "정답"입니다.
3. 훈련:생성된 의사 레이블을 사용하여 프리텍스트 작업에 대한 모델을 훈련합니다. 이는 모델이 정답 생성을 시도하고, 답을 의사 레이블과 비교하고, 조정하고, 정답 생성을 다시 시도한다는 것을 의미합니다. 이 단계는 모델이 데이터 내의 관계를 이해하는 데 도움이 되며 결국 입력과 출력 간의 관계에 대한 복잡한 이해를 생성합니다.
4. 미세 조정:특정 작업에 대한 성능을 향상시키기 위해 더 작고 레이블이 지정된 데이터 세트에서 학습하도록 모델을 전환합니다. 이 단계에서는 모델이 초기 훈련 단계에서 학습한 표현을 활용하도록 보장합니다. 미세 조정이 반드시 필요한 것은 아니지만 일반적으로 미세 조정을 통해 더 나은 결과를 얻을 수 있습니다.
5. 평가:아직 확인되지 않은 데이터에 대한 모델 성능을 평가합니다. F1 점수와 같은 작업과 관련된 표준 측정항목을 사용하면 이 평가를 통해 모델이 새로운 데이터에 잘 일반화되는지 확인할 수 있습니다.
6. 배포 및 모니터링:훈련된 모델을 실제 애플리케이션에 배포하고 성능을 지속적으로 모니터링합니다. 정확성과 관련성을 유지하기 위해 필요에 따라 새 데이터로 모델을 업데이트합니다.

자기 지도 학습의 유형

자기 지도 학습은 다양한 유형을 포괄하며, 각 유형에는 다양한 기술과 접근 방식이 포함됩니다. 여기에서는 여러 유형을 살펴보고 고유한 훈련 방법을 강조하고 각각에 대해 하나 또는 두 개의 대표적인 예를 제공합니다.

이미지의 경우

• 자기 예측 학습:자기 예측 학습에는 자동 인코딩과 같은 기술이 포함됩니다. 여기서 모델은 정보를 더 간단한 형식으로 압축한 다음 원본 데이터를 다시 생성하는 방법을 학습합니다. 이미지 처리에서 이는 종종 이미지의 일부를 선택적으로 손상시키고(예: 섹션을 마스킹하여) 원본을 재구성하도록 모델을 훈련시키는 것을 의미합니다. 이를 통해 모델은 다양한 위치, 크기, 심지어 부분적으로 숨겨진 개체를 더 잘 인식할 수 있습니다.
• 대조 학습:대조 학습에서 모델은 쌍 또는 그룹으로 비교하여 유사한 이미지와 다른 이미지를 구별하는 방법을 학습합니다. 예를 들어 SimCLR 방법은 이미지 확대(예: 자르기, 왜곡, 뒤집기)를 사용하여 훈련 쌍을 만듭니다. 양수 쌍은 동일한 이미지에 다른 변경 사항을 적용하여 만들어지는 반면, 음수 쌍은 서로 다른 이미지에서 생성됩니다. 그런 다음 모델은 유사한 쌍에서 공통적이고 다른 쌍에서 다른 특징을 학습합니다.
• 클러스터링 기반 방법:클러스터링 기반 방법은 유사한 데이터 포인트를 그룹화하고 이러한 클러스터를 훈련용 의사 레이블로 사용합니다. 예를 들어 DeepCluster는 유사한 기능을 기준으로 이미지를 클러스터링하고 이러한 클러스터를 사용하여 모델을 교육합니다. 모델이 제대로 작동할 때까지 클러스터링과 학습 과정이 번갈아 진행됩니다. SwAV(Swapping Assignments Between Views)는 동일한 이미지의 여러 버전을 사용하여 모델이 가장자리, 텍스처, 개체 위치와 같이 일정하게 유지되는 필수 기능을 학습할 수 있도록 함으로써 이를 향상시킵니다.

텍스트의 경우

• 자기 예측 학습:이는 텍스트를 일련의 토큰으로 이해하는 LLM(대형 언어 모델)의 핵심 훈련 메커니즘입니다. 이는 일반적으로 하나의 단어를 나타내지만 때로는 단어의 일부 또는 단어 묶음을 나타냅니다.
  • 마스크된 언어 모델(MLM):일부 토큰이 누락된 문장을 표시하고 누락된 단어를 예측하는 작업을 수행합니다. 이러한 공백을 채우는 방법을 학습함으로써 MLM은 언어 구조와 맥락의 철저한 표현을 개발하고 예측할 때 전체 입력의 맥락을 고려할 수 있습니다. 감정 분석이나 명명된 엔터티 인식과 같은 유용한 출력은 미세 조정을 통해 개발됩니다. 대표적인 예는 Google이 검색어의 의도를 이해하는 데 사용하는 BERT입니다.
  • 인과 언어 모델(CLM):ChatGPT, Claude 및 Gemini와 같은 생성 모델은 이전 토큰을 기반으로 한 번에 한 단어를 예측하여 본 텍스트를 재현하는 방법을 학습합니다. 훈련을 받은 후에는 입력 텍스트를 예측의 맥락으로 취급하고 생성되는 모든 새 토큰을 사용하여 계속 예측합니다. 이러한 순차적 예측으로 인해 출력이 한꺼번에 표시되지 않고 자동으로 입력되는 것처럼 보입니다.
• 대조 학습:이 접근 방식은 텍스트 샘플 쌍을 비교하여 이들 간의 차이점과 유사점을 강조합니다. SimCSE는 학습 중에 숨겨진 레이어에 있는 문장 표현의 일부를 무작위로 무시하는 드롭아웃을 적용하여 동일한 문장의 약간 다른 두 가지 버전을 생성합니다(딥 러닝에 대한 게시물의 숨겨진 레이어에 대한 자세한 내용 참조). 모델은 이러한 버전을 유사한 것으로 인식하는 방법을 학습합니다. 이 기술은 문장을 이해하고 비교하는 모델의 능력을 향상시켜 유사한 문장을 찾거나 검색어에 대한 관련 정보를 검색하는 것과 같은 애플리케이션에 유용합니다.
• NSP(다음 문장 예측):이름에서 알 수 있듯이 NSP는 주어진 문장이 문서에 있는 다른 문장의 후속 문장인지 여부를 예측하여 모델이 문장과 텍스트의 논리적 흐름 간의 관계를 이해하도록 돕습니다. 더 큰 텍스트 본문에 대한 이해를 높이기 위해 일반적으로 MLM과 함께 사용됩니다. 예를 들어 BERT NSP에서 모델은 원본 텍스트에 두 문장이 연속적으로 나타나는지 여부를 예측합니다.

자기 지도 학습의 응용

자기 지도 학습은 다양한 영역에 걸쳐 폭넓게 적용됩니다.

• 자연어 처리:BERT 및 GPT-3과 같은 모델은 자기 지도 학습을 사용하여 챗봇, 번역, 텍스트 요약과 같은 애플리케이션에서 인간 언어를 이해하고 생성합니다.
• 컴퓨터 비전:자기 지도 학습은 원시 시각적 데이터에서 의사 레이블을 생성하여 이미지 및 비디오 분석을 개선합니다. 용도로는 객체 감지(예: 초인종 캠), 얼굴 인식, 긴 비디오에서 자동으로 클립 생성 등이 있습니다.
• 음성 인식:자기 감독 모델은 레이블이 지정되지 않은 방대한 양의 오디오 데이터를 학습하여 음성 인식 시스템을 개선합니다. 이 접근 방식을 사용하면 수동으로 표기할 필요성이 줄어들고 다양한 악센트와 방언의 정확성이 향상됩니다.
• 의료:자기 지도 학습은 최소한의 레이블이 있는 예가 포함된 대규모 데이터 세트를 활용하여 의료 이미지 분석, 약물 발견 및 환자 모니터링을 개선하는 데 도움이 됩니다. 광범위하고 비용이 많이 드는 전문가의 라벨링 없이도 질병 탐지 및 치료 권장 사항의 정확성이 향상됩니다.
• 로봇 공학:로봇은 자기 지도 학습을 통해 환경을 이해하고 의사 결정 프로세스를 개선합니다. 자율 탐색, 객체 조작, 인간-로봇 상호 작용 등의 용도로 사용됩니다.

자기주도 학습의 장점

• 비용 효율성:광범위한 레이블이 지정된 데이터의 필요성을 줄이고 주석 비용과 인력을 줄입니다.
• 확장성:대규모 데이터 세트를 처리할 수 있으므로 레이블이 지정된 데이터는 제한되어 있지만 레이블이 지정되지 않은 데이터는 풍부한 실제 애플리케이션에 적합합니다.
• 일반화:충분한 원시 데이터로 학습하면 모델은 직접 관련 데이터로 학습하지 않더라도 새로운 작업을 수행할 만큼 충분히 학습할 수 있습니다. 예를 들어, 한 언어를 기반으로 한 NLP 모델을 사용하여 다른 언어를 기반으로 한 학습을 ​​강화할 수 있습니다.
• 유연성:특정 요구 사항에 맞는 다양한 하위 유형을 사용하여 다양한 작업 및 영역에 적응할 수 있습니다.

자기주도 학습의 단점

• 복잡성:효과적인 구실 작업을 생성하고 의사 레이블을 생성하려면 신중한 설계와 실험이 필요합니다.
• 노이즈 민감도:원시 데이터에서 생성된 의사 레이블은 목표와 관련이 없을 수 있으며, 처리할 불필요한 입력을 모델에 너무 많이 제공하여 잠재적으로 성능에 영향을 미칠 수 있습니다.
• 계산 리소스:특히 대규모 데이터 세트를 사용하여 자기 지도 모델을 교육하려면 상당한 계산 능력과 시간이 필요합니다.