지도 학습과 비지도 학습: 차이점, 이점 및 사용 사례

머신러닝(ML)은 이미지 인식, 자율주행차 등 우리가 일상적으로 사용하는 많은 기술을 지원합니다. 지도 학습과 비지도 학습이라는 두 가지 기본 접근 방식이 이러한 시스템의 중추를 형성합니다. 두 가지 모두 ML 모델 학습의 핵심이지만 방법론, 목표, 애플리케이션이 다릅니다.

이 가이드에서는 이 두 가지 접근 방식을 비교하고, 차이점을 강조하고, 장점과 과제를 살펴보겠습니다. 또한 다양한 작업에 가장 적합한 것이 무엇인지 이해하는 데 도움이 되는 실제 응용 프로그램을 살펴보겠습니다.

목차

• 지도 학습이란 무엇입니까?
• 비지도 학습이란 무엇입니까?
• 감독 및 감독되지 않음: 주요 차이점
• 지도 학습과 비지도 학습의 이점
• 지도 학습과 비지도 학습의 과제
• 지도 및 비지도 학습의 응용
• 결론

지도 학습이란 무엇입니까?

지도 학습은 레이블이 지정된 데이터를 사용하여 ML 시스템을 교육합니다. 이 맥락에서 '레이블이 지정됨'은 각 훈련 예제가 알려진 출력과 쌍을 이룬다는 의미입니다. 종종 전문가가 생성하는 이러한 레이블은 시스템이 입력과 출력 간의 관계를 학습하는 데 도움이 됩니다. 학습된 지도 시스템은 학습된 관계를 새로운, 보이지 않는 데이터에 적용하여 예측 또는 분류를 수행할 수 있습니다.

예를 들어, 자율 주행 자동차의 맥락에서 지도 학습 시스템은 레이블이 지정된 비디오 데이터를 분석할 수 있습니다. 이러한 주석은 도로 표지판, 보행자 및 장애물을 식별하여 시스템이 실제 운전 시나리오에서 유사한 기능을 인식하고 대응할 수 있도록 합니다.

지도 학습 알고리즘은 두 가지 기본 범주로 분류됩니다.

• 분류: 이 알고리즘은 이메일을 스팸 또는 스팸이 아닌 것으로 식별하는 등 새로운 데이터에 라벨을 할당합니다.
• 회귀: 이 알고리즘은 과거 실적을 기반으로 미래 매출을 예측하는 것과 같은 연속 값을 예측합니다.

데이터 세트가 증가하고 계산 리소스가 향상됨에 따라 감독 시스템은 더욱 정확하고 효과적이 되어 사기 탐지 및 의료 진단과 같은 애플리케이션을 지원합니다.

비지도 학습이란 무엇입니까?

이와 대조적으로 비지도 학습은 레이블이 지정된 예제 없이 데이터를 분석하고 통계 알고리즘을 사용하여 숨겨진 패턴이나 관계를 찾아냅니다. 감독되는 시스템과 달리 이러한 모델은 구조를 추론하고 새로운 정보가 제공될 때 결과를 동적으로 업데이트합니다. 비지도 학습은 패턴 발견에 탁월하지만 일반적으로 예측 작업에는 덜 효과적입니다.

실제적인 예는 뉴스 수집 서비스입니다. 이러한 시스템은 외부 라벨링 없이 속보 이벤트에 대한 관련 기사 및 소셜 미디어 게시물을 그룹화합니다. 실시간으로 공통점을 식별함으로써 비지도 학습을 수행하여 핵심 스토리를 강조합니다.

다음은 몇 가지 특수한 비지도 학습 알고리즘입니다.

• 클러스터링:소비자를 분류하고 행동 변화에 따라 세그먼트를 조정하는 데 사용됩니다.
• 연관:보안 침해를 나타낼 수 있는 이상 징후 식별과 같은 데이터의 패턴을 감지합니다.
• 차원 축소: 이는 중요한 정보를 보존하면서 데이터 구조를 단순화하며 복잡한 데이터 세트를 압축하고 시각화하는 데 자주 사용됩니다.

비지도 학습은 탐색적 데이터 분석과 레이블이 지정된 데이터를 사용할 수 없는 시나리오에서 통찰력을 찾는 데 필수적입니다.

감독 및 감독되지 않음: 주요 차이점

지도 학습과 비지도 학습은 ML에서 서로 다른 역할을 합니다. 이러한 접근 방식은 데이터 요구 사항, 인력 참여, 작업 및 애플리케이션이 다릅니다. 아래 표에는 이러한 차이점이 강조되어 있으며 이에 대해 더 자세히 살펴보겠습니다.

훈련 단계의 차이점

두 가지 유형의 알고리즘 간의 주요 차이점은 해당 알고리즘이 의존하는 데이터 세트 유형입니다. 지도 학습은 레이블이 지정된 대규모 데이터 세트의 이점을 활용합니다. 결과적으로, 가장 발전된 감독 시스템은 데이터를 선별하고 라벨을 생성하는 데 전문화되지 않은 대규모 인력에 의존합니다. 또한 레이블이 지정된 데이터는 일반적으로 처리하는 데 더 많은 리소스를 사용하므로 감독 시스템은 규모의 상단에서 많은 데이터를 처리할 수 없습니다.

비지도 학습 시스템은 더 작은 데이터 세트로 효과적일 수 있으며 동일한 리소스로 훨씬 더 많은 양의 데이터를 처리할 수 있습니다. 이들 데이터는 대규모의 전문화되지 않은 인간 노동에 의존하지 않기 때문에 획득하고 처리하기가 더 쉽습니다. 그 대가로 시스템은 일반적으로 예측 작업에서 높은 정확도를 달성하지 못하며 효과를 얻기 위해 전문적인 작업에 의존하는 경우가 많습니다. 정확성이 중요한 곳에 사용되는 대신 데이터의 패턴을 대규모로 추론하고 업데이트하는 데 더 자주 사용됩니다.

배포 시 차이점

지도 학습 애플리케이션에는 일반적으로 대규모로 더 많은 레이블이 지정된 데이터를 얻을 수 있는 메커니즘이 내장되어 있습니다. 예를 들어 이메일 사용자는 수신 메시지가 스팸인지 여부를 쉽게 표시할 수 있습니다. 이메일 제공자는 표시된 메시지를 훈련 세트에 축적한 다음 스팸 탐지를 위해 로지스틱 회귀 시스템을 훈련할 수 있습니다. 배포 시 더 빠른 의사 결정을 위해 더 길고 리소스 집약적인 교육을 포기합니다. 로지스틱 회귀 시스템 외에도 다른 일반적인 지도 학습 알고리즘에는 의사 결정 트리와 신경망이 포함되며, 이는 예측 및 결정을 내리고 복잡한 패턴 인식을 위해 어디서나 사용됩니다.

비지도 시스템은 대량의 비정형 데이터와 관련된 문제에 적용될 때 차별화됩니다. 일시적인 경우에도 데이터의 패턴을 감지할 수 있으며 지도 학습을 위한 훈련이 완료되기 전에 감지해야 합니다. 예를 들어, 비지도 학습 시스템의 일종인 클러스터링 알고리즘은 추세 변화에 따라 소비자 세그먼트를 감지하고 업데이트할 수 있습니다. 추세가 새롭고 보이지 않는 패턴으로 바뀌더라도 재교육을 위한 가동 중지 시간 없이 관련성을 유지합니다.

비지도 학습의 예로는 금융 분야의 주성분 분석(PCA)을 들 수 있습니다. PCA는 대규모 투자 그룹에 적용할 수 있고 그룹의 새로운 속성을 추론하고 업데이트하는 데 도움이 되는 알고리즘입니다. 여기에는 투자 위험의 가장 중요한 원천, 수익에 영향을 미칠 수 있는 요소 등 중요한 재무 지표가 포함됩니다. 비지도 학습 시스템의 다른 일반적인 유형은 자동 인코더로, 이는 종종 다른 ML 알고리즘을 적용하기 전 준비 단계로 데이터를 압축하고 단순화합니다.

지도 학습과 비지도 학습의 이점

감독 시스템과 비지도 시스템 모두 도움을 받지 않는 인간을 능가하는 규모와 속도로 데이터를 처리하는 데 유용합니다. 그러나 다양한 응용 분야에 가장 적합합니다. 아래에서는 주요 이점 중 일부를 대조해 보겠습니다.

감독되는 시스템

• 중요한 과거 데이터가 있는 경우 Excel
• 구조, 특성, 패턴이 알려진 데이터를 훈련하는 데 비지도 시스템보다 훨씬 낫습니다.
• 대규모 데이터의 알려진 특성을 감지하고 적용하는 데 이상적입니다.
• 인간이 이해하고 직관적으로 이해할 수 있는 결과를 생성할 수 있음
• 새로운 데이터와 보이지 않는 데이터에 대해 더 높은 정확도를 가질 수 있습니다.
• 비지도 시스템보다 더 빠르고 더 큰 규모로 예측할 수 있습니다.

감독되지 않는 시스템

• 데이터에서 이전에 볼 수 없거나 알려지지 않은 구조와 관계를 식별하는 데 특히 능숙합니다.
• 데이터가 덜 구조화되어 있고 해당 속성이 잘 알려져 있지 않을 때 효과적입니다.
• 감독되는 시스템이 제대로 작동하지 않는 일부 조건에서 작동합니다(예: 데이터를 사용할 수 없거나 데이터를 사용할 수 있지만 사람이 처리하지 않은 상황).
• 동일한 양의 데이터에 대해 지도 시스템보다 훈련 중에 필요한 리소스와 시간이 더 적습니다.
• 지도 시스템으로 처리하기에는 데이터가 너무 많은 경우 훈련하고 사용할 수 있습니다.

지도 학습과 비지도 학습의 과제

감독 시스템과 비지도 시스템은 각각 서로 다른 장단점을 가지고 있으며, 그들이 직면하는 문제도 때때로 상당히 다릅니다. 아래에서는 몇 가지 주요 차이점을 강조합니다.

감독되는 시스템

• 인간이 처리한 대량의 데이터에 대한 액세스가 필요하며, 이는 가끔씩만 이용 가능하거나 쉽게 얻을 수 있습니다.
• 더 길고 리소스 집약적인 교육 단계가 있는 경우가 많습니다.
• 핵심 데이터 특성이 변경되면 빠르게 적응하는 데 어려움을 겪을 수 있음
• 비디오 또는 오디오와 같이 본질적으로 구조화되지 않은 데이터를 처리할 때 문제에 직면합니다.

감독되지 않는 시스템

• 새로운 데이터 예시에 잘 일반화되지 않는 패턴을 더 자주 감지합니다.
• 감독 시스템만큼 정확하게 만들기 어려울 수 있음
• 이는 인간이 해석하기 어려운 결과를 낳고, 이러한 결과에 대한 해석은 더욱 주관적일 수 있습니다.
• 실제 세계에서 예측할 때마다 더 많은 시간과 리소스가 소요될 수 있습니다.

지도 및 비지도 학습의 응용

일부 애플리케이션과 문제는 지도 학습 시스템에서 가장 잘 해결되고, 일부는 비지도 학습 시스템에서 가장 잘 해결되며, 일부는 혼합을 사용하여 가장 잘 해결됩니다. 다음은 잘 알려진 세 가지 예입니다.

혼합 학습 시스템 및 준지도 학습

대부분의 실제 애플리케이션은 지도 모델과 비지도 모델을 혼합하여 사용한다는 점에 유의하는 것이 중요합니다. 학습 시스템은 예산, 데이터 가용성, 성능 요구 사항, 엔지니어링 복잡성 등을 기반으로 결합되는 경우가 많습니다. 경우에 따라 두 가지 접근 방식의 이점을 혼합하려고 시도하는 특수한 학습 알고리즘 하위 집합(반 지도 학습)도 사용될 수 있습니다. 아래 예에서는 사용될 가능성이 가장 높은 시스템 또는 기본 시스템을 호출합니다.

교통 예측(감독)

교통 예측은 어려운 작업입니다. 다행스럽게도 도시에서는 도로 교통량을 정기적으로 감사하고 기록하므로 라벨이 붙은 데이터를 많이 사용할 수 있습니다. 지도 학습의 일종인 회귀 알고리즘은 이 데이터에 쉽게 적용할 수 있으며 교통 흐름을 매우 정확하게 예측할 수 있습니다. 이들의 예측은 도로 건설, 교통 표지판, 신호등 배치에 관한 의사 결정에 도움이 될 수 있습니다. 비지도 알고리즘은 이 단계에서 덜 효과적입니다. 그러나 도로 구조 변경이 구현된 후 누적되는 교통 데이터를 기반으로 실행할 수 있습니다. 이 시점에서 새로운 문제나 이전에 볼 수 없었던 문제가 발생할 수 있는지 자동으로 식별하고 추론하는 데 도움이 됩니다.

유전자 클러스터링(비지도)

유전자 데이터의 분석은 데이터의 양이 많고 대부분의 데이터가 잘 분석되지 않기 때문에 느리고 번거로울 수 있습니다. 우리는 유전자 데이터에 무엇이 포함되어 있는지, 즉 유전자와 기타 유전적 구성 요소가 게놈에 저장될 수 있는 위치, 해독 및 해석 방법 등에 대해 잘 알지 못하는 경우가 많습니다. 비지도 알고리즘은 많은 양을 처리할 수 있기 때문에 이 문제와 특히 관련이 있습니다. 데이터를 분석하고 데이터에 포함된 패턴을 자동으로 추론합니다. 또한 유사해 보이는 유전 정보를 별도의 클러스터로 수집하는 데 도움이 될 수 있습니다. 유전 데이터가 유사성을 기준으로 클러스터링되면 클러스터를 쉽게 처리하고 테스트하여 어떤 생물학적 기능(있는 경우)을 제공하는지 확인할 수 있습니다.

LLM 및 강화 학습(혼합)

LLM(대형 언어 모델)은 비지도 학습 시스템과 지도 학습 시스템을 결합한 애플리케이션의 예입니다. 초기 시스템인 LLM은 일반적으로 비지도 시스템의 예입니다. LLM을 생성하기 위해 비지도 시스템을 통해 대규모 데이터(예: 인터넷에서 사용할 수 있는 모든 영어 텍스트)가 분석됩니다. 시스템은 데이터로부터 다양한 패턴을 추론하고 영어 대화를 위한 기본 규칙을 개발합니다.

그러나 LLM의 추론은 대화에서 일반적인 인간처럼 들리도록 하는 데 도움이 되지 않습니다. 또한 의사소통에 대한 개인의 선호도를 고려하는 데에도 도움이 되지 않습니다. 지도 시스템, 특히 사용자의 주석이 달린 피드백을 사용하는 강화 시스템(인간 피드백 강화 학습, 줄여서 RLHF라고 함)은 이 문제를 해결하는 한 가지 방법입니다. RLHF는 이미 훈련된 LLM에 적용되어 일반적으로 인간과 원활하게 대화할 수 있습니다. 또한 개인의 선호도를 학습하고 특정인이 선호하는 방식으로 말할 수도 있습니다.

결론

요약하면 지도 학습과 비지도 학습은 ML의 두 가지 기본 하위 집합으로, 각각 고유한 장점을 제공합니다. 지도 학습은 레이블이 지정된 풍부한 데이터, 사전 교육을 위한 충분한 리소스, 신속하고 확장 가능한 의사 결정이 필요한 시나리오에서 탁월한 성능을 발휘합니다. 반면, 비지도 학습은 데이터의 숨겨진 구조와 관계를 밝혀낼 때 빛을 발합니다. 특히 레이블이 지정된 데이터 또는 교육 리소스가 제한되어 있고 의사 결정에 더 많은 시간과 복잡성을 수용할 수 있는 경우 더욱 그렇습니다. 두 접근 방식의 장점, 과제 및 사용 사례를 이해하면 이를 효과적으로 적용할 시기와 방법에 대해 정보에 입각한 결정을 내릴 수 있습니다.