기계 학습 클러스터링 : 그것이 무엇인지, 작동 방식

클러스터링은 데이터 분석 및 머신 러닝 (ML)의 강력한 도구로, 원시 데이터의 패턴과 통찰력을 발견 할 수있는 방법을 제공합니다. 이 안내서는 클러스터링의 작동 방식,이를 추진하는 알고리즘, 다양한 실제 응용 프로그램 및 주요 장점 및 과제를 탐구합니다.

목차

• 머신 러닝에서 클러스터링이란 무엇입니까?
• 클러스터링은 어떻게 작동합니까?
• 클러스터링 알고리즘
• 클러스터링의 실제 응용 프로그램
• 클러스터링의 장점
• 클러스터링의 도전

머신 러닝에서 클러스터링이란 무엇입니까?

클러스터링은 ML에 사용되는 감독되지 않은 학습 기술로 유사성에 따라 데이터 포인트를 클러스터로 그룹화합니다. 각 클러스터에는 다른 클러스터의 포인트보다 서로 유사한 데이터 포인트가 포함되어 있습니다. 이 프로세스는 사전 지식이나 라벨이 필요하지 않고 데이터의 자연 그룹 또는 패턴을 발견하는 데 도움이됩니다.

머신 러닝에서 클러스터링

예를 들어, 동물 이미지, 일부 고양이 및 다른 개 모음이 있다고 상상해보십시오. 클러스터링 알고리즘은 모양, 색상 또는 텍스처와 같은 각 이미지의 기능을 분석하고 고양이의 이미지를 한 클러스터로 그룹화하고 다른 클러스터의 이미지를 그룹화합니다. 중요하게도, 클러스터링은 "고양이"또는 "개"와 같은 명시 적 라벨을 할당하지 않습니다 (클러스터링 방법은 개나 고양이가 무엇인지 실제로 이해하지 못하기 때문입니다). 단순히 그룹화를 식별하여 해당 클러스터를 해석하고 이름을 지정하기 위해 귀하에게 남겨 둡니다.

클러스터링 대 분류 : 차이점은 무엇입니까?

클러스터링과 분류는 종종 비교되지만 다른 목적을 제공합니다. 감독되지 않은 학습 방법 인 클러스터링은 표지되지 않은 데이터와 함께 작동하여 유사성을 기반으로 천연 그룹화를 식별합니다. 대조적으로, 분류는 특정 범주를 예측하기 위해 라벨이 붙은 데이터가 필요한 감독 학습 방법입니다.

클러스터링은 사전 정의 된 레이블이없는 패턴과 그룹을 보여 주므로 탐색에 이상적입니다. 반면에 분류는 이전 교육을 기반으로 새로운 데이터 포인트에 "고양이"또는 "개"와 같은 명백한 레이블을 할당합니다. 클러스터링과의 구별을 강조하고 각 접근 방식을 사용하는시기를 명확히하기 위해 여기에 분류가 언급됩니다.

클러스터링은 어떻게 작동합니까?

클러스터링은 데이터 세트 내에서 유사한 데이터 포인트의 그룹 (또는 클러스터)을 식별하여 패턴이나 관계를 발견하는 데 도움이됩니다. 특정 알고리즘은 클러스터링에 다르게 접근 할 수 있지만 프로세스는 일반적으로 이러한 주요 단계를 따릅니다.

1 단계 : 데이터 유사성 이해

클러스터링의 핵심에는 유사한 데이터 포인트가 얼마나 유사한지를 측정하는 유사성 알고리즘이 있습니다. 유사성 알고리즘은 데이터 포인트 유사성을 정량화하는 데 사용하는 거리 메트릭에 따라 다릅니다. 몇 가지 예는 다음과 같습니다.

• 지리적 데이터 :유사성은 도시 나 위치의 근접성과 같은 물리적 거리를 기반으로 할 수 있습니다.
• 고객 데이터 :유사성에는 지출 습관이나 구매 이력과 같은 공유 선호도가 포함될 수 있습니다.

일반적인 거리 측정에는 유클리드 거리 (점 사이의 직선 거리)와 맨해튼 거리 (그리드 기반 경로 길이)가 포함됩니다. 이 조치는 어떤 지점을 그룹화 해야하는지 정의하는 데 도움이됩니다.

2 단계 : 데이터 포인트 그룹화

유사성이 측정되면 알고리즘은 데이터를 클러스터로 구성합니다. 여기에는 두 가지 주요 작업이 포함됩니다.

• 그룹 식별 :알고리즘은 근처 또는 관련 데이터 포인트를 그룹화하여 클러스터를 찾습니다. 피처 공간에서 함께 가깝게 점점 더 가까이 가면 동일한 클러스터에 속할 수 있습니다.
• 정제 클러스터 :알고리즘은 반복적으로 그룹화를 조정하여 정확도를 향상시켜 클러스터 간의 데이터 포인트가 가능한 한 비슷한 동시에 클러스터 간의 분리를 극대화합니다.

예를 들어, 고객 세분화 작업에서 초기 그룹화는 지출 수준에 따라 고객을 나눌 수 있지만 추가 개선은 "빈번한 바겐 세일 쇼핑객"또는 "고급 구매자"와 같은 미묘한 세그먼트를 보여줄 수 있습니다.

3 단계 : 클러스터 수 선택

생성 할 클러스터 수를 결정하는 것은 프로세스의 중요한 부분입니다.

• 사전 정의 된 클러스터 :K-Means와 같은 일부 알고리즘을 사용하려면 클러스터 수를 정면으로 지정해야합니다. 올바른 숫자를 선택하려면 종종 클러스터 분리에서의 수익 감소를 기반으로 최적의 클러스터 수를 식별하는 "엘보우 방법"과 같은 시행 착오 또는 시각적 기술이 포함됩니다.
• 자동 클러스터링 :DBSCAN (노이즈가있는 응용 프로그램의 밀도 기반 공간 클러스터링)과 같은 기타 알고리즘은 데이터 구조를 기반으로 자동으로 클러스터 수를 결정하므로 탐색 작업에보다 유연합니다.

클러스터링 방법의 선택은 종종 데이터 세트와 해결하려는 문제에 따라 다릅니다.

4 단계 : 하드 대 소프트 클러스터링

클러스터링 접근 방식은 데이터 포인트를 클러스터에 할당하는 방식이 다릅니다.

• 하드 클러스터링 :각 데이터 포인트는 하나의 클러스터에만 해당됩니다. 예를 들어, 고객 데이터는 그룹간에 겹치지 않고 "낮은 지출"및 "높은 지출 자"와 같은 뚜렷한 세그먼트로 나눌 수 있습니다.
• 소프트 클러스터링 :데이터 포인트는 여러 클러스터에 속할 수 있으며, 각각의 확률이 할당됩니다. 예를 들어, 온라인 및 매장 내에서 쇼핑하는 고객은 혼합 동작 패턴을 반영하여 두 클러스터에 부분적으로 속할 수 있습니다.

클러스터링 알고리즘은 원시 데이터를 의미있는 그룹으로 변환하여 숨겨진 구조를 발견하고 복잡한 데이터 세트에 대한 통찰력을 제공합니다. 정확한 세부 사항은 알고리즘에 따라 다르지만이 중요한 프로세스는 클러스터링 작동 방식을 이해하는 데 핵심입니다.

클러스터링 알고리즘

클러스터링 알고리즘은 유사성을 기반으로 데이터 포인트를 그룹화하여 데이터의 패턴을 드러내는 데 도움이됩니다. 가장 일반적인 유형의 클러스터링 알고리즘은 중심 기반, 계층 적, 밀도 기반 및 분포 기반 클러스터링입니다. 각 방법에는 강점이 있으며 특정 종류의 데이터 및 목표에 적합합니다. 아래는 각 접근 방식의 개요입니다.

중심 기반 클러스터링

Centroid 기반 클러스터링은 각 클러스터마다 Centroid라는 대표 센터에 의존합니다. 목표는 중심이 가능한 한 멀리 떨어져 있는지 확인하면서 중심에 가까운 데이터 포인트를 그룹화하는 것입니다. 잘 알려진 예는 k-means 클러스터링으로, 데이터에 중심을 무작위로 배치하여 시작합니다. 데이터 포인트는 가장 가까운 중심에 할당되며 중심은 지정된 지점의 평균 위치로 조정됩니다. 이 과정은 중심이 많이 움직이지 않을 때까지 반복됩니다. K- 평균은 효율적이며 얼마나 많은 클러스터가 기대할 수 있는지 알면 잘 작동하지만 복잡하거나 시끄러운 데이터로 어려움을 겪을 수 있습니다.

계층 적 클러스터링

계층 적 클러스터링은 클러스터의 트리와 같은 구조를 구축합니다. 가장 일반적인 방법에서, 응집 적 클러스터링에서, 각 데이터 포인트는 1 점 클러스터로 시작됩니다. 서로 가장 가까운 클러스터는 하나의 큰 클러스터 만 남아있을 때까지 반복적으로 병합됩니다. 이 프로세스는 병합 단계를 보여주는 트리 다이어그램 인 덴드로 그램을 사용하여 시각화됩니다. 특정 수준의 덴드로 그램을 선택하면 생성 할 클러스터 수를 결정할 수 있습니다. 계층 적 클러스터링은 직관적이며 클러스터 수를 앞쪽으로 지정할 필요는 없지만 대형 데이터 세트의 경우 느리게 할 수 있습니다.

밀도 기반 클러스터링

밀도 기반 클러스터링은 희소 영역을 노이즈로 취급하면서 밀집된 데이터 포인트 영역을 찾는 데 중점을 둡니다. DBSCAN은 두 가지 매개 변수를 기반으로 클러스터를 식별하는 널리 사용되는 방법입니다. Epsilon (이웃으로 간주되는 지점의 최대 거리) 및 Min_Points (조밀 한 영역을 형성하는 데 필요한 최소 점수). DBSCAN은 클러스터 수를 미리 정의 할 필요가 없으므로 유연하게 만듭니다. 시끄러운 데이터와 잘 어울립니다. 그러나 두 매개 변수 값을주의 깊게 선택하지 않으면 결과 클러스터는 의미가 없을 수 있습니다.

분포 기반 클러스터링

분포 기반 클러스터링은 데이터가 확률 분포에 의해 기술 된 중첩 패턴으로부터 생성된다고 가정한다. 각 클러스터가 가우시안 (종 모양) 분포로 표시되는 가우스 혼합물 모델 (GMM)은 일반적인 접근법입니다. 알고리즘은 각 분포에 속하는 각 지점의 가능성을 계산하고 데이터에 더 잘 맞도록 클러스터를 조정합니다. 하드 클러스터링 방법과 달리 GMM은 소프트 클러스터링을 허용합니다. 즉, 포인트는 다른 확률을 가진 여러 클러스터에 속할 수 있습니다. 따라서 데이터 중첩에 이상적이지만 신중한 튜닝이 필요합니다.

클러스터링의 실제 응용 프로그램

클러스터링은 수많은 필드에서 데이터의 패턴과 통찰력을 밝히기 위해 사용되는 다양한 도구입니다. 몇 가지 예는 다음과 같습니다.

음악 추천

클러스터링은 음악 선호도를 기반으로 사용자를 그룹화 할 수 있습니다. 사용자가 좋아하는 아티스트를 숫자 데이터로 변환하고 비슷한 취향을 가진 사용자 클러스터링 사용자를 통해 음악 플랫폼은 "팝 애호가"또는 "재즈 애호가"와 같은 그룹을 식별 할 수 있습니다. 동일한 클러스터에 속하는 경우 사용자 A의 재생 목록에서 사용자 B 로의 노래를 제안하는 등 이러한 클러스터 내에서 권장 사항을 조정할 수 있습니다. 이 접근법은 소비자 선호도가 권장 사항을 유도 할 수있는 패션, 영화 또는 자동차와 같은 다른 산업으로 확장됩니다.

이상 탐지

클러스터링은 비정상적인 데이터 포인트를 식별하는 데 매우 효과적입니다. 데이터 클러스터를 분석함으로써 DBSCAN과 같은 알고리즘은 다른 사람과는 거리가 멀거나 노이즈로 명시 적으로 표시되는 지점을 분리 할 수 ​​있습니다. 이러한 이상은 종종 스팸, 사기 신용 카드 거래 또는 사이버 보안 위협과 같은 문제를 나타냅니다. 클러스터링은 이러한 특이 치를 식별하고 행동하는 빠른 방법을 제공하여 이상이 심각한 영향을 미칠 수있는 필드의 효율성을 보장합니다.

고객 세분화

비즈니스는 클러스터링을 사용하여 고객 데이터를 분석하고 잠재 고객을 고유 한 그룹으로 분류합니다. 예를 들어, 클러스터는“빈번하고 부가가치가 낮은 구매를하는 젊은 구매자”와“적은 수의 고 부가가치 구매를하는 구매자”와 비교할 수 있습니다. 이러한 통찰력을 통해 기업은 대상 마케팅 전략을 제작하고 제품 오퍼링을 개인화하며 더 나은 참여 및 수익성을 위해 리소스 할당을 최적화 할 수 있습니다.

이미지 분할

이미지 분석에서 클러스터링은 유사한 픽셀 영역을 그룹화하여 이미지를 별개의 물체로 분할합니다. 건강 관리 에서이 기술은 MRI와 같은 의료 스캔에서 종양을 식별하는 데 사용됩니다. 자율 주행 차에서 클러스터링은 입력 이미지의 보행자, 차량 및 건물을 차별화하여 내비게이션 및 안전성을 향상시킵니다.

클러스터링의 장점

클러스터링은 데이터 분석에서 필수적이고 다양한 도구입니다. 라벨이 붙은 데이터가 필요하지 않으며 데이터 세트 내에서 패턴을 빠르게 발견 할 수 있기 때문에 특히 가치가 있습니다.

매우 확장 가능하고 효율적입니다

클러스터링의 핵심 이점 중 하나는 감독되지 않은 학습 기술로서의 강점입니다. 감독 된 방법과 달리 클러스터링에는 라벨이 붙은 데이터가 필요하지 않습니다.이 데이터는 종종 ML에서 가장 시간이 많이 걸리고 비싼 측면입니다. 클러스터링을 통해 분석가는 원시 데이터로 직접 작업하고 레이블 필요성을 우회 할 수 있습니다.

또한 클러스터링 방법은 계산 효율적이고 확장 가능합니다. K-Means와 같은 알고리즘은 특히 효율적이며 대규모 데이터 세트를 처리 할 수 ​​있습니다. 그러나 K- 평균은 제한적입니다. 때로는 융통성이없고 소음에 민감합니다. DBSCAN과 같은 알고리즘은 노이즈에 더 강력하고 계산적으로 덜 효율적 일 수 있지만 임의 형태의 클러스터를 식별 할 수 있습니다.

데이터 탐색에 도움이됩니다

클러스터링은 종종 숨겨진 구조와 패턴을 발견하는 데 도움이되므로 데이터 분석의 첫 단계입니다. 유사한 데이터 포인트를 그룹화함으로써 관계를 보여주고 특이 치를 강조합니다. 이러한 통찰력은 팀이 가설을 형성하고 데이터 중심 결정을 내리는 데 안내 할 수 있습니다.

또한 클러스터링은 복잡한 데이터 세트를 단순화합니다. 시각화 및 추가 분석에 도움이되는 차원을 줄이는 데 사용할 수 있습니다. 이를 통해 데이터를 쉽게 탐색하고 실행 가능한 통찰력을 식별 할 수 있습니다.

클러스터링의 도전

클러스터링은 강력한 도구이지만 분리되지 않은 경우 거의 사용되지 않습니다. 의미있는 예측을하거나 통찰력을 도출하기 위해 다른 알고리즘과 함께 사용해야합니다.

해석 가능성 부족

알고리즘에 의해 생성 된 클러스터는 본질적으로 해석 할 수 없습니다. 특정 데이터 포인트가 클러스터에 속하는 이유를 이해하려면 수동 시험이 필요합니다. 클러스터링 알고리즘은 레이블이나 설명을 제공하지 않으므로 사용자가 클러스터의 의미와 중요성을 유추하게합니다. 크거나 복잡한 데이터 세트로 작업 할 때 특히 어려울 수 있습니다.

매개 변수에 대한 민감도

클러스터링 결과는 알고리즘 매개 변수 선택에 크게 의존합니다. 예를 들어, K- 평균의 클러스터 수 또는 Epsilon 및 DBSCAN의 Min_Points 매개 변수는 출력에 크게 영향을 미칩니다. 최적의 매개 변수 값을 결정하는 데 종종 광범위한 실험이 포함되며 시간이 많이 걸릴 수있는 도메인 전문 지식이 필요할 수 있습니다.

치수의 저주

고차원 데이터는 클러스터링 알고리즘에 중대한 도전을 제시합니다. 고차원 공간에서는 데이터 포인트가 뚜렷한 경우에도 등거리가 나타나는 경향이 있기 때문에 거리 측정은 덜 효과적입니다. “차원의 저주”로 알려진이 현상은 의미있는 유사성을 식별하는 과제를 복잡하게 만듭니다.

PCA (Principal Component Analysis) 또는 T-SNE (T- 분포 확률 론적 인 이웃 임베딩)와 같은 차원 감소 기술은 데이터를 저 차원 공간으로 투영 하여이 문제를 완화 할 수 있습니다. 이러한 감소 된 표현은 클러스터링 알고리즘을보다 효과적으로 수행 할 수있게합니다.