Uczenie się pod nadzorem i bez nadzoru: różnice, korzyści i przypadki użycia

Uczenie maszynowe (ML) napędza wiele technologii, z których korzystamy na co dzień, takich jak rozpoznawanie obrazu i pojazdy autonomiczne. Dwa podstawowe podejścia – uczenie się pod nadzorem i bez nadzoru – stanowią podstawę tych systemów. Chociaż oba są kluczem do uczenia modeli uczenia maszynowego, różnią się metodologią, celami i zastosowaniami.

W tym przewodniku porównamy te dwa podejścia, podkreślimy różnice między nimi oraz przeanalizujemy korzyści i wyzwania, jakie się z nimi wiążą. Przyjrzymy się także praktycznym zastosowaniom, które pomogą Ci zrozumieć, które z nich najlepiej nadaje się do różnych zadań.

Spis treści

• Co to jest uczenie się pod nadzorem?
• Co to jest uczenie się bez nadzoru?
• Nadzorowany a nienadzorowany: kluczowe różnice
• Korzyści z uczenia się pod nadzorem i bez nadzoru
• Wyzwania uczenia się pod nadzorem i bez nadzoru
• Zastosowania uczenia się pod nadzorem i bez nadzoru
• Wniosek

Co to jest uczenie się pod nadzorem?

Uczenie nadzorowane szkoli systemy uczenia maszynowego przy użyciu oznakowanych danych. W tym kontekście „oznaczony” oznacza, że ​​każdy przykład szkoleniowy jest powiązany ze znanym wynikiem. Etykiety te, często tworzone przez ekspertów, pomagają systemowi poznać relacje między danymi wejściowymi i wynikami. Po przeszkoleniu nadzorowane systemy mogą zastosować te wyuczone relacje do nowych, niewidocznych danych w celu przewidywania lub klasyfikacji.

Na przykład w kontekście samochodów autonomicznych nadzorowany system uczenia się może analizować oznakowane dane wideo. Adnotacje te identyfikują znaki drogowe, pieszych i przeszkody, umożliwiając systemowi rozpoznawanie podobnych funkcji i reagowanie na nie w rzeczywistych scenariuszach jazdy.

Algorytmy uczenia się nadzorowanego można podzielić na dwie podstawowe kategorie:

• Klasyfikacja: te algorytmy przypisują nowe dane etykiety, np. identyfikują wiadomości e-mail jako spam lub niebędące spamem.
• Regresja: te algorytmy przewidują wartości ciągłe, na przykład prognozowanie przyszłej sprzedaży na podstawie wyników z przeszłości.

W miarę powiększania się zbiorów danych i ulepszania zasobów obliczeniowych nadzorowane systemy stają się coraz dokładniejsze i skuteczniejsze, wspierając takie zastosowania, jak wykrywanie oszustw i diagnostyka medyczna.

Co to jest uczenie się bez nadzoru?

Z kolei uczenie się bez nadzoru analizuje dane bez oznaczonych przykładów, opierając się na algorytmach statystycznych w celu odkrycia ukrytych wzorców lub relacji. W przeciwieństwie do systemów nadzorowanych, modele te wnioskują o strukturze i dynamicznie aktualizują swoje ustalenia w miarę pojawiania się nowych informacji. Chociaż uczenie się bez nadzoru doskonale sprawdza się w odkrywaniu wzorców, jest zazwyczaj mniej skuteczne w przypadku zadań predykcyjnych.

Praktycznym przykładem są usługi agregowania wiadomości. Systemy te grupują powiązane artykuły i posty w mediach społecznościowych na temat najświeższych wydarzeń bez zewnętrznego etykietowania. Identyfikując podobieństwa w czasie rzeczywistym, uczą się bez nadzoru, aby uwydatnić kluczowe historie.

Oto kilka wyspecjalizowanych algorytmów uczenia się bez nadzoru:

• Klastrowanie:służy do segmentowania konsumentów i dostosowywania segmentów w miarę zmiany zachowań.
• Powiązanie:wykrywają wzorce w danych, takie jak identyfikowanie anomalii, które mogą wskazywać na naruszenia bezpieczeństwa.
• Redukcja wymiarowości: upraszczają struktury danych, zachowując jednocześnie najważniejsze informacje i są często używane do kompresji i wizualizacji złożonych zbiorów danych.

Uczenie się bez nadzoru jest integralną częścią eksploracyjnej analizy danych i odkrywania spostrzeżeń w scenariuszach, w których oznakowane dane są niedostępne.

Nadzorowany a nienadzorowany: kluczowe różnice

Uczenie się nadzorowane i nienadzorowane pełnią odrębną rolę w uczeniu się. Podejścia te różnią się wymaganiami dotyczącymi danych, zaangażowaniem ludzi, zadaniami i zastosowaniami. Poniższa tabela przedstawia te różnice, które omówimy dalej.

Różnice w fazie szkoleniowej

Podstawową różnicą między tymi dwoma typami algorytmów jest rodzaj zbiorów danych, od których zależą. Uczenie się pod nadzorem przynosi korzyści z dużych zbiorów oznakowanych danych. W rezultacie najbardziej zaawansowane nadzorowane systemy wymagają dużej skali niewyspecjalizowanej pracy ludzkiej przy przeglądaniu danych i generowaniu etykiet. Przetwarzanie oznaczonych etykiet zwykle wymaga więcej zasobów, dlatego nadzorowane systemy nie są w stanie przetworzyć tak dużej ilości danych z górnej półki skali.

Systemy uczenia się bez nadzoru mogą zacząć być skuteczne w przypadku mniejszych zbiorów danych i mogą przetwarzać znacznie większe ilości danych przy użyciu tych samych zasobów. Ich dane są łatwiejsze do uzyskania i przetworzenia, ponieważ nie wymagają niewyspecjalizowanej pracy ludzkiej na dużą skalę. W zamian systemy zwykle nie osiągają tak wysokiego stopnia dokładności w przypadku zadań związanych z przewidywaniem, a ich skuteczność często zależy od specjalistycznej pracy. Zamiast być używane tam, gdzie dokładność ma kluczowe znaczenie, częściej używa się ich do wnioskowania i aktualizowania wzorców danych na dużą skalę i w miarę zmian danych.

Różnice po wdrożeniu

Aplikacje do nadzorowanego uczenia się mają zwykle wbudowany mechanizm umożliwiający uzyskiwanie większej liczby oznakowanych danych na dużą skalę. Na przykład użytkownicy poczty e-mail mogą łatwo oznaczyć, czy przychodzące wiadomości są spamem, czy nie. Dostawca poczty e-mail może gromadzić oznaczone wiadomości w zestawie szkoleniowym, a następnie szkolić systemy regresji logistycznej pod kątem wykrywania spamu. Po wdrożeniu rezygnują z dłuższych i bardziej wymagających zasobów szkoleń na rzecz szybszego podejmowania decyzji. Oprócz systemów regresji logistycznej inne popularne algorytmy nadzorowanego uczenia obejmują drzewa decyzyjne i sieci neuronowe, które są powszechnie używane do przewidywania i podejmowania decyzji oraz do rozpoznawania złożonych wzorców.

Systemy bez nadzoru wyróżniają się, gdy zostaną zastosowane do problemów związanych z dużymi ilościami nieustrukturyzowanych danych. Potrafią wykrywać wzorce w danych, nawet jeśli są one przejściowe i muszą zostać wykryte przed zakończeniem szkolenia w zakresie uczenia się nadzorowanego. Na przykład algorytmy grupowania, rodzaj systemu uczenia się bez nadzoru, mogą wykrywać i aktualizować segmenty konsumentów w miarę zmiany trendów. Jeśli trendy zmienią się w nowe i niewidoczne wzorce, pozostaną one istotne bez konieczności przestojów w celu przekwalifikowania się.

Przykładem uczenia się bez nadzoru jest zastosowanie analizy głównych składowych (PCA) w finansach. PCA to algorytm, który można zastosować do grup inwestycji na dużą skalę i pomaga wnioskować i aktualizować pojawiające się właściwości grupy. Należą do nich ważne wskaźniki finansowe, takie jak najważniejsze źródła ryzyka inwestycyjnego i czynniki, które mogą mieć wpływ na zwroty. Inne popularne typy systemów uczenia się bez nadzoru to autoenkodery, które kompresują i upraszczają dane, często jako krok przygotowawczy przed zastosowaniem innych algorytmów ML.

Korzyści z uczenia się pod nadzorem i bez nadzoru

Zarówno systemy nadzorowane, jak i nienadzorowane są przydatne do przetwarzania danych w skali i szybkości przewyższającej możliwości człowieka bez pomocy. Jednak najlepiej nadają się do różnych zastosowań. Poniżej zestawiliśmy niektóre z ich głównych zalet.

Systemy nadzorowane

• Excel, jeśli dostępne są istotne dane historyczne
• Są znacznie lepsze niż systemy nienadzorowane do uczenia danych o znanej strukturze, cechach i wzorcach
• Są idealne do wykrywania i stosowania znanych cech danych na dużą skalę
• Może generować wyniki zrozumiałe i intuicyjne dla człowieka
• Może mieć większą dokładność w przypadku nowych i niewidocznych danych
• Potrafi przewidywać szybciej i na większą skalę niż systemy bez nadzoru

Systemy bez nadzoru

• Są szczególnie dobrzy w identyfikowaniu wcześniej niewidocznych lub nieznanych struktur i relacji w danych
• Radź sobie dobrze, gdy dane są mniej uporządkowane, a ich właściwości są mniej znane
• Pracuj w niektórych warunkach, w których nadzorowane systemy nie działają dobrze (na przykład w sytuacjach, gdy dane nie są dostępne lub są dostępne, ale nie zostały przetworzone przez ludzi)
• Wymagają mniej zasobów i mniej czasu podczas szkolenia niż systemy nadzorowane dla równoważnej ilości danych
• Można go wyszkolić i wykorzystać, gdy jest zbyt dużo danych, aby dobrze je przetworzyć w nadzorowanych systemach

Wyzwania uczenia się pod nadzorem i bez nadzoru

Systemy nadzorowane i nienadzorowane wymagają różnych kompromisów, a wyzwania, przed którymi stoją, są czasami zupełnie inne. Poniżej przedstawiamy niektóre z głównych różnic.

Systemy nadzorowane

• Wymagaj dostępu do dużych ilości danych przetwarzanych przez ludzi, które tylko czasami są dostępne lub łatwe do uzyskania
• Często mają dłuższe i wymagające więcej zasobów fazy szkoleniowe
• Szybka adaptacja może być trudna, jeśli zmienią się podstawowe cechy danych
• Staw czoła wyzwaniom podczas przetwarzania danych z natury nieustrukturyzowanych, takich jak wideo lub audio

Systemy bez nadzoru

• Częściej wykrywa wzorce, które nie dają się dobrze uogólnić na nowe przykłady danych
• Może być trudno uzyskać tak dokładną dokładność jak systemy nadzorowane
• Dają wyniki trudne do interpretacji przez człowieka, a interpretacje tych wyników mogą być bardziej subiektywne.
• Przewidywanie dokonane w świecie rzeczywistym może zająć więcej czasu i zasobów

Zastosowania uczenia się pod nadzorem i bez nadzoru

Niektóre aplikacje i problemy najlepiej rozwiązują się za pomocą nadzorowanych systemów uczenia się, niektóre najlepiej sprawdzają się w systemach bez nadzoru, a jeszcze inne najlepiej sprawdzają się przy użyciu mieszanki. Oto trzy dobrze znane przykłady.

Mieszane systemy uczenia się i uczenie się częściowo nadzorowane

Należy zauważyć, że większość rzeczywistych aplikacji korzysta z kombinacji modeli nadzorowanych i nienadzorowanych. Systemy edukacyjne są często łączone w oparciu o budżet, dostępność danych, wymagania dotyczące wydajności i złożoność inżynieryjną. Czasami można zastosować wyspecjalizowany podzbiór algorytmów uczenia się, który próbuje połączyć zalety obu podejść – uczenie się częściowo nadzorowane. W poniższych przykładach wskazujemy najbardziej prawdopodobny lub podstawowy system, który prawdopodobnie zostanie użyty.

Przewidywanie ruchu (nadzorowane)

Przewidywanie ruchu jest trudnym zadaniem. Na szczęście dostępnych jest wiele oznakowanych danych, ponieważ miasta regularnie kontrolują i rejestrują natężenie ruchu drogowego. Algorytmy regresji, rodzaj uczenia się nadzorowanego, można łatwo zastosować do tych danych i mogą generować dość dokładne prognozy przepływów ruchu. Ich przewidywania mogą pomóc w podejmowaniu decyzji dotyczących budowy dróg, oznakowania drogowego i rozmieszczenia sygnalizacji świetlnej. Algorytmy nienadzorowane są na tym etapie mniej skuteczne. Można je jednak wykorzystywać w oparciu o dane o ruchu, gromadzone po wprowadzeniu zmiany w strukturze dróg. W tym momencie pomagają automatycznie zidentyfikować i wnioskować, czy mogą pojawić się jakieś nowe, wcześniej niewidoczne problemy.

Grupowanie genetyczne (bez nadzoru)

Analiza danych genetycznych może być powolna i uciążliwa, ponieważ ilości danych są duże, a większość danych nie jest dobrze przeanalizowana. Często nie wiemy zbyt wiele o tym, co zawierają dane genetyczne – gdzie geny i inne składniki genetyczne mogą być przechowywane w genomie, jak są dekodowane i interpretowane itp. Algorytmy nienadzorowane są szczególnie istotne w przypadku tego problemu, ponieważ mogą przetwarzać duże ilości danych i automatycznie wnioskować, jakie wzorce zawierają. Mogą również pomóc w zebraniu podobnie wyglądającej informacji genetycznej w osobne klastry. Gdy dane genetyczne zostaną pogrupowane na podstawie podobieństwa, klastry można łatwo przetworzyć i przetestować w celu określenia, jaką funkcję biologiczną (jeśli w ogóle) pełnią.

LLM i uczenie się przez wzmacnianie (mieszane)

Przykładem aplikacji łączącej systemy uczenia się bez nadzoru i z nadzorem są duże modele językowe (LLM). System początkowy, LLM, jest zwykle przykładem systemu bez nadzoru. Aby stworzyć LLM, dane na dużą skalę (powiedzmy cały tekst w języku angielskim dostępny w Internecie) są analizowane przez system bez nadzoru. System wnioskuje z danych wiele wzorców i opracowuje podstawowe zasady konwersacji w języku angielskim.

Jednak wnioski wyciągane przez LLM nie pomagają mu brzmieć jak typowy człowiek w rozmowie. Nie pomagają też w uwzględnieniu indywidualnych preferencji komunikacyjnych. System nadzorowany — w szczególności system wzmocnień wykorzystujący komentarze użytkowników z adnotacjami (nazywane uczeniem się przez wzmacnianie na podstawie informacji zwrotnej od człowieka, w skrócie RLHF) — jest jednym ze sposobów rozwiązania tego problemu. RLHF można zastosować do już wyszkolonego LLM, aby pomóc mu ogólnie dobrze rozmawiać z ludźmi. Może także uczyć się indywidualnych preferencji i mówić w sposób preferowany przez konkretną osobę.

Wniosek

Podsumowując, uczenie się pod nadzorem i bez nadzoru to dwa podstawowe podzbiory uczenia się maszynowego, z których każdy oferuje unikalne mocne strony. Uczenie się pod nadzorem sprawdza się w scenariuszach z dużą ilością oznakowanych danych, wystarczającymi zasobami do wstępnego szkolenia oraz potrzebą szybkiego i skalowalnego podejmowania decyzji. Z drugiej strony uczenie się bez nadzoru sprawdza się, gdy odkrywane są ukryte struktury i relacje w danych, zwłaszcza gdy oznakowane dane lub zasoby szkoleniowe są ograniczone, a podejmowanie decyzji może zająć więcej czasu i jest bardziej złożone. Rozumiejąc zalety, wyzwania i przypadki użycia obu podejść, możesz podejmować świadome decyzje dotyczące tego, kiedy i jak skutecznie je zastosować.