Uczenie się nadzorowane: co to jest i jak działa

Opublikowany: 2024-07-03

Z tego przewodnika informacyjnego dowiesz się, jak nadzorowane uczenie się wspomaga wiele aplikacji AI, z którymi spotykamy się codziennie, od rozpoznawania obrazów po filtrowanie spamu.

Spis treści

  • Co to jest uczenie się nadzorowane?
  • Uczenie się nadzorowane i nienadzorowane
  • Jak działa uczenie się pod nadzorem
  • Rodzaje uczenia się nadzorowanego
  • Zastosowania uczenia się pod nadzorem
  • Zalety uczenia się pod nadzorem
  • Wady uczenia się pod nadzorem

Co to jest uczenie się nadzorowane?

Uczenie nadzorowane to rodzaj uczenia maszynowego (ML), które szkoli modele przy użyciu danych oznaczonych poprawną odpowiedzią. Terminnadzorowanyoznacza, że ​​etykiety te zapewniają jasne wskazówki dotyczące relacji między danymi wejściowymi i wynikami. Proces ten pomaga modelowi w dokładnym przewidywaniu nowych, niewidocznych danych.

Uczenie maszynowe to podzbiór sztucznej inteligencji (AI), która wykorzystuje dane i metody statystyczne do tworzenia modeli naśladujących ludzkie rozumowanie, zamiast polegać na zakodowanych na stałe instrukcjach. Uczenie się nadzorowane polega na podejściu opartym na wytycznych do identyfikowania wzorców i relacji w oznaczonych zbiorach danych. Ekstrapoluje swoje oceny, aby przewidzieć wyniki dla nowych, niewidzianych danych. Uczy się, porównując swoje przewidywania ze znanymi etykietami i dostosowując swój model tak, aby zminimalizować błędy.

Pracuj mądrzej dzięki Grammarly
Partner w pisaniu AI dla każdego, kto ma pracę do wykonania

Uczenie się nadzorowane i nienadzorowane

W przeciwieństwie do uczenia się nadzorowanego, które wykorzystuje oznakowane dane, uczenie się bez nadzoru znajduje wzorce w danych nieoznaczonych.

Bez „nadzoru” zapewnianego przez wyraźne prawidłowe odpowiedzi w danych szkoleniowych, uczenie się bez nadzoru traktuje wszystko, co postrzega jako dane do analizy pod kątem wzorców i grup. Trzy główne typy to:

  • Klastrowanie:Ta technika grupuje punkty danych, które są najbliżej siebie. Przydaje się przy segmentacji klientów czy sortowaniu dokumentów.
  • Powiązanie: określanie, kiedy rzeczy zwykle występują wspólnie, w szczególności w celu umieszczenia w jednym miejscu przedmiotów często kupowanych razem lub zasugerowania, co będzie transmitowane dalej.
  • Redukcja wymiarowości: zmniejszanie zbiorów danych w celu ułatwienia ich przetwarzania przy jednoczesnym zachowaniu wszystkich lub większości szczegółów.

Z drugiej strony uczenie się pod nadzorem ma sens, jeśli chcesz, aby model podejmował decyzje. Główne zastosowania obejmują:

  • Decyzje tak lub nie:oznaczanie danych jako jednej lub drugiej klasy. Często używane do filtrowania, np. do wykrywania spamu lub oszustw.
  • Klasyfikacja: ustalenie, do której z kilku klas należy coś, na przykład identyfikacja obiektów na obrazie lub rozpoznawanie mowy.
  • Regresja: przewidywanie wartości ciągłych na podstawie danych historycznych, takich jak prognozowanie cen domów lub warunków pogodowych.

Inne typy uczenia się znajdują się pomiędzy tymi dwoma: uczenie się częściowo nadzorowane, uczenie się ze wzmocnieniem i uczenie się samonadzorowane.

Jak działa uczenie się pod nadzorem

Uczenie się nadzorowane obejmuje ustrukturyzowany proces wybierania i formatowania danych, uruchamiania modelu i testowania jego wydajności.

Oto krótki przegląd procesu uczenia się nadzorowanego:

1 Etykietowanie:Oznaczone dane są niezbędne do poznania prawidłowego powiązania między danymi wejściowymi i wynikami. Na przykład, jeśli tworzysz model do analizy nastrojów w recenzjach produktów, zacznij od tego, aby osoby oceniające przeczytały recenzje i oznaczyły je jako pozytywne, negatywne lub neutralne.

2 Gromadzenie i czyszczenie danych:Upewnij się, że dane szkoleniowe są kompleksowe i reprezentatywne. Wyczyść dane, usuwając duplikaty, poprawiając błędy i przetwarzając brakujące wartości, aby przygotować je do analizy.

3 Wybór i ekstrakcja cech:Zidentyfikuj i wybierz najbardziej wpływowe atrybuty, dzięki czemu model będzie bardziej wydajny i skuteczny. Ten krok może również obejmować utworzenie nowych funkcji na podstawie istniejących, aby lepiej uchwycić podstawowe wzorce w danych, takie jak konwersja daty urodzenia na wiek.

4 Podział danych:Podziel zbiór danych na zbiory uczące i testowe. Użyj zestawu szkoleniowego do wytrenowania modelu, a zestawu testowego, aby sprawdzić, jak dobrze generalizuje on nowe, niewidoczne dane.

5 Wybór algorytmu:Wybierz algorytm uczenia się nadzorowanego w oparciu o charakterystykę zadania i danych. Możesz także uruchomić i porównać wiele algorytmów, aby znaleźć najlepszy.

6 Uczenie modelu:trenuj model, korzystając z danych, aby poprawić jego dokładność predykcyjną. Podczas tej fazy model uczy się zależności między danymi wejściowymi i wynikami, iteracyjnie minimalizując błąd między swoimi przewidywaniami a rzeczywistymi etykietami podanymi w danych uczących. W zależności od złożoności algorytmu i rozmiaru zbioru danych może to zająć sekundy lub dni.

7 Ocena modelu:Ocena wydajności modelu gwarantuje, że generuje on wiarygodne i dokładne prognozy na podstawie nowych danych. Jest to kluczowa różnica w stosunku do uczenia się bez nadzoru: znając oczekiwany wynik, możesz ocenić, jak dobrze spisał się model.

8 Strojenie modelu:Dostosuj i ponownie naucz parametry modelu, aby dostroić wydajność. Ten iteracyjny proces, zwany dostrajaniem hiperparametrów, ma na celu optymalizację modelu i zapobieganie problemom takim jak nadmierne dopasowanie. Proces ten należy powtórzyć po każdej regulacji.

9 Wdrażanie i monitorowanie:Wdróż wyszkolony model, aby prognozować nowe dane w warunkach rzeczywistych. Na przykład wdróż wyszkolony model wykrywania spamu, aby filtrować wiadomości e-mail, monitorować jego wydajność i dostosowywać w razie potrzeby.

10 Dostrajanie z biegiem czasu:w miarę gromadzenia większej ilości danych ze świata rzeczywistego kontynuuj uczenie modelu, aby stał się dokładniejszy i trafniejszy.

Rodzaje uczenia się nadzorowanego

Istnieją dwa główne typy uczenia się nadzorowanego: klasyfikacja i regresja. Każdy typ ma swoje własne podtypy i specyficzne przypadki użycia. Przyjrzyjmy się im bardziej szczegółowo:

Klasyfikacja

Klasyfikacja polega na przewidywaniu, do której kategorii lub klasy należą dane wejściowe. Do rozwiązywania różnych problemów klasyfikacyjnych stosuje się różne podtypy i koncepcje. Oto kilka popularnych typów:

  • Klasyfikacja binarna:model przewiduje jedną z dwóch możliwych klas. Jest to przydatne, gdy wynik jest binarny, co oznacza, że ​​istnieją tylko dwa możliwe stany lub kategorie. Podejście to stosuje się przy podejmowaniu decyzji, w których potrzebne jest wyraźne rozróżnienie.
  • Klasyfikacja wieloklasowa: Podobnie jak binarna, ale z więcej niż dwiema opcjami, dla których jest tylko jedna prawidłowa odpowiedź. To podejście jest stosowane, gdy istnieje wiele kategorii, do których mogą należeć dane wejściowe.
  • Klasyfikacja z wieloma etykietami: każde wejście może należeć jednocześnie do wielu klas. W przeciwieństwie do klasyfikacji binarnej lub wieloklasowej, gdzie każde wejście jest przypisane do jednej klasy, klasyfikacja wieloetykietowa pozwala na przypisanie wielu etykiet do jednego wejścia. Jest to bardziej złożona analiza, ponieważ zamiast wybierać klasę, do której najprawdopodobniej należą dane wejściowe, należy określić próg prawdopodobieństwa włączenia.
  • Regresja logistyczna: zastosowanie regresji (patrz poniżej) do klasyfikacji binarnej. Dzięki temu podejściu można określić pewność przewidywań, a nie proste „to czy tamto”.

Istnieje kilka sposobów pomiaru jakości modelu klasyfikacji, w tym:

  • Dokładność:ile z wszystkich przewidywań było prawidłowych?
  • Precyzja:ile pozytywów jest w rzeczywistości pozytywnych?
  • Przypomnijmy:ile z faktycznych pozytywów zostało uznanych za pozytywne?
  • Wynik F1:W skali od 0% do 100%, jak dobrze model równoważy precyzję i zapamiętywanie?

Regresja

Regresja polega na przewidywaniu wartości ciągłej na podstawie cech wejściowych i wyświetlaniu liczby, którą można również nazwać prognozą. Aby uchwycić relacje między tymi cechami wejściowymi a ciągłym wynikiem, stosuje się różne typy modeli regresji. Oto kilka popularnych typów:

  • Regresja liniowa:modeluje relację między cechami wejściowymi a wynikami w postaci linii prostej. Model zakłada liniową zależność pomiędzy zmienną zależną (wyjściem) a zmiennymi niezależnymi (wejściami). Celem jest znalezienie najlepiej dopasowanej linii przechodzącej przez punkty danych, która minimalizuje różnicę między wartościami przewidywanymi i rzeczywistymi.
  • Regresja wielomianowa: Bardziej złożona niż regresja liniowa, ponieważ wykorzystuje wielomiany, takie jak kwadraty i sześciany, do uchwycenia bardziej złożonych relacji między zmiennymi wejściowymi i wyjściowymi. Model może pasować do danych nieliniowych, korzystając z terminów wyższego rzędu.
  • Regresja grzbietu i lassa: rozwiązuje problem nadmiernego dopasowania, czyli tendencji modelu do wczytywania zbyt dużej ilości danych, na których się uczono, kosztem uogólniania. Regresja grzbietowa zmniejsza wrażliwość modelu na drobne szczegóły, podczas gdy regresja lasso eliminuje z rozważań mniej ważne cechy.

Większość pomiarów jakości regresji ma związek z odległością przewidywań od wartości rzeczywistych. Pytania, na które odpowiadają, to:

  • Średni błąd bezwzględny:jak daleko odbiegają przewidywania od wartości rzeczywistych?
  • Błąd średniokwadratowy:o ile zwiększają się błędy, gdy większe błędy są bardziej znaczące?
  • Błąd średniokwadratowy: w jakim stopniu duże błędy powodują odchylenie przewidywań od wartości rzeczywistych?
  • R-kwadrat: Jak dobrze regresja pasuje do danych?

Zastosowania uczenia się pod nadzorem

Uczenie się pod nadzorem ma szeroki zakres zastosowań w różnych gałęziach przemysłu. Oto kilka typowych przykładów:

  • Wykrywanie spamu:usługi e-mail korzystają z klasyfikacji binarnej, aby zdecydować, czy wiadomość e-mail powinna trafić do Twojej skrzynki odbiorczej, czy zostać przekierowana do spamu. Stale ulepszają się, gdy ludzie oznaczają wiadomości e-mail w folderze ze spamem jako niebędące spamem i odwrotnie.
  • Rozpoznawanie obrazów:modele są szkolone na oznaczonych obrazach w celu rozpoznawania i kategoryzowania obiektów. Przykłady obejmują funkcję Face ID firmy Apple, która odblokowuje tablet lub urządzenie mobilne, optyczne rozpoznawanie znaków (OCR) umożliwiające przekształcanie drukowanych słów w tekst cyfrowy oraz wykrywanie obiektów w samochodach autonomicznych.
  • Diagnoza medyczna:nadzorowane modele mogą przewidywać choroby i sugerować potencjalne diagnozy na podstawie danych pacjenta i dokumentacji medycznej. Można na przykład przeszkolić modele w zakresie rozpoznawania guzów nowotworowych w obrazach MRI lub opracowywania planów leczenia cukrzycy.
  • Wykrywanie oszustw:Instytucje finansowe korzystają z nadzorowanego uczenia się w celu identyfikowania fałszywych transakcji poprzez analizę wzorców w oznaczonych etykietach danych transakcyjnych.
  • Analiza nastrojów:Niezależnie od tego, czy mierzy się pozytywne, czy negatywne reakcje lub emocje, takie jak szczęście czy wstręt, ręcznie oznakowane zbiory danych dostarczają modelom informacji do interpretacji danych wejściowych, takich jak posty w mediach społecznościowych, recenzje produktów lub wyniki ankiet.
  • Konserwacja predykcyjna:na podstawie historycznych danych dotyczących wydajności i czynników środowiskowych modele mogą przewidzieć, kiedy maszyny prawdopodobnie ulegną awarii, aby można je było naprawić lub wymienić, zanim to nastąpi.

Zalety uczenia się pod nadzorem

  • Dokładny i przewidywalny.Zakładając, że otrzymali dobre dane, modele uczenia się nadzorowanego są zwykle dokładniejsze niż inne metody uczenia maszynowego. Prostsze modele są zazwyczaj deterministyczne, co oznacza, że ​​dane dane wejściowe zawsze dają ten sam wynik.
  • Jasny cel. Dzięki superwizji wiesz, co Twój model stara się osiągnąć. Stanowi to wyraźny kontrast w stosunku do uczenia się bez nadzoru i samonadzoru.
  • Łatwe do oceny. Dostępnych jest kilka miar jakości umożliwiających ocenę dokładności modeli klasyfikacji i regresji.
  • Interpretowalne. Modele nadzorowane wykorzystują techniki, takie jak regresje i drzewa decyzyjne, które są stosunkowo proste do zrozumienia dla analityków danych. Interpretowalność zwiększa pewność decydentów, zwłaszcza w środowiskach o dużym wpływie i branżach regulowanych.

Wady uczenia się pod nadzorem

  • Wymaga oznaczonych danych.Twoje dane muszą mieć jasne dane wejściowe i etykiety. Jest to często wyzwanie w przypadku szkoleń klasyfikacyjnych, w których wiele tysięcy (jeśli nie miliony) osób jest zatrudnionych do ręcznego dodawania adnotacji do danych.
  • Błędy i niespójna ocena danych szkoleniowych. Etykietowaniu przez ludzi towarzyszą ludzkie błędy, takie jak błędy, literówki i odmienne opinie. Ten ostatni aspekt stanowi szczególne wyzwanie w analizie nastrojów; wysokiej jakości dane szkoleniowe dotyczące nastrojów zazwyczaj wymagają oceny danego punktu danych przez wiele osób, a wynik jest rejestrowany tylko wtedy, gdy istnieje zgoda.
  • Nadmierne dopasowanie. Często model przedstawia obliczenia, które sprawdzają się bardzo dobrze w przypadku danych uczących, ale słabo w przypadku danych, których jeszcze nie widział. Uważny trener zawsze będzie szukał przetrenowania i zastosuje techniki zmniejszające jego wpływ.
  • Ograniczone do znanych wzorców. Jeśli Twój model przewidywania cen akcji opiera się wyłącznie na danych z hossy, nie będzie on zbyt dokładny, gdy nadejdzie bessa. W związku z tym bądź wrażliwy na ograniczenia danych, które pokazałeś swojemu modelowi i zastanów się, czy znaleźć dane szkoleniowe, które narazą go na więcej okoliczności, czy po prostu zignorować jego dane wyjściowe.