Überwachtes Lernen: Was es ist und wie es funktioniert

Von der Bilderkennung bis zur Spam-Filterung – entdecken Sie in diesem informativen Leitfaden, wie überwachtes Lernen viele der KI-Anwendungen unterstützt, denen wir täglich begegnen.

Inhaltsverzeichnis

• Was ist überwachtes Lernen?
• Überwachtes vs. unbeaufsichtigtes Lernen
• Wie überwachtes Lernen funktioniert
• Arten des überwachten Lernens
• Anwendungen des überwachten Lernens
• Vorteile des überwachten Lernens
• Nachteile des überwachten Lernens

Was ist überwachtes Lernen?

Überwachtes Lernen ist eine Art maschinelles Lernen (ML), das Modelle anhand von Daten trainiert, die mit der richtigen Antwort gekennzeichnet sind. Der Begriff „überwacht“bedeutet, dass diese Etiketten klare Hinweise auf die Beziehung zwischen Inputs und Outputs geben. Dieser Prozess hilft dem Modell, genaue Vorhersagen zu neuen, unsichtbaren Daten zu treffen.

Maschinelles Lernen ist eine Teilmenge der künstlichen Intelligenz (KI), die Daten und statistische Methoden nutzt, um Modelle zu erstellen, die menschliches Denken nachahmen, anstatt sich auf hartcodierte Anweisungen zu verlassen. Beim überwachten Lernen wird ein geführter, datengesteuerter Ansatz zur Identifizierung von Mustern und Beziehungen in gekennzeichneten Datensätzen verwendet. Es extrapoliert aus seinen Auswertungen, um Ergebnisse für neue, unsichtbare Daten vorherzusagen. Es lernt, indem es seine Vorhersagen mit den bekannten Etiketten vergleicht und sein Modell anpasst, um Fehler zu minimieren.

Überwachtes vs. unbeaufsichtigtes Lernen

Im Gegensatz zum überwachten Lernen, das gekennzeichnete Daten verwendet, findet unüberwachtes Lernen Muster in unbeschrifteten Daten.

Ohne die „Überwachung“, die durch explizit richtige Antworten in den Trainingsdaten bereitgestellt wird, behandelt unüberwachtes Lernen alles, was es sieht, als Daten, die auf Muster und Gruppierungen analysiert werden müssen. Die drei Haupttypen sind:

• Clustering: Diese Technik gruppiert Datenpunkte, die am nächsten beieinander liegen.Es ist nützlich für die Kundensegmentierung oder die Dokumentensortierung.
• Assoziation: Feststellen, wann Dinge in der Regel gleichzeitig auftreten, insbesondere um häufig zusammen gekaufte Artikel gemeinsam zu lokalisieren oder Vorschläge zu machen, was als Nächstes gestreamt werden soll.
• Dimensionsreduktion: Verkleinerung von Datensätzen, um die Verarbeitung zu erleichtern und gleichzeitig alle oder die meisten Details beizubehalten.

Andererseits ist überwachtes Lernen dann sinnvoll, wenn das Modell Entscheidungen treffen soll. Zu den wichtigsten Anwendungen gehören:

• Ja- oder Nein-Entscheidungen: Markieren von Daten entweder als eine Klasse oder als eine andere.Wird häufig zur Filterung wie Spam- oder Betrugserkennung verwendet.
• Klassifizierung: Herausfinden, zu welcher von mehreren Klassen etwas gehört, z. B. das Identifizieren von Objekten in einem Bild oder das Erkennen von Sprache.
• Regression: Vorhersage kontinuierlicher Werte auf der Grundlage historischer Daten, beispielsweise der Vorhersage von Immobilienpreisen oder Wetterbedingungen.

Andere Arten von ML liegen zwischen diesen beiden: halbüberwachtes, verstärkendes und selbstüberwachtes Lernen.

Wie überwachtes Lernen funktioniert

Überwachtes Lernen umfasst einen strukturierten Prozess der Auswahl und Formatierung von Daten, der Ausführung des Modells und der Prüfung seiner Leistung.

Hier ein kurzer Überblick über den überwachten Lernprozess:

1 Beschriftung: Beschriftete Daten sind für das Erlernen der korrekten Zuordnung zwischen Eingaben und Ausgaben unerlässlich.Wenn Sie beispielsweise ein Modell zur Analyse der Stimmung in Produktbewertungen erstellen, beginnen Sie damit, dass menschliche Bewerter die Bewertungen lesen und sie als positiv, negativ oder neutral markieren.

2 Datenerfassung und -bereinigung: Stellen Sie sicher, dass Ihre Trainingsdaten umfassend und repräsentativ sind.Bereinigen Sie die Daten, indem Sie Duplikate entfernen, Fehler korrigieren und fehlende Werte bearbeiten, um sie für die Analyse vorzubereiten.

3 Merkmalsauswahl und -extraktion: Identifizieren und wählen Sie die einflussreichsten Attribute aus, um das Modell effizienter und effektiver zu machen.Dieser Schritt kann auch die Erstellung neuer Funktionen aus vorhandenen Funktionen umfassen, um die zugrunde liegenden Muster in den Daten besser zu erfassen, beispielsweise die Umwandlung des Geburtsdatums in das Alter.

4 Datenaufteilung: Teilen Sie den Datensatz in Trainings- und Testsätze auf.Verwenden Sie den Trainingssatz, um das Modell zu trainieren, und den Testsatz, um zu sehen, wie gut es sich auf neue, unsichtbare Daten verallgemeinern lässt.

5 Algorithmusauswahl: Wählen Sie einen überwachten Lernalgorithmus basierend auf den Aufgaben- und Datenmerkmalen.Sie können auch mehrere Algorithmen ausführen und vergleichen, um den besten zu finden.

6 Modelltraining: Trainieren Sie das Modell mithilfe der Daten, um seine Vorhersagegenauigkeit zu verbessern.Während dieser Phase lernt das Modell die Beziehung zwischen Eingaben und Ausgaben, indem es iterativ den Fehler zwischen seinen Vorhersagen und den tatsächlichen Bezeichnungen in den Trainingsdaten minimiert. Abhängig von der Komplexität des Algorithmus und der Größe des Datensatzes kann dies Sekunden bis Tage dauern.

7 Modellbewertung: Durch die Bewertung der Modellleistung wird sichergestellt, dass es zuverlässige und genaue Vorhersagen für neue Daten liefert.Dies ist ein wesentlicher Unterschied zum unbeaufsichtigten Lernen: Da Sie die erwartete Ausgabe kennen, können Sie bewerten, wie gut das Modell funktioniert.

8 Modelloptimierung: Passen Sie die Parameter des Modells an und trainieren Sie sie neu, um die Leistung zu optimieren.Dieser iterative Prozess, Hyperparameter-Tuning genannt, zielt darauf ab, das Modell zu optimieren und Probleme wie Überanpassung zu verhindern. Dieser Vorgang sollte nach jeder Anpassung wiederholt werden.

9 Bereitstellung und Überwachung: Stellen Sie das trainierte Modell bereit, um Vorhersagen zu neuen Daten in einer realen Umgebung zu treffen.Stellen Sie beispielsweise das trainierte Spam-Erkennungsmodell bereit, um E-Mails zu filtern, seine Leistung zu überwachen und bei Bedarf anzupassen.

10 Feinabstimmung im Laufe der Zeit: Wenn Sie mehr reale Daten sammeln, trainieren Sie das Modell weiter, um genauer und relevanter zu werden.

Arten des überwachten Lernens

Es gibt zwei Haupttypen des überwachten Lernens: Klassifizierung und Regression. Jeder Typ hat seine eigenen Untertypen und spezifischen Anwendungsfälle. Lassen Sie uns sie genauer untersuchen:

Einstufung

Bei der Klassifizierung geht es darum, vorherzusagen, zu welcher Kategorie oder Klasse eine Eingabe gehört. Zur Behandlung unterschiedlicher Klassifizierungsprobleme werden verschiedene Untertypen und Konzepte verwendet. Hier sind einige beliebte Typen:

• Binäre Klassifizierung: Das Modell sagt eine von zwei möglichen Klassen voraus.Dies ist nützlich, wenn das Ergebnis binär ist, das heißt, es gibt nur zwei mögliche Zustände oder Kategorien. Dieser Ansatz wird bei Entscheidungen verwendet, bei denen eine klare Unterscheidung erforderlich ist.
• Mehrklassenklassifizierung: Wie binär, aber mit mehr als zwei Auswahlmöglichkeiten, für die es nur eine richtige Antwort gibt. Dieser Ansatz wird verwendet, wenn es mehrere Kategorien gibt, zu denen eine Eingabe gehören kann.
• Multi-Label-Klassifizierung: Jede Eingabe kann mehreren Klassen gleichzeitig angehören. Im Gegensatz zur binären Klassifizierung oder Klassifizierung mit mehreren Klassen, bei der jede Eingabe einer einzelnen Klasse zugewiesen wird, ermöglicht die Klassifizierung mit mehreren Etiketten die Zuweisung mehrerer Etiketten zu einer einzelnen Eingabe. Dies ist eine komplexere Analyse, da Sie nicht nur die Klasse auswählen müssen, zu der die Eingabe am wahrscheinlichsten gehört, sondern auch einen Wahrscheinlichkeitsschwellenwert für die Aufnahme festlegen müssen.
• Logistische Regression: Eine Anwendung der Regression (siehe unten) auf die binäre Klassifizierung. Dieser Ansatz kann Ihnen die Zuverlässigkeit der Vorhersage verraten, anstatt ein einfaches Dies oder Das.

Es gibt verschiedene Möglichkeiten, die Qualität eines Klassifizierungsmodells zu messen, darunter:

• Genauigkeit: Wie viele der Gesamtvorhersagen waren richtig?
• Präzision: Wie viele der positiven Aspekte sind tatsächlich positiv?
• Rückruf: Wie viele der tatsächlich positiven Ergebnisse wurden als positiv markiert?
• F1-Score: Wie gut gleicht das Modell auf einer Skala von 0 % bis 100 % Präzision und Erinnerung aus?

Rückschritt

Bei der Regression wird ein kontinuierlicher Wert basierend auf Eingabemerkmalen vorhergesagt und eine Zahl ausgegeben, die auch als Vorhersage bezeichnet werden kann. Zur Erfassung der Beziehungen zwischen diesen Eingabemerkmalen und der kontinuierlichen Ausgabe werden verschiedene Arten von Regressionsmodellen verwendet. Hier sind einige beliebte Typen:

• Lineare Regression: Modelliert die Beziehung zwischen den Eingabemerkmalen und der Ausgabe als gerade Linie.Das Modell geht von einer linearen Beziehung zwischen der abhängigen Variablen (dem Output) und den unabhängigen Variablen (den Inputs) aus. Das Ziel besteht darin, die am besten passende Linie durch die Datenpunkte zu finden, die den Unterschied zwischen den vorhergesagten und den tatsächlichen Werten minimiert.
• Polynomielle Regression: Komplexer als die lineare Regression, da sie Polynome wie Quadrate und Kubik verwendet, um komplexere Beziehungen zwischen den Eingabe- und Ausgabevariablen zu erfassen. Mithilfe dieser Terme höherer Ordnung kann das Modell nichtlineare Daten anpassen.
• Ridge- und Lasso-Regression: Behebt das Problem der Überanpassung, d. h. der Tendenz eines Modells, zu viel in die Daten hineinzulesen, auf denen es trainiert wird, und zwar auf Kosten der Verallgemeinerung. Die Ridge-Regression verringert die Empfindlichkeit des Modells gegenüber kleinen Details, während die Lasso-Regression weniger wichtige Merkmale aus der Betrachtung ausschließt.

Bei den meisten Messungen der Regressionsqualität geht es darum, wie weit die Vorhersagen von den tatsächlichen Werten abweichen. Die Fragen, die sie beantworten, sind:

• Mittlerer absoluter Fehler: Wie weit weichen die Vorhersagen im Durchschnitt von den tatsächlichen Werten ab?
• Mittlerer quadratischer Fehler: Wie stark wachsen die Fehler, wenn größere Fehler signifikanter sind?
• Mittlerer quadratischer Fehler : Wie sehr führen große Fehler dazu, dass Vorhersagen von den tatsächlichen Werten abweichen?
• R-Quadrat: Wie gut passt die Regression zu den Daten?

Anwendungen des überwachten Lernens

Überwachtes Lernen hat ein breites Anwendungsspektrum in verschiedenen Branchen. Hier sind einige gängige Beispiele:

• Spam-Erkennung: E-Mail-Dienste verwenden eine binäre Klassifizierung, um zu entscheiden, ob eine E-Mail in Ihren Posteingang gelangen oder in den Spam-Ordner weitergeleitet werden soll.Sie verbessern sich kontinuierlich als Reaktion darauf, dass Personen E-Mails im Spam-Ordner als Nicht-Spam markieren und umgekehrt.
• Bilderkennung: Modelle werden anhand beschrifteter Bilder trainiert, um Objekte zu erkennen und zu kategorisieren.Beispiele hierfür sind die Face ID-Funktion von Apple, die Ihr Tablet oder Mobilgerät entsperrt, die optische Zeichenerkennung (OCR) zur Umwandlung gedruckter Wörter in digitalen Text und die Objekterkennung für selbstfahrende Autos.
• Medizinische Diagnose: Überwachte Modelle können anhand von Patientendaten und Krankenakten Krankheiten vorhersagen und mögliche Diagnosen vorschlagen.Beispielsweise können Modelle darauf trainiert werden, Krebstumoren in MRTs zu erkennen oder Diabetes-Managementpläne zu entwickeln.
• Betrugserkennung: Finanzinstitute nutzen überwachtes Lernen, um betrügerische Transaktionen zu identifizieren, indem sie Muster in gekennzeichneten Transaktionsdaten analysieren.
• Stimmungsanalyse: Unabhängig davon, ob positive oder negative Reaktionen oder Emotionen wie Glück oder Ekel gemessen werden, dienen manuell getaggte Datensätze den Modellen zur Interpretation von Eingaben wie Social-Media-Beiträgen, Produktbewertungen oder Umfrageergebnissen.
• Vorausschauende Wartung: Basierend auf historischen Leistungsdaten und Umgebungsfaktoren können Modelle vorhersagen, wann Maschinen wahrscheinlich ausfallen, sodass sie repariert oder ersetzt werden können, bevor es dazu kommt.

Vorteile des überwachten Lernens

• Präzise und vorhersehbar.Vorausgesetzt, dass ihnen gute Daten zur Verfügung stehen, sind überwachte Lernmodelle tendenziell genauer als andere Methoden des maschinellen Lernens. Einfachere Modelle sind typischerweise deterministisch, was bedeutet, dass eine bestimmte Eingabe immer die gleiche Ausgabe erzeugt.
• Klares Ziel. Dank der Supervision wissen Sie, was Ihr Modell erreichen möchte. Dies ist ein klarer Kontrast zum unbeaufsichtigten und selbstüberwachten Lernen.
• Einfach auszuwerten. Zur Beurteilung der Genauigkeit von Klassifizierungs- und Regressionsmodellen stehen Ihnen mehrere Qualitätsmaßstäbe zur Verfügung.
• Interpretierbar. Überwachte Modelle nutzen Techniken wie Regressionen und Entscheidungsbäume, die für Datenwissenschaftler relativ einfach zu verstehen sind. Die Interpretierbarkeit stärkt das Vertrauen der Entscheidungsträger, insbesondere in Umgebungen mit hoher Auswirkung und in regulierten Branchen.

Nachteile des überwachten Lernens

• Erfordert gekennzeichnete Daten.Ihre Daten müssen klare Eingaben und Beschriftungen haben. Dies stellt für das Klassifizierungstraining oft eine Herausforderung dar, da viele Tausende (wenn nicht Millionen) Menschen damit beschäftigt sind, Daten manuell mit Anmerkungen zu versehen.
• Fehler und inkonsistente Beurteilung der Trainingsdaten. Mit der menschlichen Etikettierung gehen menschliche Irrtümer wie Fehler, Tippfehler und unterschiedliche Meinungen einher. Letzteres ist ein besonders herausfordernder Aspekt der Stimmungsanalyse; Hochwertige Sentiment-Trainingsdaten erfordern in der Regel, dass mehrere Personen einen bestimmten Datenpunkt auswerten, wobei ein Ergebnis nur dann aufgezeichnet wird, wenn eine Übereinstimmung besteht.
• Überanpassung. Oft liefert ein Modell Berechnungen, die für die Trainingsdaten sehr gut funktionieren, für Daten, die es noch nicht gesehen hat, jedoch schlecht. Ein sorgfältiger Trainer wird immer auf eine Überanpassung achten und Techniken anwenden, um die Auswirkungen zu reduzieren.
• Beschränkt auf bekannte Muster. Wenn Ihr Aktienkursvorhersagemodell nur auf Daten eines Bullenmarktes basiert, wird es nicht mehr sehr genau sein, sobald ein Bärenmarkt eintritt. Achten Sie daher auf die Einschränkungen der Daten, die Sie Ihrem Modell angezeigt haben, und überlegen Sie, ob Sie Trainingsdaten finden, die es mehr Umständen aussetzen, oder ob Sie die Ausgabe einfach ignorieren.