Generative KI-Modelle, erklärt

Wenn Sie an generative KI-Modelle denken, denken Sie wahrscheinlich an die großen Sprachmodelle (LLMs), die in den letzten Jahren so viel Aufsehen erregt haben. Die generative KI selbst reicht jedoch viele Jahrzehnte zurück und LLMs sind nur die neueste Entwicklung. Und neben LLMs werden viele verschiedene Arten generativer KI-Modelle für verschiedene generative KI-Tools und Anwendungsfälle verwendet, beispielsweise Diffusionsmodelle, die zur Bilderzeugung verwendet werden.

In diesem Artikel erklären wir, was generative KI-Modelle sind, wie sie entwickelt werden, und bieten einen tieferen Einblick in einige der heute gängigsten generativen KI-Modelle – genug, um Ihnen ein konzeptionelles Verständnis dieser Modelle zu vermitteln, das Sie beeindrucken wird Freunde und Kollegen, ohne dass Sie einen Hochschulkurs in maschinellem Lernen (ML) belegen müssen.

Was ist ein generatives KI-Modell?

Generative KI-Modelle sind eine Teilmenge künstlicher Intelligenzsysteme, die sich auf die Erstellung neuer, origineller Inhalte spezialisiert haben, die die Eigenschaften ihrer Trainingsdaten widerspiegeln. Durch das Lernen aus Mustern und Beziehungen in Daten können diese Modelle Ausgaben wie Texte, Bilder, Töne oder Videos generieren, die dem Stil, Ton und den Nuancen ihres Quellmaterials ähneln. Diese Fähigkeit stellt die generative KI in den Mittelpunkt der Innovation und ermöglicht kreative und dynamische Anwendungen in verschiedenen Bereichen, indem Eingabedaten interpretiert und in neuartige Kreationen umgewandelt werden.

Wie generative KI-Modelle funktionieren

Generative KI-Modelle funktionieren, indem sie eine hochentwickelte Form eines ML-Algorithmus nutzen, der als neuronales Netzwerk bekannt ist. Ein neuronales Netzwerk besteht aus mehreren Schichten miteinander verbundener Knoten, die jeweils durch einen Ausschnitt Computercode dargestellt werden. Diese Knoten führen kleinere, individuelle Aufgaben aus, tragen aber gemeinsam dazu bei, komplexe Entscheidungen zu treffen, und spiegeln die Neuronenfunktionalität im menschlichen Gehirn wider.

Betrachten Sie zur Veranschaulichung ein neuronales Netzwerk, dessen Aufgabe es ist, zwischen Bildern von Kuchen und Torten zu unterscheiden. Das Netzwerk analysiert das Bild auf granularer Ebene und zerlegt es in Pixel. Auf einer sehr einfachen Ebene wird es im Netzwerk verschiedene Knoten geben, die sich mit dem Verständnis verschiedener Pixel und Pixelgruppen befassen. Vielleicht werden einige darauf achten, ob das Dessert Schichten enthält, während andere feststellen werden, ob Zuckerguss oder eine Kruste vorhanden ist. Die Knoten speichern jeweils Informationen darüber, wie Kuchen im Vergleich zu Kuchen aussieht, und jedes Mal, wenn ein neues Bild ins Spiel kommt, wird es durch jeden einzelnen Knoten verarbeitet, um eine endgültige Vorhersage auszugeben.

Im Kontext der generativen KI erstreckt sich dieses Prinzip über die bloße Erkennung hinaus auf die Erstellung neuer, origineller Inhalte. Anstatt lediglich Merkmale zu identifizieren, nutzen generative Modelle neuronale Netze, um die zugrunde liegenden Muster und Strukturen der Daten zu verstehen, auf denen sie trainiert werden. Dieser Prozess umfasst komplexe Interaktionen und Anpassungen innerhalb des neuronalen Netzwerks, die von Algorithmen gesteuert werden, die darauf ausgelegt sind, die Kreativität und Genauigkeit der generierten Ausgabe zu optimieren.

Wie werden generative KI-Modelle entwickelt?

Die Entwicklung generativer KI-Modelle umfasst eine Reihe komplexer und miteinander verbundener Schritte, die typischerweise von Teams aus Forschern und Ingenieuren durchgeführt werden. Diese Modelle, wie etwa GPT (Generative Pre-Trained Transformer) von OpenAI und andere ähnliche Architekturen, sind darauf ausgelegt, neue Inhalte zu generieren, die die Verteilung der Daten nachahmen, auf denen sie trainiert wurden.

Hier ist eine schrittweise Aufschlüsselung dieses Prozesses:

1 Datenerfassung

Datenwissenschaftler und -ingenieure legen zunächst die Ziele und Anforderungen ihres Projekts fest, die ihnen dabei helfen, einen umfassenden und geeigneten Datensatz zu sammeln. Sie nutzen häufig öffentliche Datensätze, die große Mengen an Texten oder Bildern für ihre Bedürfnisse bereitstellen. Beispielsweise umfasste das Training von ChatGPT (GPT-3.5) die Verarbeitung von 570 GB Daten, was 300 Milliarden Wörtern aus öffentlichen Internetquellen entspricht, darunter fast alle Inhalte von Wikipedia.

2 Modellauswahl

Die Wahl der richtigen Modellarchitektur ist ein entscheidender Schritt bei der Entwicklung generativer KI-Systeme. Die Entscheidung richtet sich nach der Art der anstehenden Aufgabe, der Art der verfügbaren Daten, der gewünschten Qualität der Ausgabe und den rechnerischen Einschränkungen. Spezifische Architekturen, einschließlich VAEs, GANs sowie transformatorbasierte und Diffusionsmodelle, werden später in diesem Artikel ausführlicher besprochen. In dieser Phase ist es wichtig zu verstehen, dass neue Modelle häufig auf einem bereits vorhandenen Architektur-Framework basieren. Dieser Ansatz nutzt bewährte Strukturen als Grundlage und ermöglicht Verfeinerungen und Innovationen, die auf die besonderen Anforderungen des jeweiligen Projekts zugeschnitten sind.

3 Modellschulung

Das ausgewählte Modell wird mithilfe des gesammelten Datensatzes aus dem ersten Schritt trainiert. Das Training generativer KI-Modelle erfordert oft viel Rechenleistung und verwendet spezielle Hardware wie GPUs (Grafikverarbeitungseinheiten) und TPUs (Tensorverarbeitungseinheiten). Während der Trainingsansatz je nach Modellarchitektur variiert, durchlaufen alle Modelle einen Prozess namens Hyperparameter-Tuning. Hier passen Datenwissenschaftler bestimmte Leistungseinstellungen an, um die besten Ergebnisse zu erzielen.

4 Bewertung und Feinabstimmung

Abschließend wird die Modellleistung in der realen Welt bewertet oder getestet. Die Bewertung generativer KI-Modelle unterscheidet sich von der Bewertung herkömmlicher ML-Modelle, da generative KI eine völlig neue Ausgabe erzeugt und die Qualität dieser Ausgabe tendenziell subjektiv ist. Die Metriken unterscheiden sich je nachdem, was das Modell erstellt. Zu den Bewertungstechniken für generative KI gehört in der Regel die Verwendung menschlicher Bewerter – und möglicherweise die Strategie, dass sich generative KI-Modelle gegenseitig bewerten. Erkenntnisse aus der Evaluierungsphase fließen in der Regel in die Feinabstimmung des Modells oder sogar in die Umschulung ein. Nachdem die Leistung des Modells validiert wurde, ist es für die Produktion bereit.

Arten generativer KI-Modelle

Aufbauend auf unserem Grundwissen über generative KI-Modelle und die neuronalen Netze, die sie antreiben, werden wir uns nun mit bestimmten Arten von Modellarchitekturen befassen, die seit Anfang der 2010er Jahre entstanden sind. Wir werden die individuellen Stärken und Schwächen jedes Modells sowie seine praktischen Anwendungen untersuchen.

Hier ist ein kurzer Überblick über die Modelle, die wir besprechen werden:

• Variationale Autoencoder (VAEs)sind in der Lage, komplexe Datenverteilungen zu lernen und werden häufig für Aufgaben wie die Bildgenerierung und -bearbeitung verwendet.
• Generative Adversarial Networks (GANs)sind für ihre Fähigkeit bekannt, äußerst realistische Bilder zu erstellen, und erfreuen sich in einer Vielzahl kreativer Anwendungen großer Beliebtheit.
• Diffusionsmodellesind eine neuere Klasse von Modellen, die durch einen Prozess der schrittweisen Hinzufügung und anschließenden Entfernung von Rauschen qualitativ hochwertige Proben erzeugen.
• Sprachmodellezeichnen sich durch das Verstehen und Generieren menschlicher Sprache aus und sind daher für Anwendungen wie Chatbots und Textvervollständigung nützlich.
• Transformer-basierte Modellewurden ursprünglich für NLP-Aufgaben (Natural Language Processing) entwickelt, wurden jedoch aufgrund ihrer leistungsstarken Fähigkeit zur Verarbeitung sequenzieller Daten für die Verwendung in generativen Modellen angepasst.

Lassen Sie uns tiefer in jede dieser Architekturen eintauchen, um zu verstehen, wie sie funktionieren und wo sie am besten eingesetzt werden können.

Variationale Autoencoder (VAEs)

Variationale Autoencoder wurden 2013 von Max Welling und Diederik P. Kingma erfunden. Sie basieren auf der Tatsache, dass ein neuronales Netzwerk die übergeordneten Konzepte kodieren kann, die das Modell während des Trainingsschritts lernt. Dies wird manchmal als „Komprimierung“ oder „Projektion“ der Rohdaten bezeichnet.

Wenn sich ein Modell beispielsweise das Bild eines Kuchens ansieht, könnte es daraus eine Kodierung machen, die alle Merkmale des Bildes enthält – Streusel, Zuckergussfarbe, schwammige Schichten usw. Diese Kodierung sieht aus wie eine Reihe von Zahlen, die für das Bild einen Sinn ergeben das Modell, aber nicht für den Menschen. Es kann von einem weiteren neuronalen Netzwerk dekodiert werden, um zu versuchen, das Originalbild wiederherzustellen – es wird jedoch einige Lücken aufweisen, da es sich bei der Kodierung um eine Komprimierung handelt. Diese Art von Modell, bei dem die Encoder- und Decoderteile zusammenarbeiten, wird als Autoencoder bezeichnet.

Variationale Autoencoder erweitern die Autoencoder-Idee, um neue Ausgaben zu generieren. Bei der Generierung seiner Kodierungen verwendet ein VAE Wahrscheinlichkeiten anstelle diskreter Zahlen. Zählt Schlagsahne schließlich als Zuckerguss? Manchmal ja; manchmal nein.

Es stellt sich heraus, dass Sie einige ziemlich interessante Ergebnisse erzielen können, wenn Sie ein neuronales Netzwerk trainieren, um diese probabilistischen Kodierungen zu erstellen, und ein anderes neuronales Netzwerk trainieren, um sie zu dekodieren. Der Decoder kann Punkte im „Raum“ der Variationscodierung abtasten und völlig neue Ausgaben erstellen, die dennoch realistisch erscheinen, da sie die probabilistischen Beziehungen der Trainingsdaten beibehalten.

Vor- und Nachteile

Variationale Autoencoder nutzen unüberwachtes Lernen, was bedeutet, dass das Modell selbstständig aus Rohdaten lernt, ohne dass Menschen verschiedene Merkmale oder Ergebnisse kennzeichnen müssen. Besonders erfolgreich sind solche Modelle bei der Erstellung von Inhalten, die leicht vom Original abweichen. Aufgrund der Art und Weise, wie sie mit Kodierungen arbeiten, können ihnen auch spezifische Anweisungen basierend auf Merkmalen der Trainingsdaten gegeben werden: „Zeigen Sie mir ein Dessert, das den perfekten Mittelpunkt zwischen Kuchen und Torte darstellt.“ Allerdings optimieren VAEs auf wahrscheinliche Ergebnisse, sodass es unwahrscheinlich ist, dass sie bei der Erstellung sehr origineller oder bahnbrechender Inhalte besonders hervorstechen.

Eine häufige Beschwerde über VAE ist, dass sie verrauschte (d. h. verschwommene) Bilder erzeugen können, da die Kodierung und Dekodierung eine Komprimierung erfordert, die zu Informationsverlusten führt.

Anwendungsfälle

Variationale Autoencoder funktionieren mit allen Arten von Daten, werden jedoch hauptsächlich zum Generieren von Bildern, Audio und Text verwendet. Eine interessante Anwendung ist die Anomalieerkennung: In einem Datensatz können VAE die Datenpunkte finden, die am stärksten von der Norm abweichen, da diese Punkte den höchsten Rekonstruktionsfehler aufweisen – was bedeutet, dass sie am weitesten von den Wahrscheinlichkeiten entfernt sind, die die VAE codiert hat.

Generative gegnerische Netzwerke (GANs)

Generative kontradiktorische Netze wurden 2014 von Ian Goodfellow entwickelt. Während neuronale Netze zuvor Bilder erzeugen konnten, waren die Ergebnisse tendenziell verschwommen und nicht überzeugend. Die Kernfrage (und Erkenntnis) hinter GANs lautet: Was passiert, wenn zwei neuronale Netze gegeneinander antreten? Einem, dem sogenannten Generator, wird beigebracht, neue Inhalte zu generieren, während einem anderen, dem sogenannten Diskriminator, beigebracht wird, den Unterschied zwischen echten und gefälschten Inhalten zu erkennen.

Der Generator erstellt Kandidatenbilder und zeigt sie dem Diskriminator. Basierend auf dem Feedback aktualisiert der Generator seine Vorhersagen entsprechend und wird so immer besser darin, den Diskriminator zu „täuschen“. Sobald es den Diskriminator in 50 % der Fälle täuschen kann (so gut wie ein Münzwurf zwischen echt und falsch), stoppt die Feedback-Trainingsschleife. Der Generatorteil des GAN ist dann zur Auswertung und Produktion bereit.

Seit 2014 wurden Hunderte von GAN-Varianten für verschiedene Anwendungsfälle entwickelt, um die inhärenten Vor- und Nachteile von GANs auszugleichen.

Vor- und Nachteile

Generative gegnerische Netzwerke lösten zusammen mit VAEs zunächst viel Aufsehen über das Potenzial generativer KI aus. Sie nutzen unüberwachtes Lernen, sodass das Modell von selbst besser wird, ohne dass Forscher ihm sagen müssen, ob seine Ergebnisse gut oder schlecht sind. Auch generative gegnerische Netzwerke lernen sehr schnell; Im Vergleich zu anderen existierenden Lösungen bei ihrer Erstveröffentlichung konnten sie mit viel weniger Trainingsdaten gute Ergebnisse erzielen – Hunderte von Bildern im Vergleich zu Tausenden.

Allerdings haben GANs im Allgemeinen Schwierigkeiten, Inhalte zu erstellen, die nicht ihren Trainingsdaten ähneln – sie sind Nachahmer, keine Ersteller. Und manchmal können sie ihre Trainingsdaten „überpassen“, etwa wenn GANs Bilder von Katzenfotos mit Buchstaben erstellt haben, weil ihnen viele Katzenmemes gezeigt wurden.

Das Training eines GAN ist eine Herausforderung. Während des Trainings müssen zwei Netzwerke jongliert werden. Probleme können auch auftreten, wenn der Diskriminator zu gut ist, was dazu führt, dass Trainingszyklen nie enden – oder wenn der Diskriminator nicht gut genug ist, was zu schlechten Ergebnissen führt. Sie können auch unter dem sogenannten Moduskollaps leiden, bei dem es ihnen nicht gelingt, vielfältige Ausgaben zu erzeugen, weil der Generator einige Möglichkeiten lernt, den Diskriminator auszutricksen, und sich auf diese Strategien unter Ausschluss anderer konzentriert.

Anwendungsfälle

Generative Adversarial Networks dienen vor allem der Generierung von Inhalten, die dem Original sehr ähnlich sind. Sie können beispielsweise überzeugende menschliche Gesichter oder realistische Fotos von Innenräumen oder Landschaften für die Verwendung in Stock-Fotografie oder Videospielen erstellen. Sie können auch Bilder erstellen, die auf irgendeine Weise verändert wurden, z. B. indem sie ein Bild von Farbe in Schwarzweiß ändern oder ein Gesicht in einem Bild altern lassen. Allerdings erzeugen nicht alle GANs Bilder. Beispielsweise wurden einige GANs verwendet, um Text-zu-Sprache-Ausgaben zu erzeugen.

Diffusionsmodelle

Auch Diffusionsmodelle kamen Mitte der 2010er Jahre auf den Markt und brachten einige Durchbrüche, die Anfang der 2020er Jahre zu einer besseren Leistung führten. Sie unterstützen Bilderzeugungstools wie DALL-E, Stable Diffusion und Midjourney.

Diffusionsmodelle funktionieren, indem sie Gaußsches Rauschen in ein Bild einführen, es in einer Reihe von Schritten verzerren und dann ein Modell trainieren, diese Schritte umzukehren und das „verrauschte“ Bild in ein klares Bild umzuwandeln. („Gaußsches Rauschen“ bedeutet lediglich, dass das Rauschen mithilfe einer Glockenkurve von Wahrscheinlichkeiten zufällig hinzugefügt wird.)

Man kann sich das verrauschte Bild als eine Art VAE-Kodierung vorstellen, und tatsächlich hängen VAE und Diffusionsmodelle zusammen. Trainingsdatenbilder von beispielsweise Limettenkuchen ergeben ziemlich ähnliche verrauschte Versionen. Aber selbst das gleiche verrauschte Bild wird nicht jedes Mal auf dasselbe „entrauscht“, da das Modell dabei fundierte Vermutungen anstellt.

Möglicherweise haben Sie bereits herausgefunden, wo der generative Teil ins Spiel kommt. Wenn Sie dem Modell eine Darstellung des Bildes im verrauschten Raum geben, kann es das Bild entrauschen und ein völlig neues, klares Bild liefern. Es ist ein bisschen so, wie der Decoder die Codierung abtastet. Es gibt jedoch einen wichtigen Unterschied: Es hat unterwegs keine Komprimierung stattgefunden. Es kommt also zu keinem wirklichen Datenverlust und das resultierende Bild weist eine höhere Qualität auf.

Generative KI-Tools, die von einer Textaufforderung zu einem Bild wechseln, tun dies mit Hilfe eines separaten Modells, das versteht, wie so etwas wie eine „Einhorn-Geburtstagstorte“ verschiedenen Bildmerkmalen zugeordnet werden kann. Die verrauschte Version dieser Funktionen wird dann umgekehrt, um ein klares Bild zu erhalten.

Vor- und Nachteile

Diffusionsmodelle komprimieren die Trainingsdaten nicht und schaffen es daher, sehr realistische Bilder von hoher Qualität zu erstellen. Das Training erfordert jedoch deutlich mehr Ressourcen und Zeit als andere Modelle. Allerdings ist das Training selbst einfacher, da es nicht auf den Moduszusammenbruch von GANs und andere Nachteile des gegnerischen Netzwerks stößt. Sie leiden auch nicht unter dem Datenverlust (und den daraus resultierenden minderwertigen Ergebnissen), den VAEs haben.

Anwendungsfälle

Diffusionsmodelle werden hauptsächlich zur Bild-, Ton- und Videoerzeugung verwendet. Es gibt keinen inhärenten Grund, warum sie nicht auch zur Textgenerierung verwendet werden könnten, aber bisher waren transformatorbasierte Modelle für natürliche Sprache effektiver.

Sprachmodelle

Sprachmodelle beziehen sich auf jede ML-Technik, die ein probabilistisches Modell natürlicher Sprache generiert. Der heute bekannteste Sprachmodelltyp ist das LLM, das auf riesigen Mengen an Rohdaten trainiert wird und eine transformatorbasierte Architektur zur Textgenerierung verwendet. (Mehr zu Transformatoren im nächsten Abschnitt.)

Vor transformatorbasierten Modellen verwendeten die meisten modernen Sprachmodelle wiederkehrende neuronale Netze (RNNs). RNNs führen kleine Schleifen in den Verbindungen zwischen den Knoten ein, sodass Knoten nicht nur aus den aktuellen Signalen lernen können, wie in einem traditionellen Feedforward-Neuronalen Netzwerk (FNN), sondern auch aus der jüngsten Vergangenheit lernen können. Dies ist wichtig für die Verarbeitung oder Generierung natürlicher Sprache, beispielsweise eines Textstroms oder einer Spracheingabe. Im Gegensatz zu Bildern ist Sprache stark kontextbezogen – wie wir sie interpretieren, hängt davon ab, was zuvor passiert ist.

Vor- und Nachteile

Da sich „Sprachmodelle“ auf eine so große Gruppe von Modellen beziehen, ist es schwierig, ihre Vor- und Nachteile zu verallgemeinern. Zu den Herausforderungen der Sprachmodellierung gehört die Tatsache, dass Sprache so hochdimensional ist – es gibt eine große Anzahl verschiedener Wörter in einer bestimmten Sprache und einige Kombinationen tauchen möglicherweise nie in den Trainingsdaten auf.

Darüber hinaus hängt die Sprache stark vom Kontext dessen ab, was in der Sequenz zuvor kam, und erfordert, dass das Netzwerk diesen Kontext auf irgendeine Weise verarbeitet oder darstellt. Die Fähigkeit, diesen Bedarf zu decken, hat dazu geführt, dass RNNs mit Lang- und Kurzzeitgedächtnis und anschließenden Transformatoren, die einen ganzen Satz als Ganzes verarbeiten können, zur modernsten Architektur für Sprachmodelle geworden sind.

Anwendungsfälle

Sprachmodelle können für Übersetzungen, Zusammenfassungen, grammatikalische Fehlerkorrekturen, Spracherkennung und viele weitere Aufgaben verwendet werden. Sie werden für viele Anwendungen zur Generierung neuer kreativer Textinhalte verwendet und erweisen sich als fähig, fortgeschrittenes Denken zu ermöglichen, beispielsweise Daten zu analysieren und Logikrätsel zu lösen. Interessanterweise hat die Forschung herausgefunden, dass eine aufstrebende Fähigkeit von LLMs das räumliche Bewusstsein und die Fähigkeit ist, einfache Zeichnungen zu erstellen, auch wenn sie ausschließlich auf Text trainiert werden.

Transformatorbasierte Modelle

Transformer, die 2017 von Forschern bei Google und der University of Toronto erfunden wurden, revolutionierten den Bereich Deep Learning. LLMs wie ChatGPT sind transformatorbasierte Modelle, und auch die Google-Suchergebnisse basieren auf Transformern.

Ein transformatorbasiertes Modell nutzt seine Trainingsdaten, um zu lernen, wie verschiedene Wörter zusammenhängen. Beispielsweise könnte es lernen, dassKuchenundTortekonzeptionell ähnlich sind,KuchenundUmhangjedoch nicht direkt miteinander verbunden sind. Es könnte auch lernen, dass„slice“mit„cake“und„pie“verknüpft werden kann, insbesondere wenn diese Wörter in unmittelbarer Nähe vorkommen.

Bei der Textanalyse nutzt das Modell dieses grundlegende Verständnis, um etwas zu erstellen, das einer riesigen Tabellenkalkulation ähnelt. Es kann zwei beliebige Wörter im Text nachschlagen und eine Antwort darauf erhalten, wie verwandt sie wahrscheinlich sind.

Durch die Nutzung dieser kontextuellen Hinweise interpretiert ein Transformatormodell Sprache geschickt und prognostiziert potenzielle Kontinuitäten in einem Gespräch. Wenn jemand beispielsweise in einem Segment einen Kuchen erwähnt und dann im nächsten dazu übergeht, seinen Geburtstag zu besprechen, antizipiert das Modell die eventuelle Erwähnung von Kerzen oder einer Party basierend auf den etablierten sprachlichen Zusammenhängen.

Vor- und Nachteile

Wenn es um die Analyse und Generierung von Sprache geht, haben Transformatoren gegenüber ihren Vorgängern RNNS einige Vorteile. Sie können Text im gesamten Netzwerk parallel verarbeiten, anstatt jedes Wort nacheinander zu verarbeiten. Dadurch können sie schneller und effizienter auf sehr großen Datensätzen trainieren. Sie können auch Verbindungen zwischen Wörtern herstellen, unabhängig davon, wie weit sie voneinander entfernt sind, und so mehr Kontext aus dem Text nutzen.

Um eine gute Leistung zu erzielen, benötigen Transformatoren jedoch viele Daten, und bei kleineren Datensätzen funktionieren möglicherweise traditionellere neuronale Netzwerkarchitekturen besser.

Anwendungsfälle

Transformatoren haben viele generative KI-Anwendungen. Während transformatorbasierte Modelle typischerweise zur Generierung von Text oder Sprache verwendet werden, untersuchen Forscher ihre Verwendung zur Bildgenerierung, da sie weniger rechenintensiv sind als Diffusionsmodelle.

Am bekanntesten sind LLMs, die auf Transformatoren basieren. Sprachmodelle verwenden nur den Decoder-Teil der Architektur. Die Eingabeaufforderung wird als Codierung in das Modell eingespeist – der zuvor erwähnte Satz numerischer Werte, Wahrscheinlichkeiten und Aufmerksamkeitsdaten. Das Modell dekodiert die Eingabe mithilfe des Selbstaufmerksamkeitsmechanismus und indem es alle Wörter in der Eingabeaufforderung parallel betrachtet. Das Ziel des Modells besteht darin, eine Vorhersage für das nächste Wort im Satz auszugeben.

Transformatoren haben viele Anwendungen außerhalb der Textgenerierung in der Verarbeitung natürlicher Sprache. Tatsächlich waren sie ursprünglich dazu gedacht, Texte von einer Sprache in eine andere zu übersetzen oder umzuwandeln. Grammarly hat zur Forschung zur Verwendung von Transformatoren zur Korrektur von Grammatikfehlern beigetragen.

Abschluss

Generative KI-Modelle haben im letzten Jahrzehnt große Fortschritte gemacht. Wir hoffen, dass Sie jetzt etwas mehr über die Entwicklung dieser Modelle verstehen, wie sie funktionieren und wie sie auf verschiedene Anwendungsfälle angewendet werden können. Dieser Artikel kratzt jedoch nur an der Oberfläche und lässt viele wichtige Details aus, um dem durchschnittlichen Leser einen Überblick zu geben. Wir empfehlen Ihnen, sich weiter über die Mathematik und Wissenschaft hinter diesen Modellen zu informieren, indem Sie die ihnen zugrunde liegenden Forschungsarbeiten studieren und mehr über ihre Funktionsweise aus probabilistischer und statistischer Sicht erfahren.