Unter der Haube bei Grammarly: Transformation des Schreibstils mit KI

Wenn Sie bei jemandem, dem Sie schreiben, einen guten Eindruck hinterlassen möchten, ist das, was Sie sagen, nicht das Einzige, woran Sie denken müssen. Wie Sie es sagen, ist oft genauso wichtig. Die Wahl der richtigen Formalität kann eine besondere Herausforderung sein – sie ist stark kontextabhängig und Sie müssen oft raten, wie Ihr Empfänger Ihren Ton interpretieren wird.

Stellen Sie sich vor, Sie schreiben ein Anschreiben. Wie viel Veränderung wäre es, wenn Sie ein Tool hätten, das erkennen könnte, wann Ihr Schreiben zu locker ist (oder, was manchmal noch schlimmer ist, zu förmlich)? Plötzlich werden Ihre Entscheidungen darüber, wie Sie sagen, was Sie zu sagen versuchen, viel weniger düster. Sie verlassen sich nicht nur auf Vermutungen darüber, wie Ihr Empfänger Ihre Nachricht wahrnehmen wird – Sie haben einen Algorithmus, der auf viele Daten zurückgreift, die Sie persönlich nicht haben. Gehen wir noch einen Schritt weiter, was wäre, wenn dieses Tool Ihnen nicht nur sagen könnte, wenn etwas nicht stimmt, sondern Ihnen tatsächlich alternative Formulierungen anbieten könnte, die Ihrem Empfänger besser gefallen würden?

Der Prozess, einen Computer dazu zu bringen, eine Schrift automatisch von einem Stil in einen anderen umzuwandeln, wird als Stiltransfer bezeichnet und ist das Thema eines demnächst erscheinenden Artikels, den ich mit meiner Kollegin Sudha Rao geschrieben habe. Dies ist ein Bereich von besonderem Interesse für uns hier bei Grammarly, weil wir wissen, wie wichtig es ist, richtig zu kommunizieren.

Wenn Sie sich jemals gefragt haben, wie die Forschungsingenieure von Grammarly die Systeme bauen, die Ihnen Schreibvorschläge liefern, lesen Sie weiter.

Ein informeller Hintergrund zur Formalität

Bevor wir in die Details unserer Algorithmen eintauchen, werfen wir einen Blick auf ein Beispiel für informelle vs. formelle Sprache.

Informell: Ich muss beide Seiten der Geschichte sehen

Formell: Man muss beide Seiten der Geschichte sehen.

Es gibt ein paar offensichtliche Unterschiede zwischen diesen Sätzen. Die Verwendung von Slang („Gotta“) und das Fehlen von Satzzeichen am Ende des ersten Satzes signalisieren Ungezwungenheit. Es gibt eine Zeit und einen Ort für diese Art von Sätzen – zum Beispiel ein SMS-Austausch zwischen Freunden.

Als wir uns ansahen, wie Menschen informelle Sätze in einen formelleren Stil umschrieben, stellten wir fest, dass die häufigsten Änderungen, die sie vornahmen, Großschreibung, Interpunktion und Umgangssprache betrafen. Wir haben auch festgestellt, dass Menschen manchmal drastischere Umschreibungen eines Satzes vornehmen müssen, um die Formalität zu verbessern:

Informell: Wann kommst du zum Treffen?

Formell: Bitte teilen Sie mir mit, wann Sie an der Sitzung teilnehmen werden.

Aber wie bringen wir Computern bei, Bearbeitungen wie die oben genannten vorzunehmen? Es gibt mehrere Möglichkeiten, das Problem anzugehen.

Die von uns verwendete Methode erkennt an, dass es ähnlich ist, einem Computer beizubringen, zwischen verschiedenen Schreibstilen zu übersetzen, als ihm beizubringen, Sprachen zu übersetzen. Dieser Ansatz wird als maschinelle Übersetzung bezeichnet, bei der ein Computer automatisch von einer Sprache (z. B. Französisch) in eine andere (Deutsch) übersetzt. Wenn Sie also das Problem der Stilübertragung angehen, ist es sinnvoll, mit einem Übersetzungsmodell zu beginnen – oder in unserem Fall mit mehreren Modellen.

Was ist ein Übersetzungsmodell?

Einer der jüngsten Durchbrüche in der KI ist die Verwendung von Deep-Learning- oder neuronalen Netzwerktechniken zum Erstellen von maschinellen Übersetzungsmodellen.

Modelle der neuronalen maschinellen Übersetzung (NMT) können Darstellungen der zugrunde liegenden Bedeutung von Sätzen lernen. Dies hilft dem Modell, komplexe Satzmuster zu lernen, sodass die Übersetzung flüssig ist und ihre Bedeutung dem ursprünglichen Satz entspricht.

Ältere Ansätze zur maschinellen Übersetzung, wie z. B. regelbasierte oder phrasenbasierte Modelle (PBMT), zerlegen Sätze in kleinere Einheiten, z. B. Wörter oder Phrasen, und übersetzen sie unabhängig voneinander. Dies kann zu Grammatikfehlern oder unsinnigen Ergebnissen in der Übersetzung führen. Diese Modelle sind jedoch einfacher zu optimieren und tendenziell konservativer – was von Vorteil sein kann. Zum Beispiel können wir einfach Regeln einbauen, die Slang in Standardwörter umwandeln.

Wir haben uns verschiedene Ansätze für die maschinelle Übersetzung angesehen, um herauszufinden, welche die beste Stilübertragung ist.

Erstellen eines Modells

NMT und PBMT sind voller Herausforderungen, nicht zuletzt darin, einen guten Datensatz zu finden, mit dem Sie Ihre Modelle trainieren können. In diesem Fall schätzten wir, dass wir einen Datensatz von Hunderttausenden von informellen und formalen Satzpaaren benötigen würden. Idealerweise würden Sie Ihr Modell mit Millionen von Satzpaaren trainieren, aber da die Stilübertragung ein relativ neues Gebiet im Bereich der Verarbeitung natürlicher Sprache ist, gab es wirklich keinen vorhandenen Datensatz, den wir verwenden konnten. Also haben wir einen erstellt.

Wir begannen damit, informelle Sätze zu sammeln. Wir haben unsere Sätze aus Fragen und Antworten bezogen, die öffentlich auf Yahoo! Antworten. Wir wählten automatisch über hunderttausend informelle Sätze aus diesem Satz aus und ließen jeden einzelnen von einem Team mit formaler Sprache umschreiben, wiederum unter Verwendung vordefinierter Kriterien. (Weitere Informationen zu diesem Prozess finden Sie in unserem Dokument.)

Sobald Sie über einen Datensatz verfügen, können Sie mit dem Training Ihres Modells beginnen. Das Modell zu trainieren bedeutet, ihm viele „Quell“-Sätze – in unserem Fall informelle Sätze – zusammen mit vielen „Ziel“-Sätzen zu geben – für uns sind dies die formalen Umschreibungen. Der Algorithmus des Modells sucht dann nach Mustern, um herauszufinden, wie man von der Quelle zum Ziel gelangt. Je mehr Daten es hat, desto besser lernt es.

In unserem Fall verfügt das Modell über hunderttausend informelle Quellsätze und deren formelle Umschreibungen, aus denen es lernen kann. Wir haben auch mit verschiedenen Methoden zur Erstellung künstlicher formaler Daten experimentiert, um die Größe unseres Trainingsdatensatzes zu erhöhen, da NMT- und PBMT-Modelle oft viel mehr Daten benötigen, um gut zu funktionieren.

Aber Sie brauchen auch eine Möglichkeit zu bewerten, wie gut Ihr Modell seine Aufgabe erfüllt. Hat sich die Bedeutung des Satzes geändert? Ist der neue Satz grammatikalisch korrekt? Ist es eigentlich formeller? Es gibt Klassifikatoren – Programme, die Sätze automatisch nach Tonfall und Schreibstil bewerten können – und wir haben einige der am häufigsten in der Wissenschaft verwendeten getestet. Allerdings ist keiner von ihnen sehr genau. Also ließen wir Menschen die Ergebnisse der verschiedenen von uns getesteten Modelle vergleichen und sie nach Formalität, Genauigkeit und Geläufigkeit ordnen.

Wir haben unserem Team den ursprünglichen informellen Satz, die Ergebnisse mehrerer verschiedener Modelle und die menschliche Umschreibung gezeigt. Wir haben ihnen nicht gesagt, wer – oder was – jeden Satz generiert hat. Dann ordneten sie die Umschreibungen und erlaubten Bindungen. Im Idealfall wäre das beste Modell mit den menschlichen Umschreibungen verbunden oder sogar besser als diese. Insgesamt erzielte das Team das Umschreiben von 500 informellen Sätzen.

Was wir gefunden haben

Alles in allem haben wir Dutzende von Modellen getestet, aber wir konzentrieren uns auf die besten: regelbasiert, phrasenbasiert (PBMT), neuronal netzwerkbasiert (NMT) und ein Paar, das verschiedene Ansätze kombiniert.

Die menschlichen Umschreibungen erzielten insgesamt die höchste Punktzahl, aber die PBMT- und NMT-Modelle lagen nicht so weit dahinter. Tatsächlich gab es mehrere Fälle, in denen die Menschen die Modellausgaben den menschlichen vorzogen. Diese beiden Modelle haben umfangreichere Umschreibungen vorgenommen, aber sie tendierten dazu, die Bedeutung des ursprünglichen Satzes zu ändern.

Die regelbasierten Modelle hingegen nahmen kleinere Änderungen vor. Dies bedeutete, dass sie die Bedeutung besser bewahren konnten, aber die von ihnen produzierten Sätze waren weniger formell. Alle Modelle konnten mit kürzeren Sätzen leichter umgehen als mit längeren.

Das Folgende ist ein Beispiel für einen informellen Satz mit seinen menschlichen und modellhaften Umschreibungen. In diesem speziellen Fall war es das letzte Modell (NMT mit PBMT-Übersetzung), das die beste Balance zwischen Formalität, Bedeutung und natürlich klingender Phrasierung gefunden hat.

Ursprünglich informell: Ich sehe ihn kaum jemals in der Schule, normalerweise sehe ich ihn auch bei den Basketballspielen meines Bruders.

Menschliche Umschreibung: Ich sehe ihn kaum jemals in der Schule. Normalerweise sehe ich ihn mit meinen Brüdern Basketball spielen.

Regelbasiertes Modell: Ich sehe ihn selten in der Schule, meistens sehe ich ihn auch bei den Basketballspielen meines Bruders.

PBMT-Model: Ich sehe ihn auch kaum in der Schule, aber meine Brüder spielen Basketball.

NMT-Model: Ich sehe ihn selten in der Schule, oder ich sehe ihn bei den Basketballspielen meines Bruders.

NMT (trainiert auf zusätzlichen PBMT-generierten Daten): Ich sehe ihn selten in der Schule, normalerweise sehe ich ihn auch bei Basketballspielen meines Bruders.

Die Stilübertragung ist ein spannendes neues Gebiet der Verarbeitung natürlicher Sprache mit dem Potenzial für weit verbreitete Anwendungen. Dieses Werkzeug, das ich am Anfang vermutet habe – das, das Ihnen hilft, herauszufinden, wie Sie sagen, was Sie sagen müssen? Es gibt noch viel zu tun, aber dieses Tool ist möglich und von unschätzbarem Wert für Arbeitssuchende, Sprachlerner und alle, die durch ihr Schreiben einen guten Eindruck auf jemanden machen müssen. Wir hoffen, dass wir und andere auf diesem Gebiet durch die Veröffentlichung unserer Daten eine Möglichkeit haben, uns gegenseitig zu bewerten und diesen Forschungsbereich voranzubringen.

Was Grammarly betrifft, so ist diese Arbeit ein weiterer Schritt in Richtung unserer Vision, einen umfassenden Kommunikationsassistenten zu schaffen, der dabei hilft, Ihre Botschaft so zu verstehen, wie sie beabsichtigt ist.

Joel Tetreault ist Forschungsdirektor bei Grammarly. Sudha Rao ist Doktorandin an der University of Maryland und war Forschungspraktikantin bei Grammarly. Joel und Sudha werden diese Forschungsergebnisse auf der 16. Jahreskonferenz des nordamerikanischen Kapitels der Association for Computational Linguistics: Human Language Technologies vom 1. bis 6. Juni 2018 in New Orleans vorstellen. Das begleitende Forschungspapier mit dem Titel „Sehr geehrte Damen und Herren , May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer“, wird in den Proceedings of the NAACL veröffentlicht.