Sous le capot de Grammarly : transformer le style d'écriture avec l'IA

Lorsque vous avez besoin de faire bonne impression sur quelqu'un à qui vous écrivez, ce que vous dites n'est pas la seule chose à laquelle vous devez penser. La façon dont vous le dites est souvent tout aussi importante. Choisir le bon niveau de formalité peut être un défi particulier - cela dépend fortement du contexte et vous devez souvent faire des suppositions sur la façon dont votre destinataire interprétera votre ton.

Imaginez que vous rédigez une lettre de motivation. Dans quelle mesure cela changerait-il la donne si vous disposiez d'un outil capable de détecter si votre écriture est trop décontractée (ou, parfois pire, trop formelle) ? Soudain, vos décisions sur la façon de dire ce que vous essayez de dire deviennent beaucoup moins troubles. Vous ne vous fiez pas seulement à des suppositions sur la façon dont votre destinataire percevra votre message - vous disposez d'un algorithme qui s'appuie sur de nombreuses données que vous ne possédez pas personnellement. Pour aller plus loin, et si cet outil pouvait non seulement vous dire quand quelque chose ne va pas, mais vous proposer en fait une formulation alternative que votre destinataire aimerait mieux ?

Le processus consistant à faire en sorte qu'un ordinateur transforme automatiquement un texte d'un style à un autre s'appelle le transfert de style, et c'est le sujet d'un article à paraître que j'ai écrit avec ma collègue Sudha Rao. C'est un domaine qui nous intéresse particulièrement ici chez Grammarly car nous savons à quel point il est important de communiquer de la bonne manière.

Si vous vous êtes déjà demandé comment les ingénieurs de recherche de Grammarly construisent les systèmes qui vous fournissent des suggestions d'écriture, lisez la suite.

Un contexte informel sur la formalité

Avant de plonger dans les détails de nos algorithmes, examinons un exemple de langage informel par rapport au langage formel.

Informel : Je dois voir les deux côtés de l'histoire

Formel : Vous devez voir les deux côtés de l'histoire.

Il y a quelques différences évidentes entre ces phrases. L'utilisation de l'argot ("Gotta") et l'absence de ponctuation à la fin de la première phrase signalent l'informalité. Il y a un temps et un lieu pour ce genre de phrase, un échange de SMS entre amis, par exemple.

Lorsque nous avons examiné comment les humains réécrivaient des phrases informelles dans un style plus formel, nous avons constaté que les changements les plus fréquents qu'ils apportaient impliquaient la capitalisation, la ponctuation et les expressions familières. Nous avons également remarqué que les humains doivent parfois faire des réécritures plus drastiques d'une phrase pour améliorer la formalité :

Informel : Quand venez-vous à la réunion ?

Formel : Veuillez me faire savoir quand vous assisterez à la réunion.

Mais comment apprenons-nous aux ordinateurs à faire des modifications comme celles ci-dessus ? Il y a plusieurs manières d'aborder le problème.

Celui que nous utilisons reconnaît qu'apprendre à un ordinateur à traduire entre les styles d'écriture est similaire à lui apprendre à traduire des langues. Cette approche s'appelle la traduction automatique, où un ordinateur traduit automatiquement d'une langue (comme le français) à une autre (l'allemand). Ainsi, lorsque l'on s'attaque au problème du transfert de style, il est logique de commencer avec un modèle de traduction ou, dans notre cas, plusieurs modèles.

Qu'est-ce qu'un modèle de traduction ?

L'une des avancées récentes de l'IA est l'utilisation de techniques d'apprentissage en profondeur, ou de réseaux de neurones, pour créer des modèles de traduction automatique.

Les modèles de traduction automatique neuronale (NMT) peuvent apprendre des représentations du sens sous-jacent des phrases. Cela aide le modèle à apprendre des modèles de phrases complexes afin que la traduction soit fluide et que sa signification soit fidèle à la phrase originale.

Les approches plus anciennes de la traduction automatique, telles que les modèles basés sur des règles ou des phrases (PBMT), divisent les phrases en unités plus petites, telles que des mots ou des phrases, et les traduisent indépendamment. Cela peut entraîner des erreurs grammaticales ou des résultats absurdes dans la traduction. Cependant, ces modèles sont plus faciles à modifier et ont tendance à être plus conservateurs, ce qui peut être un avantage. Par exemple, nous pouvons facilement incorporer des règles qui changent l'argot en mots standard.

Nous avons examiné plusieurs approches différentes de la traduction automatique pour voir laquelle est la meilleure pour le transfert de style.

Construire un modèle

NMT et PBMT sont pleins de défis, dont le moindre n'est pas de trouver un bon ensemble de données avec lequel former vos modèles. Dans ce cas, nous avons estimé que nous aurions besoin d'un ensemble de données de centaines de milliers de paires de phrases informelles et formelles. Idéalement, vous entraîneriez votre modèle avec des millions de paires de phrases, mais comme le transfert de style est un domaine relativement nouveau dans le domaine du traitement du langage naturel, il n'y avait vraiment pas d'ensemble de données existant que nous pourrions utiliser. Alors, nous en avons créé un.

Nous avons commencé par collecter des phrases informelles. Nous avons tiré nos phrases des questions et réponses publiées publiquement sur Yahoo! Réponses. Nous avons sélectionné automatiquement plus de cent mille phrases informelles dans cet ensemble et avons demandé à une équipe de les réécrire avec un langage formel, toujours en utilisant des critères prédéfinis. (Consultez notre article pour plus de détails sur ce processus.)

Une fois que vous disposez d'un ensemble de données, vous pouvez commencer à entraîner votre modèle. Entraîner le modèle signifie lui donner beaucoup de phrases "sources" - dans notre cas, des phrases informelles - ainsi que beaucoup de phrases "cibles" - pour nous, ce sont les réécritures formelles. L'algorithme du modèle recherche ensuite des modèles pour comprendre comment aller de la source à la cible. Plus il a de données, mieux il apprend.

Dans notre cas, le modèle a cent mille phrases sources informelles et leurs réécritures formelles à partir desquelles apprendre. Nous avons également expérimenté différentes manières de créer des données formelles artificielles pour augmenter la taille de notre ensemble de données d'entraînement, car les modèles NMT et PBMT nécessitent souvent beaucoup plus de données pour bien fonctionner.

Mais vous avez également besoin d'un moyen d'évaluer dans quelle mesure votre modèle accomplit sa tâche. Le sens de la phrase a-t-il changé ? La nouvelle phrase est-elle grammaticalement correcte ? Est-ce vraiment plus formel ? Il existe des classificateurs, des programmes capables d'évaluer automatiquement le ton et le style d'écriture des phrases, et nous avons testé certains des plus couramment utilisés dans le milieu universitaire. Cependant, aucun d'entre eux n'est très précis. Ainsi, nous avons fini par demander à des humains de comparer les résultats des différents modèles que nous avons testés et de les classer par formalité, précision et fluidité.

Nous avons montré à notre équipe la phrase informelle originale, les sorties de plusieurs modèles différents et la réécriture humaine. Nous ne leur avons pas dit qui – ou quoi – a généré chaque phrase. Ensuite, ils ont classé les réécritures, autorisant les égalités. Idéalement, le meilleur modèle serait égal ou même meilleur que les réécritures humaines. Au total, l'équipe a marqué les réécritures de 500 phrases informelles.

Ce que nous avons trouvé

Au total, nous avons testé des dizaines de modèles, mais nous nous concentrerons sur les meilleurs : basés sur des règles, basés sur des phrases (PBMT), basés sur des réseaux de neurones (NMT) et un couple combinant diverses approches.

Les réécritures humaines ont obtenu le score le plus élevé dans l'ensemble, mais les modèles PBMT et NMT n'étaient pas si loin derrière. En fait, il y a eu plusieurs cas où les humains ont préféré les sorties du modèle aux sorties humaines. Ces deux modèles ont fait des réécritures plus poussées, mais ils ont eu tendance à changer le sens de la phrase originale.

Les modèles basés sur des règles, en revanche, ont apporté des modifications moins importantes. Cela signifiait qu'ils étaient meilleurs pour préserver le sens, mais les phrases qu'ils produisaient étaient moins formelles. Tous les modèles avaient plus de facilité à gérer des phrases courtes que des phrases plus longues.

Ce qui suit est un exemple de phrase informelle avec ses réécritures humaines et modèles. Dans ce cas particulier, c'est le dernier modèle (NMT avec traduction PBMT) qui a trouvé le meilleur équilibre entre formalité, sens et phrasé naturel.

Informel original : je ne le vois presque jamais à l'école et je le vois généralement aux matchs de basket de mes frères.

Réécriture humaine : Je ne le vois presque jamais à l'école. Je le vois souvent avec mes frères jouer au basket.

Modèle basé sur des règles : je ne le vois presque jamais à l'école et je le vois généralement aux matchs de basket de mes frères.

Modèle PBMT : Je le vois à peine à l'école aussi, mais mes frères jouent au basket.

Modèle NMT : Je le vois rarement à l'école, soit je le vois aux matchs de basket de mon frère.

NMT (formé sur des données supplémentaires générées par PBMT): Je le vois rarement à l'école, soit je le vois généralement aux matchs de basket de mes frères.

Le transfert de style est un nouveau domaine passionnant du traitement du langage naturel, avec un potentiel d'applications généralisées. Cet outil dont j'avais émis l'hypothèse au début - celui qui vous aide à comprendre comment dire ce que vous devez dire ? Il reste encore beaucoup de travail à faire, mais cet outil est possible, et il sera inestimable pour les demandeurs d'emploi, les apprenants en langues et tous ceux qui ont besoin de faire bonne impression sur quelqu'un par leur écriture. Nous espérons qu'en rendant nos données publiques, nous et d'autres dans le domaine aurons un moyen de nous comparer et de faire avancer ce domaine de recherche.

Quant à Grammarly, ce travail est une étape supplémentaire vers notre vision de créer un assistant de communication complet qui aide votre message à être compris comme prévu.

Joel Tetreault est directeur de recherche chez Grammarly. Sudha Rao est doctorante à l'Université du Maryland et a été stagiaire de recherche à Grammarly. Joel et Sudha présenteront cette recherche à la 16e conférence annuelle de la section nord-américaine de l'Association for Computational Linguistics: Human Language Technologies à la Nouvelle-Orléans, du 1er au 6 juin 2018. Le document de recherche qui l'accompagne, intitulé "Dear Sir or Madam , May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer », sera publié dans les actes de la NAACL.