Sob o capô na Grammarly: transformando o estilo de escrita com IA

Quando você precisa causar uma boa impressão em alguém para quem está escrevendo, o que você diz não é a única coisa que você precisa pensar. Como você diz isso muitas vezes é tão importante. Escolher o nível certo de formalidade pode ser um desafio particular - é altamente dependente do contexto e muitas vezes você precisa adivinhar como o destinatário interpretará seu tom.

Imagine que você está escrevendo uma carta de apresentação. Quão revolucionário seria se você tivesse uma ferramenta que pudesse detectar quando sua escrita é muito casual (ou, às vezes ainda pior, muito formal)? De repente, suas decisões sobre como dizer o que você está tentando dizer tornam-se muito menos obscuras. Você não está apenas confiando em suposições sobre como seu destinatário perceberá sua mensagem – você tem um algoritmo que se baseia em muitos dados que você não possui pessoalmente. Dando um passo adiante, e se essa ferramenta pudesse não apenas dizer quando algo está errado, mas também oferecer frases alternativas que seu destinatário gostaria mais?

O processo de fazer um computador transformar automaticamente um texto de um estilo para outro é chamado de transferência de estilo, e é o assunto de um próximo artigo que escrevi com meu colega Sudha Rao. É uma área de interesse particular para nós aqui na Grammarly porque sabemos o quão importante é comunicar da maneira certa.

Se você já se perguntou como os engenheiros de pesquisa da Grammarly constroem os sistemas que fornecem sugestões de escrita para você, continue lendo.

Um pano de fundo informal sobre formalidade

Antes de mergulhar nos detalhes de nossos algoritmos, vamos dar uma olhada em um exemplo de linguagem informal versus formal.

Informal: Tenho que ver os dois lados da história

Formal: Você tem que ver os dois lados da história.

Existem algumas diferenças óbvias entre essas frases. O uso de gírias (“Gotta”) e a falta de pontuação no final da primeira frase sinalizam informalidade. Há hora e lugar para esse tipo de frase – uma troca de mensagens de texto entre amigos, por exemplo.

Quando analisamos como os humanos reescrevem frases informais em um estilo mais formal, descobrimos que as mudanças mais frequentes que eles faziam envolviam capitalização, pontuação e coloquialismos. Também notamos que os humanos às vezes precisam fazer reescritas mais drásticas de uma frase para melhorar a formalidade:

Informal: Quando você vem para a reunião?

Formal: Por favor, deixe-me saber quando você estará participando da reunião.

Mas como ensinamos os computadores a fazer edições como as acima? Existem várias maneiras de abordar o problema.

O que usamos reconhece que ensinar um computador a traduzir entre estilos de escrita é semelhante a ensiná-lo a traduzir idiomas. Essa abordagem é chamada de tradução automática, onde um computador traduz automaticamente de um idioma (como o francês) para outro (alemão). Portanto, ao abordar o problema da transferência de estilo, faz sentido começar com um modelo de tradução – ou, no nosso caso, vários modelos.

O que é um modelo de tradução?

Um dos avanços recentes em IA é o uso de técnicas de aprendizado profundo, ou rede neural, para construir modelos de tradução automática.

Os modelos de tradução automática neural (NMT) podem aprender representações do significado subjacente das frases. Isso ajuda o modelo a aprender padrões de frases complexas para que a tradução seja fluente e seu significado seja fiel à frase original.

Abordagens mais antigas de tradução automática, como modelos baseados em regras ou em frases (PBMT), dividem as frases em unidades menores, como palavras ou frases, e as traduzem de forma independente. Isso pode levar a erros gramaticais ou resultados sem sentido na tradução. No entanto, esses modelos são mais fáceis de ajustar e tendem a ser mais conservadores, o que pode ser uma vantagem. Por exemplo, podemos facilmente incorporar regras que transformam gírias em palavras padrão.

Analisamos várias abordagens diferentes para tradução automática para ver qual é a melhor na transferência de estilo.

Construindo um modelo

NMT e PBMT estão cheios de desafios, entre os quais encontrar um bom conjunto de dados para treinar seus modelos. Nesse caso, estimamos que precisaríamos de um conjunto de dados de centenas de milhares de pares de frases formais e informais. Idealmente, você treinaria seu modelo com milhões de pares de frases, mas como a transferência de estilo é uma área relativamente nova no campo de processamento de linguagem natural, realmente não havia um conjunto de dados existente que pudéssemos usar. Então, criamos um.

Começamos coletando frases informais. Nossas frases foram extraídas de perguntas e respostas postadas publicamente no Yahoo! Respostas. Selecionamos automaticamente mais de cem mil frases informais desse conjunto e uma equipe reescreveu cada uma delas com linguagem formal, novamente usando critérios predefinidos. (Confira nosso artigo para detalhes sobre este processo.)

Depois de ter um conjunto de dados, você pode começar a treinar seu modelo. Treinar o modelo significa dar a ele muitas sentenças “fonte” – em nosso caso, sentenças informais – junto com muitas sentenças “alvo” – para nós, essas são as reescritas formais. O algoritmo do modelo então procura padrões para descobrir como ir da origem ao destino. Quanto mais dados ele tem, melhor ele aprende.

No nosso caso, o modelo tem cem mil frases-fonte informais e suas reescritas formais para aprender. Também experimentamos diferentes maneiras de criar dados formais artificiais para aumentar o tamanho do nosso conjunto de dados de treinamento, já que os modelos NMT e PBMT geralmente exigem muito mais dados para um bom desempenho.

Mas você também precisa de uma maneira de avaliar quão bem seu modelo está realizando sua tarefa. O significado da frase mudou? A nova frase está gramaticalmente correta? É realmente mais formal? Existem classificadores por aí – programas que podem avaliar automaticamente frases quanto ao tom e estilo de escrita – e testamos alguns dos mais usados ​​no meio acadêmico. No entanto, nenhum deles é muito preciso. Então, acabamos fazendo com que os humanos comparassem os resultados dos vários modelos que testamos e os classificassem por formalidade, precisão e fluência.

Mostramos à nossa equipe a frase informal original, saídas de vários modelos diferentes e a reescrita humana. Não dissemos a eles quem — ou o quê — gerou cada frase. Em seguida, eles classificaram as reescritas, permitindo empates. Idealmente, o melhor modelo estaria empatado ou até melhor do que as reescritas humanas. Ao todo, a equipe marcou as reescritas de 500 frases informais.

O que encontramos

Ao todo, testamos dezenas de modelos, mas vamos nos concentrar nos principais: baseado em regras, baseado em frases (PBMT), baseado em rede neural (NMT) e alguns que combinaram várias abordagens.

As reescritas humanas obtiveram as maiores pontuações gerais, mas os modelos PBMT e NMT não ficaram muito atrás. De fato, houve vários casos em que os humanos preferiram os resultados do modelo aos humanos. Esses dois modelos fizeram reescritas mais extensas, mas tendiam a mudar o significado da frase original.

Os modelos baseados em regras, por outro lado, fizeram mudanças menores. Isso significava que eles eram melhores em preservar o significado, mas as frases que produziam eram menos formais. Todos os modelos tiveram mais facilidade em lidar com frases mais curtas do que com as mais longas.

O seguinte é um exemplo de uma frase informal com sua reescrita humana e modelo. Neste caso em particular, foi o último modelo (NMT com tradução PBMT) que atingiu o melhor equilíbrio entre formalidade, significado e fraseado natural.

Original informal: eu quase nunca o vejo na escola ou geralmente eu o vejo nos jogos de basquete dos meus irmãos.

Reescrita humana: quase nunca o vejo na escola. Eu costumo vê-lo com meus irmãos jogando basquete.

Modelo baseado em regras: eu quase nunca o vejo na escola, geralmente eu o vejo nos jogos de basquete dos meus irmãos.

Modelo PBMT: Eu quase não o vejo na escola também, mas meus irmãos jogam basquete.

Modelo NMT: Eu raramente o vejo na escola, ou o vejo nos jogos de basquete do meu irmão.

NMT (treinado em dados adicionais gerados por PBMT): Eu raramente o vejo na escola ou geralmente o vejo nos jogos de basquete dos meus irmãos.

A transferência de estilo é uma nova e empolgante área de processamento de linguagem natural, com potencial para aplicações generalizadas. Essa ferramenta que eu imaginei no começo – aquela que ajuda você a descobrir como dizer o que você precisa dizer? Ainda há muito trabalho a ser feito, mas essa ferramenta é possível e será inestimável para quem procura emprego, alunos de idiomas e qualquer pessoa que precise causar uma boa impressão em alguém por meio de sua escrita. Esperamos que, ao tornar nossos dados públicos, nós e outros na área tenhamos uma maneira de comparar uns aos outros e avançar nessa área de pesquisa.

Quanto ao Grammarly, este trabalho é mais um passo em direção à nossa visão de criar um assistente de comunicação abrangente que ajude sua mensagem a ser entendida da maneira pretendida.

Joel Tetreault é Diretor de Pesquisa da Grammarly. Sudha Rao é estudante de doutorado na Universidade de Maryland e foi estagiária de pesquisa na Grammarly. Joel e Sudha apresentarão esta pesquisa na 16ª Conferência Anual do Capítulo Norte-Americano da Associação de Linguística Computacional: Tecnologias de Linguagem Humana em Nova Orleans, de 1 a 6 de junho de 2018. O documento de pesquisa que o acompanha, intitulado “Prezado senhor ou senhora , May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer”, será publicado nos Anais da NAACL.