Bajo el capó en Grammarly: transformando el estilo de escritura con IA

Cuando necesita causar una buena impresión en alguien a quien le escribe, lo que dice no es lo único en lo que debe pensar. Cómo lo dice a menudo es igual de importante. Elegir el nivel correcto de formalidad puede ser un desafío particular: depende en gran medida del contexto y, a menudo, tiene que adivinar cómo interpretará su tono el destinatario.

Imagina que estás escribiendo una carta de presentación. ¿Cuánto cambiaría el juego si tuviera una herramienta que pudiera detectar cuándo su escritura es demasiado informal (o, a veces, incluso peor, demasiado formal)? De repente, tus decisiones sobre cómo decir lo que estás tratando de decir se vuelven mucho menos turbias. No solo confía en conjeturas sobre cómo el destinatario percibirá su mensaje: tiene un algoritmo que se basa en una gran cantidad de datos que usted personalmente no tiene. Yendo un paso más allá, ¿qué pasaría si esta herramienta no solo pudiera decirle cuando algo está mal, sino que también le ofreciera frases alternativas que a su destinatario le gustarían más?

El proceso de hacer que una computadora transforme automáticamente una pieza de escritura de un estilo a otro se llama transferencia de estilo, y es el tema de un próximo artículo que escribí con mi colega Sudha Rao. Es un área de particular interés para nosotros aquí en Grammarly porque sabemos lo importante que es comunicarse de la manera correcta.

Si alguna vez se ha preguntado cómo los ingenieros de investigación de Grammarly construyen los sistemas que le brindan sugerencias de escritura, siga leyendo.

Antecedentes informales sobre la formalidad

Antes de profundizar en los detalles de nuestros algoritmos, echemos un vistazo a un ejemplo de lenguaje informal frente a formal.

Informal: hay que ver ambos lados de la historia

Formal: Tienes que ver ambos lados de la historia.

Hay un par de diferencias obvias entre estas oraciones. El uso de la jerga ("Gotta") y la falta de puntuación al final de la primera oración indican informalidad. Hay un momento y un lugar para este tipo de oración, por ejemplo, un intercambio de mensajes de texto entre amigos.

Cuando observamos cómo los humanos reescribían oraciones informales en un estilo más formal, encontramos que los cambios más frecuentes que hacían involucraban mayúsculas, puntuación y coloquialismos. También notamos que los humanos a veces tienen que hacer reescrituras más drásticas de una oración para mejorar la formalidad:

Informal: ¿Cuándo vienes a la reunión?

Formal: Por favor, hágame saber cuándo asistirá a la reunión.

Pero, ¿cómo enseñamos a las computadoras a hacer ediciones como las de arriba? Hay varias formas de abordar el problema.

El que usamos reconoce que enseñarle a una computadora a traducir entre estilos de escritura es similar a enseñarle a traducir idiomas. Este enfoque se llama traducción automática, donde una computadora traduce automáticamente de un idioma (como el francés) a otro (alemán). Entonces, al abordar el problema de la transferencia de estilo, tiene sentido comenzar con un modelo de traducción, o en nuestro caso, múltiples modelos.

¿Qué es un modelo de traducción?

Uno de los avances recientes en IA es el uso de técnicas de aprendizaje profundo, o redes neuronales, para construir modelos de traducción automática.

Los modelos de traducción automática neuronal (NMT) pueden aprender representaciones del significado subyacente de las oraciones. Esto ayuda al modelo a aprender patrones de oraciones complejas para que la traducción sea fluida y su significado sea fiel a la oración original.

Los enfoques más antiguos de la traducción automática, como los modelos basados ​​en reglas o frases (PBMT), dividen las oraciones en unidades más pequeñas, como palabras o frases, y las traducen de forma independiente. Esto puede conducir a errores gramaticales o resultados sin sentido en la traducción. Sin embargo, estos modelos son más fáciles de modificar y tienden a ser más conservadores, lo que puede ser una ventaja. Por ejemplo, podemos incorporar fácilmente reglas que cambien la jerga en palabras estándar.

Analizamos varios enfoques diferentes para la traducción automática para ver cuál es mejor en la transferencia de estilo.

Construcción de un modelo

NMT y PBMT están llenos de desafíos, uno de los cuales es encontrar un buen conjunto de datos con el que entrenar sus modelos. En este caso, estimamos que necesitaríamos un conjunto de datos de cientos de miles de pares de oraciones informales y formales. Idealmente, entrenaría su modelo con millones de pares de oraciones, pero dado que la transferencia de estilo es un área bastante nueva en el campo del procesamiento del lenguaje natural, realmente no había un conjunto de datos existente que pudiéramos usar. Entonces, creamos uno.

Comenzamos recopilando oraciones informales. Obtuvimos nuestras oraciones de preguntas y respuestas publicadas públicamente en Yahoo! respuestas Seleccionamos automáticamente más de cien mil oraciones informales de este conjunto e hicimos que un equipo reescribiera cada una con lenguaje formal, nuevamente usando criterios predefinidos. (Consulte nuestro documento para obtener detalles sobre este proceso).

Una vez que tenga un conjunto de datos, puede comenzar a entrenar su modelo. Entrenar el modelo significa darle muchas oraciones "fuente", en nuestro caso, oraciones informales, junto con muchas oraciones "objetivo", para nosotros, estas son las reescrituras formales. Luego, el algoritmo del modelo busca patrones para averiguar cómo llegar desde el origen hasta el destino. Cuantos más datos tenga, mejor aprenderá.

En nuestro caso, el modelo tiene cien mil oraciones fuente informales y sus reescrituras formales para aprender. También experimentamos con diferentes formas de crear datos formales artificiales para aumentar el tamaño de nuestro conjunto de datos de entrenamiento, ya que los modelos NMT y PBMT a menudo requieren muchos más datos para funcionar bien.

Pero también necesita una forma de evaluar qué tan bien su modelo está cumpliendo su tarea. ¿Cambió el significado de la oración? ¿La nueva oración es gramaticalmente correcta? ¿Es realmente más formal? Existen clasificadores, programas que pueden evaluar automáticamente el tono y el estilo de escritura de las oraciones, y probamos algunos de los más utilizados en el mundo académico. Sin embargo, ninguno de ellos es muy preciso. Entonces, terminamos haciendo que los humanos comparen los resultados de los diversos modelos que probamos y los clasifiquen por formalidad, precisión y fluidez.

Le mostramos a nuestro equipo la oración informal original, los resultados de varios modelos diferentes y la reescritura humana. No les dijimos quién, o qué, generó cada oración. Luego, clasificaron las reescrituras, permitiendo empates. Idealmente, el mejor modelo estaría empatado o incluso mejor que las reescrituras humanas. En total, el equipo obtuvo la reescritura de 500 oraciones informales.

Lo que encontramos

En total, probamos docenas de modelos, pero nos centraremos en los principales: basado en reglas, basado en frases (PBMT), basado en redes neuronales (NMT) y un par que combina varios enfoques.

Las reescrituras humanas obtuvieron la puntuación más alta en general, pero los modelos PBMT y NMT no se quedaron atrás. De hecho, hubo varios casos en los que los humanos prefirieron los resultados del modelo a los humanos. Estos dos modelos hicieron reescrituras más extensas, pero tendieron a cambiar el significado de la oración original.

Los modelos basados ​​en reglas, por otro lado, hicieron cambios menores. Esto significaba que eran mejores para preservar el significado, pero las oraciones que producían eran menos formales. A todos los modelos les resultó más fácil manejar oraciones más cortas que las más largas.

El siguiente es un ejemplo de una oración informal con sus reescrituras humanas y modelo. En este caso particular, fue el último modelo (NMT con traducción PBMT) el que logró el mejor equilibrio entre formalidad, significado y fraseo que suena natural.

Informal original: casi nunca lo veo en la escuela o generalmente lo veo en los juegos de baloncesto de mis hermanos.

Reescritura humana: casi nunca lo veo en la escuela. Suelo verlo con mis hermanos jugando baloncesto.

Modelo basado en reglas: casi nunca lo veo en la escuela o generalmente lo veo en los juegos de baloncesto de mis hermanos.

Modelo PBMT: Apenas lo veo en la escuela también, pero mis hermanos juegan al baloncesto.

Modelo NMT: Pocas veces lo veo en la escuela, tampoco lo veo en los partidos de baloncesto de mi hermano.

NMT (entrenado con datos adicionales generados por PBMT): Rara vez lo veo en la escuela o generalmente lo veo en los juegos de baloncesto de mis hermanos.

La transferencia de estilo es una nueva y emocionante área del procesamiento del lenguaje natural, con potencial para aplicaciones generalizadas. ¿Esa herramienta que planteé al principio, la que te ayuda a descubrir cómo decir lo que tienes que decir? Todavía queda mucho trabajo por hacer, pero esa herramienta es posible y será invaluable para quienes buscan trabajo, estudiantes de idiomas y cualquier persona que necesite causar una buena impresión en alguien a través de su escritura. Esperamos que al hacer públicos nuestros datos, nosotros y otros en el campo tendremos una manera de compararnos entre nosotros y hacer avanzar esta área de investigación.

En cuanto a Grammarly, este trabajo es un paso más hacia nuestra visión de crear un asistente de comunicación integral que ayude a que su mensaje se entienda tal como se pretendía.

Joel Tetreault es director de investigación en Grammarly. Sudha Rao es estudiante de doctorado en la Universidad de Maryland y fue pasante de investigación en Grammarly. Joel y Sudha presentarán esta investigación en la 16.ª Conferencia Anual del Capítulo Norteamericano de la Asociación de Lingüística Computacional: Tecnologías del Lenguaje Humano en Nueva Orleans, del 1 al 6 de junio de 2018. El artículo de investigación adjunto, titulado “Estimado señor o señora , ¿Puedo presentar el conjunto de datos de GYAFC: corpus, puntos de referencia y métricas para la transferencia de estilo de formalidad”, se publicará en las Actas de la NAACL.