Under the Hood at Grammarly: Trasformare lo stile di scrittura con l'intelligenza artificiale

Quando devi fare una buona impressione su qualcuno a cui stai scrivendo, quello che dici non è l'unica cosa a cui devi pensare. Come lo dici spesso è altrettanto importante. Scegliere il giusto livello di formalità può essere una sfida particolare: dipende fortemente dal contesto e spesso devi fare ipotesi su come il destinatario interpreterà il tuo tono.

Immagina di scrivere una lettera di presentazione. Quanto cambierebbe il gioco se avessi uno strumento in grado di rilevare quando la tua scrittura è troppo casuale (o, a volte anche peggio, troppo formale)? Improvvisamente le tue decisioni su come dire quello che stai cercando di dire diventano molto meno oscure. Non ti stai solo basando su congetture su come il destinatario percepirà il tuo messaggio: hai un algoritmo che attinge molti dati che non hai personalmente. Facendo un ulteriore passo avanti, cosa accadrebbe se questo strumento non solo potesse dirti quando qualcosa non va, ma in realtà offrirti un fraseggio alternativo che il tuo destinatario vorrebbe di più?

Il processo per fare in modo che un computer trasformi automaticamente un pezzo di scrittura da uno stile all'altro è chiamato trasferimento di stile ed è l'argomento di un prossimo articolo che ho scritto con il mio collega Sudha Rao. È un'area di particolare interesse per noi di Grammarly perché sappiamo quanto sia importante comunicare nel modo giusto.

Se ti sei mai chiesto come i ricercatori di Grammarly costruiscono i sistemi che ti forniscono suggerimenti per la scrittura, continua a leggere.

Uno sfondo informale sulla formalità

Prima di addentrarci nei dettagli dei nostri algoritmi, diamo un'occhiata a un esempio di linguaggio informale vs. formale.

Informale: devo vedere entrambi i lati della storia

Formale: devi vedere entrambi i lati della storia.

Ci sono un paio di ovvie differenze tra queste frasi. L'uso dello slang ("Gotta") e la mancanza di punteggiatura alla fine della prima frase segnalano l'informalità. C'è un tempo e un luogo per questo tipo di frase, ad esempio uno scambio di messaggi di testo tra amici.

Quando abbiamo esaminato il modo in cui gli esseri umani riscrivevano frasi informali in uno stile più formale, abbiamo scoperto che i cambiamenti più frequenti che facevano riguardavano le maiuscole, la punteggiatura e i colloquialismi. Abbiamo anche notato che gli esseri umani a volte devono fare riscritture più drastiche di una frase per migliorare la formalità:

Informale: quando verrai alla riunione?

Formale: Per favore fatemi sapere quando parteciperete alla riunione.

Ma come insegniamo ai computer a fare modifiche come quelle sopra? Ci sono diversi modi per affrontare il problema.

Quello che usiamo riconosce che insegnare a un computer a tradurre tra stili di scrittura è simile a insegnargli a tradurre le lingue. Questo approccio è chiamato traduzione automatica, in cui un computer traduce automaticamente da una lingua (come il francese) a un'altra (tedesco). Quindi, quando si affronta il problema del trasferimento di stile, ha senso iniziare con un modello di traduzione o, nel nostro caso, più modelli.

Che cos'è un modello di traduzione?

Una delle recenti scoperte nell'IA è l'uso di tecniche di deep learning, o reti neurali, per costruire modelli di traduzione automatica.

I modelli di traduzione automatica neurale (NMT) possono apprendere le rappresentazioni del significato sottostante delle frasi. Questo aiuta il modello ad apprendere schemi di frasi complesse in modo che la traduzione sia fluente e il suo significato sia fedele alla frase originale.

I vecchi approcci alla traduzione automatica, come i modelli basati su regole o frasi (PBMT), suddividono le frasi in unità più piccole, come parole o frasi, e le traducono in modo indipendente. Questo può portare a errori grammaticali o risultati privi di senso nella traduzione. Tuttavia, questi modelli sono più facili da modificare e tendono ad essere più conservativi, il che può essere un vantaggio. Ad esempio, possiamo facilmente incorporare regole che cambiano lo slang in parole standard.

Abbiamo esaminato diversi approcci alla traduzione automatica per vedere quale è il migliore nel trasferimento di stile.

Costruire un modello

NMT e PBMT sono piene di sfide, non ultima la ricerca di un buon set di dati con cui addestrare i tuoi modelli. In questo caso, abbiamo stimato che avremmo bisogno di un set di dati di centinaia di migliaia di coppie di frasi informali e formali. Idealmente, addestreresti il ​​tuo modello con milioni di coppie di frasi, ma poiché il trasferimento di stile è un'area abbastanza nuova nel campo dell'elaborazione del linguaggio naturale, non esisteva davvero un set di dati esistente che potessimo utilizzare. Quindi, ne abbiamo creato uno.

Abbiamo iniziato raccogliendo frasi informali. Abbiamo tratto le nostre frasi da domande e risposte pubblicate pubblicamente su Yahoo! Risposte. Abbiamo selezionato automaticamente più di centomila frasi informali da questo set e abbiamo chiesto a un team di riscriverle ciascuna con un linguaggio formale, sempre utilizzando criteri predefiniti. (Consulta il nostro documento per i dettagli su questo processo.)

Una volta che hai un set di dati, puoi iniziare ad addestrare il tuo modello. Addestrare il modello significa dargli molte frasi "fonte" - nel nostro caso, frasi informali - insieme a molte frasi "bersaglio" - per noi queste sono le riscritture formali. L'algoritmo del modello cerca quindi i modelli per capire come passare dalla sorgente alla destinazione. Più dati ha, meglio impara.

Nel nostro caso, il modello ha centomila frasi di origine informali e le loro riscritture formali da cui imparare. Abbiamo anche sperimentato diversi modi per creare dati formali artificiali per aumentare le dimensioni del nostro set di dati di addestramento, poiché i modelli NMT e PBMT spesso richiedono molti più dati per funzionare bene.

Ma hai anche bisogno di un modo per valutare quanto bene il tuo modello sta svolgendo il suo compito. Il significato della frase è cambiato? La nuova frase è grammaticalmente corretta? È davvero più formale? Ci sono classificatori là fuori - programmi che possono valutare automaticamente le frasi per il tono e lo stile di scrittura - e abbiamo testato alcuni di quelli più comunemente usati nel mondo accademico. Tuttavia, nessuno di loro è molto preciso. Quindi, abbiamo finito per fare in modo che gli esseri umani confrontassero i risultati dei vari modelli che abbiamo testato e li classificavamo in base a formalità, accuratezza e fluidità.

Abbiamo mostrato al nostro team la frase informale originale, i risultati di diversi modelli e la riscrittura umana. Non abbiamo detto loro chi, o cosa, ha generato ogni frase. Quindi, hanno classificato le riscritture, consentendo pareggi. Idealmente, il miglior modello sarebbe legato o addirittura migliore delle riscritture umane. In tutto, la squadra ha segnato le riscritture di 500 frasi informali.

Cosa abbiamo trovato

Nel complesso, abbiamo testato dozzine di modelli, ma ci concentreremo sui migliori: basati su regole, basati su frasi (PBMT), basati su reti neurali (NMT) e un paio che combinavano vari approcci.

Le riscritture umane hanno ottenuto il punteggio più alto in assoluto, ma i modelli PBMT e NMT non erano molto indietro. In effetti, ci sono stati diversi casi in cui gli umani hanno preferito gli output del modello a quelli umani. Questi due modelli fecero riscritture più estese, ma tendevano a cambiare il significato della frase originale.

I modelli basati su regole, invece, hanno apportato modifiche minori. Ciò significava che erano più bravi a preservare il significato, ma le frasi che producevano erano meno formali. Tutti i modelli hanno avuto un tempo più facile nel gestire frasi più brevi rispetto a quelle più lunghe.

Quello che segue è un esempio di una frase informale con le sue riscritture umane e modello. In questo caso particolare, è stato l'ultimo modello (NMT con traduzione PBMT) a trovare il miglior equilibrio tra formalità, significato e fraseggio dal suono naturale.

Informale originale: non lo vedo quasi mai a scuola, di solito lo vedo alle partite di basket dei miei fratelli.

Riscrittura umana: non lo vedo quasi mai a scuola. Di solito lo vedo con i miei fratelli che giocano a basket.

Modello basato sulle regole: non lo vedo quasi mai a scuola, di solito lo vedo alle partite di basket dei miei fratelli.

Modello PBMT: Lo vedo poco anche a scuola, ma i miei fratelli giocano a basket.

Modello NMT: Lo vedo raramente a scuola, né lo vedo alle partite di basket di mio fratello.

NMT (addestrato su dati aggiuntivi generati da PBMT): lo vedo raramente a scuola, di solito lo vedo alle partite di basket dei miei fratelli.

Il trasferimento di stile è una nuova entusiasmante area di elaborazione del linguaggio naturale, con il potenziale per applicazioni diffuse. Quello strumento che ho ipotizzato all'inizio, quello che ti aiuta a capire come dire quello che devi dire? C'è ancora molto lavoro da fare, ma quello strumento è possibile e sarà prezioso per chi cerca lavoro, per chi studia le lingue e per chiunque abbia bisogno di fare una buona impressione su qualcuno attraverso la propria scrittura. Ci auguriamo che, rendendo pubblici i nostri dati, noi e gli altri nel campo avremo un modo per confrontarci a vicenda e far progredire quest'area di ricerca.

Per quanto riguarda Grammarly, questo lavoro è ancora un altro passo verso la nostra visione di creare un assistente di comunicazione completo che aiuti il ​​tuo messaggio a essere compreso proprio come previsto.

Joel Tetreault è Direttore della Ricerca presso Grammarly. Sudha Rao è una studentessa di dottorato presso l'Università del Maryland ed è stata una stagista di ricerca presso Grammarly. Joel e Sudha presenteranno questa ricerca alla 16a conferenza annuale del capitolo nordamericano dell'Association for Computational Linguistics: Human Language Technologies a New Orleans, dall'1 al 6 giugno 2018. Il documento di ricerca di accompagnamento, intitolato "Dear Sir or Madam , Posso presentare il set di dati GYAFC: Corpus, benchmarks and Metrics for Formality Style Transfer", sarà pubblicato negli atti della NAACL.