Under the Hood di Grammarly: Mengubah Gaya Menulis dengan AI

Ketika Anda perlu membuat kesan yang baik pada seseorang yang Anda tuju, apa yang Anda katakan bukanlah satu-satunya hal yang perlu Anda pikirkan. Bagaimana Anda mengatakannya seringkali sama pentingnya. Memilih tingkat formalitas yang tepat dapat menjadi tantangan tersendiri—ini sangat bergantung pada konteks, dan Anda sering kali harus menebak-nebak bagaimana penerima akan menafsirkan nada Anda.

Bayangkan Anda sedang menulis surat lamaran. Seberapa besar perubahan permainan jika Anda memiliki alat yang dapat mendeteksi ketika tulisan Anda terlalu kasual (atau, terkadang lebih buruk, terlalu formal)? Tiba-tiba keputusan Anda tentang bagaimana mengatakan apa yang ingin Anda katakan menjadi jauh lebih tidak jelas. Anda tidak hanya mengandalkan tebakan tentang bagaimana penerima Anda akan melihat pesan Anda—Anda memiliki algoritme yang menggunakan banyak data yang tidak Anda miliki secara pribadi. Mengambil langkah lebih jauh, bagaimana jika alat ini tidak hanya dapat memberi tahu Anda saat ada yang tidak beres, tetapi juga menawarkan frasa alternatif yang diinginkan penerima Anda lebih baik?

Proses mendapatkan komputer untuk secara otomatis mengubah sebuah tulisan dari satu gaya ke gaya lain disebut transfer gaya, dan itu adalah subjek makalah yang akan datang yang saya tulis bersama rekan saya Sudha Rao. Ini adalah area yang menarik bagi kami di Grammarly karena kami tahu betapa pentingnya berkomunikasi dengan cara yang benar.

Jika Anda pernah bertanya-tanya bagaimana para insinyur riset di Grammarly membangun sistem yang memberikan saran penulisan kepada Anda, baca terus.

Latar Belakang Informal tentang Formalitas

Sebelum masuk ke detail algoritme kami, mari kita lihat contoh bahasa informal vs. formal.

Informal: Harus melihat kedua sisi cerita

Formal: Anda harus melihat kedua sisi cerita.

Ada beberapa perbedaan yang jelas antara kalimat-kalimat ini. Penggunaan slang (“Gotta”) dan kurangnya tanda baca di akhir kalimat pertama menandakan informalitas. Ada waktu dan tempat untuk kalimat semacam ini—pertukaran pesan teks antara teman, misalnya.

Ketika kami melihat bagaimana manusia menulis ulang kalimat informal dengan gaya yang lebih formal, kami menemukan bahwa perubahan yang paling sering mereka lakukan adalah penggunaan huruf kapital, tanda baca, dan bahasa sehari-hari. Kami juga memperhatikan bahwa manusia terkadang harus membuat penulisan ulang kalimat yang lebih drastis untuk meningkatkan formalitas:

Informal: Kapan Anda datang ke rapat?

Formal: Tolong beri tahu saya kapan Anda akan menghadiri pertemuan.

Tapi bagaimana kita mengajarkan komputer untuk mengedit seperti di atas? Ada beberapa cara untuk mendekati masalah.

Yang kami gunakan mengakui bahwa mengajar komputer untuk menerjemahkan antar gaya penulisan mirip dengan mengajarkannya untuk menerjemahkan bahasa. Pendekatan ini disebut terjemahan mesin, di mana komputer secara otomatis menerjemahkan dari satu bahasa (seperti Prancis) ke bahasa lain (Jerman). Jadi, ketika menangani masalah transfer gaya, masuk akal untuk memulai dengan model terjemahan—atau dalam kasus kami, beberapa model.

Apa itu Model Terjemahan?

Salah satu terobosan terbaru dalam AI adalah penggunaan deep learning, atau jaringan saraf, teknik untuk membangun model terjemahan mesin.

Model terjemahan mesin saraf (NMT) dapat mempelajari representasi makna yang mendasari kalimat. Ini membantu model mempelajari pola kalimat yang kompleks sehingga terjemahannya lancar dan maknanya sesuai dengan kalimat aslinya.

Pendekatan lama untuk terjemahan mesin, seperti model berbasis aturan atau frase (PBMT), memecah kalimat menjadi unit yang lebih kecil, seperti kata atau frase, dan menerjemahkannya secara mandiri. Hal ini dapat menyebabkan kesalahan tata bahasa atau hasil yang tidak masuk akal dalam terjemahan. Namun, model ini lebih mudah diubah dan cenderung lebih konservatif—yang bisa menjadi keuntungan. Misalnya, kita dapat dengan mudah memasukkan aturan yang mengubah bahasa gaul menjadi kata-kata standar.

Kami melihat beberapa pendekatan berbeda untuk terjemahan mesin untuk melihat mana yang terbaik dalam transfer gaya.

Membangun Model

NMT dan PBMT penuh dengan tantangan, salah satunya adalah menemukan kumpulan data yang baik untuk melatih model Anda. Dalam hal ini, kami memperkirakan kami akan membutuhkan kumpulan data dari ratusan ribu pasangan kalimat informal dan formal. Idealnya, Anda akan melatih model Anda dengan jutaan pasangan kalimat, tetapi karena transfer gaya adalah area yang cukup baru di bidang Pemrosesan Bahasa Alami, sebenarnya tidak ada kumpulan data yang dapat kami gunakan. Jadi, kami membuat satu.

Kami mulai dengan mengumpulkan kalimat informal. Kami mengambil kalimat kami dari pertanyaan dan tanggapan yang diposting secara publik di Yahoo! Jawaban. Kami secara otomatis memilih lebih dari seratus ribu kalimat informal dari rangkaian ini dan memiliki tim yang menulis ulang setiap kalimat dengan bahasa formal, sekali lagi menggunakan kriteria yang telah ditentukan sebelumnya. (Lihat makalah kami untuk detail tentang proses ini.)

Setelah memiliki kumpulan data, Anda dapat mulai melatih model Anda. Melatih model berarti memberinya banyak kalimat “sumber”—dalam kasus kami, kalimat informal—bersama dengan banyak kalimat “target”—bagi kami, ini adalah penulisan ulang formal. Algoritme model kemudian mencari pola untuk mencari tahu bagaimana cara berpindah dari sumber ke target. Semakin banyak data yang dimilikinya, semakin baik ia belajar.

Dalam kasus kami, model tersebut memiliki seratus ribu kalimat sumber informal dan penulisan ulang formalnya untuk dipelajari. Kami juga bereksperimen dengan berbagai cara untuk membuat data formal buatan untuk meningkatkan ukuran set data pelatihan kami, karena model NMT dan PBMT sering kali membutuhkan lebih banyak data untuk bekerja dengan baik.

Tetapi Anda juga memerlukan cara untuk mengevaluasi seberapa baik model Anda menyelesaikan tugasnya. Apakah arti kalimatnya berubah? Apakah kalimat baru itu benar secara tata bahasa? Apakah ini sebenarnya lebih formal? Ada pengklasifikasi di luar sana—program yang dapat secara otomatis mengevaluasi kalimat untuk nada dan gaya penulisan—dan kami menguji beberapa yang paling umum digunakan di dunia akademis. Namun, tidak satupun dari mereka yang sangat akurat. Jadi, kami akhirnya meminta manusia membandingkan output dari berbagai model yang kami uji dan memeringkatnya berdasarkan formalitas, akurasi, dan kelancaran.

Kami menunjukkan kepada tim kami kalimat informal asli, keluaran dari beberapa model berbeda, dan penulisan ulang manusia. Kami tidak memberi tahu mereka siapa—atau apa—yang membuat setiap kalimat. Kemudian, mereka memberi peringkat pada penulisan ulang, memungkinkan ikatan. Idealnya, model terbaik akan diikat dengan atau bahkan lebih baik daripada penulisan ulang manusia. Secara keseluruhan, tim mencetak ulang 500 kalimat informal.

Apa yang Kami Temukan

Secara keseluruhan, kami menguji lusinan model, tetapi kami akan fokus pada yang teratas: berbasis aturan, berbasis frasa (PBMT), berbasis jaringan saraf (NMT), dan pasangan yang menggabungkan berbagai pendekatan.

Penulisan ulang manusia mencetak skor tertinggi secara keseluruhan, tetapi model PBMT dan NMT tidak jauh di belakang. Bahkan, ada beberapa kasus di mana manusia lebih menyukai keluaran model daripada manusia. Kedua model ini membuat penulisan ulang yang lebih ekstensif, tetapi cenderung mengubah makna kalimat aslinya.

Model berbasis aturan, di sisi lain, membuat perubahan yang lebih kecil. Ini berarti mereka lebih baik dalam mempertahankan makna, tetapi kalimat yang mereka hasilkan kurang formal. Semua model memiliki waktu yang lebih mudah untuk menangani kalimat yang lebih pendek daripada yang lebih panjang.

Berikut ini adalah contoh kalimat informal dengan penulisan ulang manusia dan modelnya. Dalam kasus khusus ini, model terakhir (NMT dengan terjemahan PBMT) yang memberikan keseimbangan terbaik antara formalitas, makna, dan ungkapan yang terdengar alami.

Asli informal: saya hampir tidak pernah melihatnya di sekolah juga biasanya saya melihat dia di pertandingan basket saudara laki-laki saya.

Penulisan ulang manusia: Saya hampir tidak pernah melihatnya di sekolah. Saya biasanya melihatnya dengan saudara laki-laki saya bermain basket.

Model berbasis aturan: Saya hampir tidak pernah melihatnya di sekolah, biasanya saya melihatnya di pertandingan basket saudara laki-laki saya.

Model PBMT: Saya jarang melihatnya di sekolah juga, tapi adik-adik saya bermain basket.

Model NMT: Saya jarang melihatnya di sekolah, baik saya melihatnya di pertandingan basket saudara laki-laki saya.

NMT (dilatih dengan data tambahan yang dihasilkan PBMT): Saya jarang melihatnya di sekolah juga biasanya saya melihatnya di pertandingan basket saudara laki-laki saya.

Transfer gaya adalah area baru yang menarik dalam pemrosesan bahasa alami, dengan potensi aplikasi yang luas. Alat yang saya hipotesiskan di awal—alat yang membantu Anda mengetahui bagaimana mengatakan apa yang perlu Anda katakan? Masih banyak pekerjaan yang harus dilakukan, tetapi alat itu mungkin, dan itu akan sangat berharga bagi pencari kerja, pelajar bahasa, dan siapa saja yang perlu membuat kesan yang baik pada seseorang melalui tulisan mereka. Kami berharap dengan mempublikasikan data kami, kami dan orang lain di lapangan akan memiliki cara untuk saling membandingkan dan memajukan bidang penelitian ini.

Adapun Grammarly, pekerjaan ini merupakan langkah lain menuju visi kami untuk menciptakan asisten komunikasi yang komprehensif yang membantu pesan Anda dipahami sebagaimana dimaksud.

Joel Tetreault adalah Direktur Riset di Grammarly. Sudha Rao adalah mahasiswa PhD di University of Maryland dan magang penelitian di Grammarly. Joel dan Sudha akan mempresentasikan penelitian ini pada Konferensi Tahunan ke-16 Bab Amerika Utara dari Asosiasi Linguistik Komputasi: Teknologi Bahasa Manusia di New Orleans, 1-6 Juni 2018. Makalah penelitian yang menyertainya, berjudul “Dear Sir or Madam , Bolehkah Saya Memperkenalkan Kumpulan Data GYAFC: Corpus, Tolok Ukur, dan Metrik untuk Transfer Gaya Formalitas,” akan diterbitkan dalam Prosiding NAACL.