Under the Hood Grammarly'de: Yazma Stilini Yapay Zeka ile Dönüştürmek

Yazdığınız biri üzerinde iyi bir izlenim bırakmanız gerektiğinde, düşünmeniz gereken tek şey söyledikleriniz değildir. Nasıl söylediğin çoğu zaman aynı derecede önemlidir. Doğru formalite seviyesini seçmek özel bir zorluk olabilir - bu oldukça bağlama bağımlıdır ve genellikle alıcınızın tonunuzu nasıl yorumlayacağına dair tahminlerde bulunmanız gerekir.

Bir kapak mektubu yazdığınızı hayal edin. Yazınızın çok sıradan (veya bazen daha da kötüsü, çok resmi) olduğunu algılayabilecek bir aracınız olsaydı, bu ne kadar büyük bir değişiklik olurdu? Aniden, söylemeye çalıştığınız şeyi nasıl söyleyeceğinize dair kararlarınız çok daha az bulanık hale gelir. Sadece alıcınızın mesajınızı nasıl algılayacağına dair tahminlere güvenmiyorsunuz - kişisel olarak sahip olmadığınız birçok veriden yararlanan bir algoritmanız var. Bir adım daha ileri gidersek, bu araç size yalnızca bir şeylerin yolunda gitmediğini söylemekle kalmayıp, aslında alıcınızın daha iyi isteyeceği alternatif ifadeler sunuyorsa?

Bir yazı parçasını bir tarzdan diğerine otomatik olarak dönüştürmek için bir bilgisayara sahip olma sürecine stil aktarımı denir ve bu, meslektaşım Sudha Rao ile birlikte yazacağım yakında çıkacak bir makalenin konusu. Bu, Grammarly'de bizim için özel bir ilgi alanı çünkü doğru şekilde iletişim kurmanın ne kadar önemli olduğunu biliyoruz.

Grammarly'deki araştırma mühendislerinin size yazma önerileri sunan sistemleri nasıl oluşturduklarını hiç merak ettiyseniz, okumaya devam edin.

Formalite Üzerine Gayri Resmi Bir Arka Plan

Algoritmalarımızın ayrıntılarına dalmadan önce, resmi olmayan ve resmi dil örneğine bir göz atalım.

Gayri resmi: Hikayenin her iki tarafını da görmeliyim

Resmi: Hikayenin her iki tarafını da görmelisiniz.

Bu cümleler arasında birkaç bariz fark var. Argo kullanımı (“Gotta”) ve ilk cümlenin sonunda noktalama işaretinin olmaması, kayıt dışılığın işaretidir. Bu tür bir cümlenin yeri ve zamanı vardır, örneğin arkadaşlar arasında kısa mesaj alışverişi.

İnsanların resmi olmayan cümleleri daha resmi bir tarzda nasıl yeniden yazdıklarına baktığımızda, yaptıkları en sık değişikliklerin büyük harf kullanımı, noktalama işaretleri ve konuşma diliyle ilgili olduğunu gördük. Ayrıca, formaliteyi iyileştirmek için insanların bazen bir cümleyi daha sert yeniden yazmaları gerektiğini fark ettik:

Gayri resmi: Toplantıya ne zaman geliyorsun?

Resmi: Lütfen toplantıya ne zaman katılacağınızı bana bildirin.

Ancak bilgisayarlara yukarıdaki gibi düzenlemeler yapmayı nasıl öğretebiliriz? Soruna yaklaşmanın birkaç yolu vardır.

Kullandığımız, bir bilgisayara yazma stilleri arasında çeviri yapmayı öğretmenin, ona dilleri çevirmeyi öğretmeye benzer olduğunu kabul ediyor. Bu yaklaşıma, bir bilgisayarın otomatik olarak bir dilden (Fransızca gibi) diğerine (Almanca) çeviri yaptığı makine çevirisi denir. Bu nedenle, üslup aktarımı sorunuyla uğraşırken, bir çeviri modeliyle veya bizim durumumuzda birden fazla modelle başlamak mantıklıdır.

Çeviri Modeli Nedir?

Yapay zekadaki son gelişmelerden biri, makine çevirisi modelleri oluşturmak için derin öğrenme veya sinir ağı tekniklerinin kullanılmasıdır.

Sinirsel makine çevirisi (NMT) modelleri, cümlelerin altında yatan anlamların temsillerini öğrenebilir. Bu, çevirinin akıcı olması ve anlamının orijinal cümleye sadık kalması için modelin karmaşık cümle kalıplarını öğrenmesine yardımcı olur.

Kural tabanlı veya tümcecik tabanlı modeller (PBMT) gibi daha eski makine çevirisi yaklaşımları, cümleleri sözcükler veya sözcük öbekleri gibi daha küçük birimlere ayırır ve bağımsız olarak çevirir. Bu, çeviride dilbilgisi hatalarına veya anlamsız sonuçlara yol açabilir. Bununla birlikte, bu modellerin ayarlanması daha kolaydır ve daha muhafazakar olma eğilimindedir - bu bir avantaj olabilir. Örneğin, argoyu standart kelimelere dönüştüren kuralları kolayca dahil edebiliriz.

Hangisinin stil aktarımında en iyi olduğunu görmek için makine çevirisine yönelik birkaç farklı yaklaşıma baktık.

Model Oluşturma

NMT ve PBMT, en az modellerinizi eğitmek için iyi bir veri kümesi bulmak olan zorluklarla doludur. Bu durumda, yüz binlerce resmi olmayan ve resmi cümle çiftinden oluşan bir veri setine ihtiyacımız olacağını tahmin ettik. İdeal olarak, modelinizi milyonlarca cümle çiftiyle eğitirsiniz, ancak stil aktarımı, Doğal Dil İşleme alanında oldukça yeni bir alan olduğundan, gerçekten kullanabileceğimiz mevcut bir veri kümesi yoktu. Yani, bir tane oluşturduk.

Gayri resmi cümleler toplayarak başladık. Cümlelerimizi Yahoo!'da herkese açık olarak yayınlanan soru ve yanıtlardan aldık. Yanıtlar. Bu kümeden yüz binden fazla resmi olmayan cümleyi otomatik olarak seçtik ve bir ekibe, yine önceden tanımlanmış kriterleri kullanarak her birini resmi dille yeniden yazmasını sağladık. (Bu işlemle ilgili ayrıntılar için makalemize bakın.)

Bir veri kümeniz olduğunda, modelinizi eğitmeye başlayabilirsiniz. Modeli eğitmek, ona çok sayıda "kaynak" cümle vermek anlamına gelir - bizim durumumuzda, gayri resmi cümleler - ve birçok "hedef" cümle - bizim için bunlar resmi yeniden yazmalardır. Modelin algoritması daha sonra kaynaktan hedefe nasıl ulaşılacağını bulmak için kalıpları arar. Ne kadar çok veriye sahip olursa, o kadar iyi öğrenir.

Bizim durumumuzda, modelin yüz bin gayri resmi kaynak cümlesi ve onlardan öğrenilecek resmi yeniden yazmaları var. NMT ve PBMT modelleri genellikle iyi performans göstermek için çok daha fazla veri gerektirdiğinden, eğitim veri setimizin boyutunu artırmak için yapay resmi veriler oluşturmanın farklı yollarını da denedik.

Ama aynı zamanda modelinizin görevini ne kadar iyi yerine getirdiğini değerlendirmenin bir yoluna da ihtiyacınız var. Cümlenin anlamı değişti mi? Yeni cümle dilbilgisi açısından doğru mu? Aslında daha resmi mi? Cümleleri ton ve yazı stili açısından otomatik olarak değerlendirebilen programlar gibi sınıflandırıcılar var ve akademide en yaygın olarak kullanılanlardan bazılarını test ettik. Ancak, hiçbiri çok doğru değil. Böylece, test ettiğimiz çeşitli modellerin çıktılarını karşılaştıran ve bunları formalite, doğruluk ve akıcılığa göre sıralayan insanlara sahip olduk.

Ekibimize orijinal resmi olmayan cümleyi, birkaç farklı modelin çıktılarını ve insan yeniden yazmasını gösterdik. Onlara her cümleyi kimin veya neyin oluşturduğunu söylemedik. Ardından, yeniden yazmaları sıralayarak bağlara izin verdiler. İdeal olarak, en iyi model, insan yeniden yazmalarıyla bağlantılı veya hatta onlardan daha iyi olacaktır. Toplamda, takım 500 resmi olmayan cümlenin yeniden yazılmasını puanladı.

Ne Bulduk

Düzinelerce modeli test ettik, ancak en önemlilerine odaklanacağız: kural tabanlı, ifade tabanlı (PBMT), sinir ağı tabanlı (NMT) ve çeşitli yaklaşımları birleştiren bir çift.

İnsan yeniden yazmaları genel olarak en yüksek puanı aldı, ancak PBMT ve NMT modelleri o kadar geride değildi. Aslında, insanların model çıktılarını insan çıktılarına tercih ettiği birkaç durum vardı. Bu iki model daha kapsamlı yeniden yazmalar yaptı, ancak orijinal cümlenin anlamını değiştirme eğilimindeydiler.

Kural tabanlı modeller ise daha küçük değişiklikler yaptı. Bu, anlamı korumada daha iyi oldukları anlamına geliyordu, ancak ürettikleri cümleler daha az resmiydi. Modellerin tümü, uzun cümlelere göre daha kısa cümleleri ele alırken daha kolay bir zamana sahipti.

Aşağıdaki, insan ve model yeniden yazmalarıyla resmi olmayan bir cümle örneğidir. Bu özel durumda, formalite, anlam ve kulağa doğal gelen ifadeler arasında en iyi dengeyi sağlayan son modeldi (PBMT çevirisine sahip NMT).

Orijinal gayri resmi: Onu okulda neredeyse hiç görmüyorum ya da genellikle onu kardeşlerimin basketbol maçlarında görüyorum.

İnsan yeniden yazma: Onu okulda neredeyse hiç görmüyorum. Onu genellikle erkek kardeşlerimle basketbol oynarken görüyorum.

Kural tabanlı model: Onu okulda neredeyse hiç görmüyorum ya da genellikle onu kardeşlerimin basketbol maçlarında görüyorum.

PBMT modeli: Onu okulda da pek görmüyorum ama kardeşlerim basketbol maçlarında.

NMT modeli: Onu okulda nadiren görüyorum, ya kardeşimin basketbol maçlarında görüyorum.

NMT (PBMT tarafından oluşturulan ek verilerle eğitilmiştir): Onu okulda nadiren görüyorum ya da genellikle onu kardeşlerimin basketbol maçlarında görüyorum.

Stil aktarımı, yaygın uygulama potansiyeline sahip, heyecan verici yeni bir doğal dil işleme alanıdır. Başta varsaydığım o araç—söylemeniz gereken şeyi nasıl söyleyeceğinizi anlamanıza yardımcı olan araç mı? Hâlâ yapılacak çok iş var, ancak bu araç mümkün ve iş arayanlar, dil öğrenenler ve yazılarıyla birileri üzerinde iyi bir izlenim bırakması gereken herkes için çok değerli olacak. Verilerimizi herkese açık hale getirerek, biz ve bu alandaki diğer kişilerin birbirimizi kıyaslama ve bu araştırma alanını ileriye taşımanın bir yolunu bulacağımızı umuyoruz.

Grammarly'ye gelince, bu çalışma, mesajınızın tam da amaçlandığı gibi anlaşılmasına yardımcı olan kapsamlı bir iletişim asistanı yaratma vizyonumuz için bir başka adımdır.

Joel Tetreault, Grammarly'de Araştırma Direktörüdür. Sudha Rao, Maryland Üniversitesi'nde doktora öğrencisi ve Grammarly'de araştırma stajyeriydi. Joel ve Sudha bu araştırmayı 1-6 Haziran 2018 tarihlerinde New Orleans'ta düzenlenen Association for the Association for Computational Linguistics: Human Language Technologies'in Kuzey Amerika Bölümünün 16. Yıllık Konferansı'nda sunacaklar. , GYAFC Veri Kümesini Tanıtabilir miyim: Formalite Stil Transferi için Derlem, Karşılaştırmalar ve Metrikler”, Proceedings of the NAACL'de yayınlanacaktır.