Under the Hood at Grammarly: تحويل أسلوب الكتابة باستخدام الذكاء الاصطناعي

عندما تحتاج إلى ترك انطباع جيد لدى شخص ما تكتب إليه ، فإن ما تقوله ليس هو الشيء الوحيد الذي تحتاج إلى التفكير فيه. كيف تقول أنه غالبًا ما يكون بنفس الأهمية. يمكن أن يمثل اختيار المستوى المناسب من الإجراءات الرسمية تحديًا خاصًا - فهو يعتمد إلى حد كبير على السياق ، وغالبًا ما يتعين عليك إجراء تخمينات حول كيفية تفسير المستلم لهجتك.

تخيل أنك تكتب خطاب تغطية. ما مقدار التغيير في قواعد اللعبة إذا كان لديك أداة يمكنها اكتشاف ما إذا كانت كتابتك غير رسمية (أو ، في بعض الأحيان أسوأ ، رسمية للغاية)؟ فجأة أصبحت قراراتك حول كيفية قول ما تحاول قوله أقل غموضًا. أنت لا تعتمد فقط على التخمين حول كيفية إدراك المستلم لرسالتك - فلديك خوارزمية تعتمد على الكثير من البيانات التي لا تمتلكها شخصيًا. بأخذها خطوة إلى الأمام ، ماذا لو لم تستطع هذه الأداة إخبارك فقط عند توقف شيء ما ، ولكنها في الواقع تقدم لك صياغة بديلة يود المستلم أفضل منها؟

تسمى عملية الحصول على جهاز كمبيوتر يقوم تلقائيًا بتحويل جزء من الكتابة من نمط إلى آخر بنقل النمط ، وهو موضوع ورقة قادمة كتبتها مع زميلي Sudha Rao. إنه مجال ذو أهمية خاصة بالنسبة لنا هنا في Grammarly لأننا نعلم مدى أهمية التواصل بالطريقة الصحيحة.

إذا تساءلت يومًا عن كيفية قيام مهندسي البحث في Grammarly ببناء الأنظمة التي تقدم لك اقتراحات كتابية ، فتابع القراءة.

خلفية غير رسمية عن الشكليات

قبل الغوص في تفاصيل الخوارزميات الخاصة بنا ، دعنا نلقي نظرة على مثال من اللغة الرسمية مقابل اللغة الرسمية.

غير رسمي: يجب أن أرى جانبي القصة

رسمي: عليك أن ترى جانبي القصة.

هناك نوعان من الاختلافات الواضحة بين هذه الجمل. استخدام اللغة العامية ("فلدي") وعدم وجود علامات الترقيم في نهاية الجملة الأولى يشير إلى السمة غير الرسمية. هناك وقت ومكان لهذا النوع من الجملة — على سبيل المثال تبادل الرسائل النصية بين الأصدقاء.

عندما نظرنا في كيفية قيام البشر بإعادة كتابة الجمل غير الرسمية بأسلوب أكثر رسمية ، وجدنا أن التغييرات الأكثر شيوعًا التي قاموا بها تضمنت استخدام الأحرف الكبيرة وعلامات الترقيم والعامية. لاحظنا أيضًا أنه يتعين على البشر أحيانًا إعادة كتابة جملة أكثر تشددًا لتحسين الشكل:

غير رسمي: متى ستحضر الاجتماع؟

رسمي: يرجى إعلامي بالموعد الذي ستحضر فيه الاجتماع.

ولكن كيف نعلم أجهزة الكمبيوتر إجراء تعديلات مثل تلك المذكورة أعلاه؟ هناك عدة طرق للتعامل مع المشكلة.

يعترف الشخص الذي نستخدمه بأن تعليم الكمبيوتر للترجمة بين أساليب الكتابة يشبه تعليمه ترجمة اللغات. يُطلق على هذا النهج اسم الترجمة الآلية ، حيث يترجم الكمبيوتر تلقائيًا من لغة (مثل الفرنسية) إلى أخرى (الألمانية). لذلك عند معالجة مشكلة نقل النمط ، من المنطقي البدء بنموذج ترجمة - أو في حالتنا ، نماذج متعددة.

ما هو نموذج الترجمة؟

أحد الإنجازات الأخيرة في الذكاء الاصطناعي هو استخدام تقنيات التعلم العميق أو الشبكة العصبية لبناء نماذج الترجمة الآلية.

يمكن أن تتعلم نماذج الترجمة الآلية العصبية (NMT) تمثيلات المعنى الأساسي للجمل. يساعد هذا النموذج في تعلم أنماط الجمل المعقدة بحيث تكون الترجمة بطلاقة ويكون معناها وفيا للجملة الأصلية.

الأساليب القديمة للترجمة الآلية ، مثل النماذج المستندة إلى القواعد أو العبارات (PBMT) ، تقسم الجمل إلى وحدات أصغر ، مثل الكلمات أو العبارات ، وترجمتها بشكل مستقل. يمكن أن يؤدي هذا إلى أخطاء نحوية أو نتائج غير منطقية في الترجمة. ومع ذلك ، فإن هذه النماذج أسهل في التعديل وتميل إلى أن تكون أكثر تحفظًا - مما قد يكون ميزة. على سبيل المثال ، يمكننا بسهولة دمج القواعد التي تغير اللغة العامية إلى كلمات قياسية.

نظرنا في عدة طرق مختلفة للترجمة الآلية لمعرفة الأفضل في نقل الأسلوب.

بناء نموذج

إن NMT و PBMT مليئين بالتحديات ، وليس أقلها إيجاد مجموعة بيانات جيدة لتدريب النماذج الخاصة بك. في هذه الحالة ، قدرنا أننا سنحتاج إلى مجموعة بيانات من مئات الآلاف من أزواج الجمل الرسمية وغير الرسمية. من الناحية المثالية ، يمكنك تدريب نموذجك بملايين أزواج الجمل ، ولكن نظرًا لأن نقل النمط مجال جديد إلى حد ما في مجال معالجة اللغة الطبيعية ، لم تكن هناك مجموعة بيانات موجودة بالفعل يمكننا استخدامها. لذلك ، أنشأنا واحدة.

بدأنا بجمع الجمل غير الرسمية. لقد حصلنا على جملنا من الأسئلة والردود المنشورة علنًا على Yahoo! الإجابات. لقد اخترنا تلقائيًا أكثر من مائة ألف جملة غير رسمية من هذه المجموعة وقام فريق بإعادة كتابة كل جملة بلغة رسمية ، مرة أخرى باستخدام معايير محددة مسبقًا. (راجع ورقتنا للحصول على تفاصيل حول هذه العملية.)

بمجرد أن يكون لديك مجموعة بيانات ، يمكنك البدء في تدريب النموذج الخاص بك. يعني تدريب النموذج إعطائه الكثير من جمل "المصدر" - في حالتنا ، الجمل غير الرسمية - جنبًا إلى جنب مع الكثير من الجمل "الهدف" - بالنسبة لنا ، هذه هي إعادة الكتابة الرسمية. تبحث خوارزمية النموذج بعد ذلك عن أنماط لمعرفة كيفية الانتقال من المصدر إلى الهدف. كلما زادت البيانات ، كان يتعلم بشكل أفضل.

في حالتنا ، يحتوي النموذج على مائة ألف جملة مصدر غير رسمية وإعادة كتابتها الرسمية للتعلم منها. لقد جربنا أيضًا طرقًا مختلفة لإنشاء بيانات رسمية اصطناعية لزيادة حجم مجموعة بيانات التدريب لدينا ، نظرًا لأن نماذج NMT و PBMT غالبًا ما تتطلب الكثير من البيانات لأداء جيد.

لكنك تحتاج أيضًا إلى طريقة لتقييم مدى نجاح نموذجك في إنجاز مهمته. هل تغير معنى الجملة؟ هل الجملة الجديدة صحيحة نحويًا؟ هل هو في الواقع أكثر رسمية؟ هناك مُصنِّفات - برامج يمكنها تقييم الجمل تلقائيًا حسب الأسلوب وأسلوب الكتابة - وقد اختبرنا بعضًا من أكثرها شيوعًا في الأوساط الأكاديمية. ومع ذلك ، لا أحد منهم دقيق للغاية. لذلك ، انتهى بنا الأمر إلى جعل البشر يقارنون مخرجات النماذج المختلفة التي اختبرناها وتصنيفها حسب الشكليات والدقة والطلاقة.

أظهرنا لفريقنا الجملة غير الرسمية الأصلية ، والمخرجات من عدة نماذج مختلفة ، وإعادة الكتابة البشرية. لم نخبرهم من - أو ماذا - أنشأ كل جملة. ثم قاموا بترتيب المعاد كتابته ، مما سمح بالعلاقات. من الناحية المثالية ، سيكون أفضل نموذج مرتبطًا أو حتى أفضل من إعادة الكتابة البشرية. إجمالاً ، سجل الفريق إعادة كتابة 500 جملة غير رسمية.

ما وجدناه

أخيرًا ، اختبرنا العشرات من النماذج ، لكننا سنركز على النماذج الأعلى: المستندة إلى القواعد ، والقائمة على العبارة (PBMT) ، والقائمة على الشبكة العصبية (NMT) ، وزوجين يجمعان مناهج مختلفة.

سجلت عمليات إعادة الكتابة البشرية أعلى درجات ، لكن نماذج PBMT و NMT لم تتأخر كثيرًا. في الواقع ، كانت هناك العديد من الحالات حيث فضل البشر مخرجات النموذج على المخرجات البشرية. قام هذان النموذجان بإعادة كتابة أكثر شمولاً ، لكنهما كانا يميلان إلى تغيير معنى الجملة الأصلية.

من ناحية أخرى ، أحدثت النماذج المستندة إلى القواعد تغييرات أصغر. هذا يعني أنهم كانوا أفضل في الحفاظ على المعنى ، لكن الجمل التي ينتجونها كانت أقل رسمية. كان لدى جميع النماذج وقت أسهل في التعامل مع جمل أقصر من الجمل الأطول.

فيما يلي مثال على جملة غير رسمية مع إعادة كتابتها البشرية والنموذجية. في هذه الحالة بالذات ، كان النموذج الأخير (NMT مع ترجمة PBMT) هو الذي حقق أفضل توازن بين الشكليات والمعنى والصياغة الطبيعية.

الأصل غير الرسمي: نادرًا ما أراه في المدرسة ، أما عادة ما أشاهده في مباريات كرة السلة لإخوتي.

إعادة كتابة الإنسان: نادرًا ما أراه في المدرسة. عادة ما أراه مع إخوتي يلعبون كرة السلة.

نموذج قائم على القواعد: نادرًا ما أراه في المدرسة ، أما عادة ما أشاهده في مباريات كرة السلة لإخوتي.

نموذج PBMT: نادرًا ما أراه في المدرسة أيضًا ، لكن أشقائي في مباريات كرة السلة.

نموذج NMT: نادرًا ما أراه في المدرسة ، إما أن أراه في مباريات كرة السلة لأخي.

NMT (تم تدريبه على بيانات إضافية تم إنشاؤها بواسطة PBMT): نادرًا ما أراه في المدرسة ، وعادة ما أراه في مباريات إخوتي لكرة السلة.

يعد نقل النمط مجالًا جديدًا مثيرًا لمعالجة اللغة الطبيعية ، مع إمكانية انتشار التطبيقات. تلك الأداة التي افترضتها في البداية - الأداة التي تساعدك على معرفة كيفية قول ما تريد قوله؟ لا يزال هناك الكثير من العمل الذي يتعين القيام به ، ولكن هذه الأداة ممكنة ، وستكون مفيدة للغاية للباحثين عن عمل ، ومتعلمي اللغة ، وأي شخص يحتاج إلى ترك انطباع جيد لدى شخص ما من خلال كتاباته. نأمل أنه من خلال إتاحة بياناتنا للجمهور ، سنحصل نحن والآخرون في هذا المجال على طريقة لقياس أداء بعضنا البعض والمضي قدمًا في مجال البحث هذا.

بالنسبة إلى Grammarly ، يعد هذا العمل خطوة أخرى نحو رؤيتنا المتمثلة في إنشاء مساعد اتصال شامل يساعد على فهم رسالتك على النحو المنشود.

جويل تيترو هو مدير الأبحاث في Grammarly. سودها راو طالب دكتوراه في جامعة ماريلاند وكان باحثًا متدربًا في Grammarly. سيقدم جويل وسودها هذا البحث في المؤتمر السنوي السادس عشر لفرع أمريكا الشمالية لجمعية اللغويات الحاسوبية: تقنيات اللغة البشرية في نيو أورلينز ، من 1 إلى 6 يونيو 2018. ورقة البحث المصاحبة بعنوان "سيدي أو سيدتي العزيزة ، هل لي أن أعرض مجموعة بيانات GYAFC: المجموعات والمعايير والمقاييس لنقل نمط الشكل "، سيتم نشره في وقائع NAACL.