شرح التعلم بدون إطلاق النار: مستقبل التعلم الآلي بدون تسميات

يُحدث التعلم الصفري (ZSL) ثورة في التعلم الآلي (ML) من خلال تمكين النماذج من تصنيف أو التنبؤ بنتائج المفاهيم التي لم تواجهها من قبل، مما يمثل خروجًا عن الأساليب التقليدية التي تتطلب بيانات مصنفة واسعة النطاق. يستكشف هذا الدليل كيفية عمل ZSL وتطبيقاتها وكيفية مقارنتها بالتعلم قليل اللقطات (FSL) وتحدياتها وإمكاناتها المستقبلية.

جدول المحتويات

• ما هو التعلم الصفري؟
• كيف يعمل التعلم الصفري
• التعلم بدون طلقة مقابل التعلم بطلقات قليلة والتعلم بدفعة واحدة
• التعلم الصفري مقابل التحفيز الصفري
• تطبيقات التعلم الصفري
• فوائد التعلم الصفري
• تحديات التعلم الصفري

ما هو التعلم الصفري (ZSL)؟

تسمح ZSL لنماذج التعلم الآلي بالتنبؤ بالفئات غير المرئية دون الحاجة إلى أمثلة تدريب محددة لتلك الفئات. على عكس نماذج التعلم الخاضعة للإشراف التقليدية، التي تعتمد بشكل كبير على مجموعات البيانات المصنفة حيث يجب أن يتم تمثيل كل فئة بشكل واضح، تستفيد ZSL من المعلومات المساعدة - مثل التضمينات الدلالية أو السمات - لتعميم المعرفة.

على سبيل المثال، سيحتاج نموذج التعلم الخاضع للإشراف المدرب على تصنيف الحيوانات إلى أمثلة مصنفة مثل "كلب" و"قطة" و"حمار وحشي" للتعرف عليها، في حين أن نموذج ZSL المدرب على صور الحيوانات يمكنه التعرف على حمار وحشي بناءً على سمات وصفية مثل " "مخططة" و"شبيهة بالحصان"، حتى دون التعرض لأمثلة سابقة. وهذا يجعل ZSL مفيدًا بشكل خاص للمهام التي تتضمن مجموعات بيانات كبيرة غير مصنفة أو المواقف التي يكون فيها جمع البيانات المصنفة غير عملي. تشمل تطبيقاتها رؤية الكمبيوتر، ومعالجة اللغات الطبيعية (NLP)، والروبوتات، والمزيد.

كيف يعمل التعلم الصفري

يتم تدريب نماذج ZSL أولاً مسبقًا على مجموعة بيانات كبيرة مصنفة لإنشاء قاعدة معرفية. يستخرج النموذج المعلومات المساعدة من البيانات المصنفة، بما في ذلك ميزات مثل اللون والشكل والمشاعر.

ثم يستخدم هذه الميزات لتعيين العلاقات الدلالية بين فئات (أو فئات) البيانات المرئية وغير المرئية. تسمح هذه العملية، التي تسمى نقل المعرفة، لنموذج ZSL بفهم، على سبيل المثال، أن البطة والإوزة مرتبطتان ببعضهما البعض لأن لكل منهما مناقير وريش وأقدام مكففة.

التقنيات الأكثر شيوعًا هي ZSL المستندة إلى السمات، وZSL المستندة إلى التضمين الدلالي، وZSL المعمم. أدناه، نفحص كل منهما.

التعلم القائم على السمات

تُستخدم نماذج ZSL القائمة على السمات في أغلب الأحيان لمهام رؤية الكمبيوتر. إنهم يعملون من خلال التدريب على مجموعات بيانات الصور التي تم تصنيفها بواسطة الإنسان. تتكون التسميات من السمات التي يعتبرها الشخص الذي يقوم بوضع العلامات مفيدة. ولكل صورة، يقوم الشخص بتطبيق وصف نصي لمميزاتها، مثل اللون أو الشكل أو غيرها من الخصائص.

على سبيل المثال، في تصنيف الصور، قد تصف سمات مثل "رمادي" و"ذو أربع أرجل" و"كلب" فئات مختلفة. ومن خلال التدريب، يتعلم النموذج ربط هذه السمات بفئات محددة.

عندما تعرض النموذج مثالاً لشيء جديد - مثل نوع من الحيوانات لم يسبق له رؤيته من قبل - فيمكنه معرفة ما إذا كان ينظر إلى فئة مشابهة للفئات التي تمت مشاهدتها في التدريب ولكنها ليست مماثلة لها.

عندما يواجه النموذج فئة غير مرئية - على سبيل المثال، ذئب - يمكنه استنتاج الفصل من خلال تحليل السمات المشتركة مع الفئات المستفادة، حتى لو لم تكن تسمية "الذئب" جزءًا صريحًا من التدريب. تعمل هذه السمات القابلة للتفسير من قبل الإنسان على تحسين إمكانية الشرح وتسمح للنموذج بالتعميم على فئات جديدة.

التعلم الصفري القائم على التضمين الدلالي

يشبه هذا النهج أسلوب ZSL القائم على السمات، ولكن بدلاً من قيام البشر بإنشاء تسميات سمات للتدريب، يقوم النموذج بإنشاء ما يُعرف بالتضمين الدلالي لبيانات التدريب. يتم تشفير هذه التضمينات الدلالية كمتجهات - وهي طرق رياضية لتمثيل كائنات العالم الحقيقي - ثم يتم تعيينها في مساحة التضمين.

تسمح مساحة التضمين للنموذج بتنظيم معرفته السياقية من خلال تجميع المعلومات ذات الصلة بشكل أقرب معًا. على سبيل المثال، ستكون فئتا "الكلب" و"الذئب" أقرب إلى بعضهما البعض في مساحة التضمين من فئتي "الكلب" و"الطيور"، وذلك بسبب الميزات الدلالية المشتركة. وهذا مشابه لكيفية استخدام نماذج اللغة الكبيرة (LLMs) للتضمينات الدلالية لتجميع المرادفات بسبب معانيها المتشابهة.

عندما يتم إعطاء النموذج فئات غير مرئية (طريقة أخرى لقول "بيانات جديدة لم يواجهها النموذج من قبل")، فإنه يعرض متجهات من تلك الفئات الجديدة في نفس مساحة التضمين ويقيس المسافة بينها وبين المتجهات للفئات التي يعرفها بالفعل عن. وهذا يعطي سياق النموذج للأمثلة غير المرئية ويسمح له باستنتاج العلاقات الدلالية بين الفئات المعروفة وغير المعروفة.

التعلم المعمم بدون إطلاق النار

تقوم معظم تقنيات التعلم الصفرية بتدريب النموذج على نوع واحد من البيانات ثم تطبيقه على مشكلة مختلفة ولكن ذات صلة. هذه هي فكرة "اللقطات الصفرية": لا يتعرض النموذج لأية أمثلة للفئات الجديدة قبل أن يصادفها في البرية.

ومع ذلك، فإن تطبيقات العالم الحقيقي ليست دائمًا بالأبيض والأسود. قد تحتوي مجموعة البيانات التي تريد أن يصنفها نموذج ZSL على أشياء من فئات معروفة إلى جانب فئات جديدة.

المشكلة هي أن نماذج ZSL التقليدية يمكن أن تظهر في بعض الأحيان تحيزًا قويًا للتسمية الخاطئة للفئات الجديدة كأشياء تعرفها بالفعل إذا قمت بخلط الجديد والمألوف معًا. لذا، من المفيد أن يكون لديك نموذج ZSL يمكنه التعميم على مجموعة بيانات قد تحتوي على فصول تمت مشاهدتها بالفعل في التدريب.

في ZSL المعمم، يتخذ النموذج خطوة إضافية لتقليل التحيز تجاه الفئات المعروفة. قبل إجراء التصنيف، يقرر أولاً ما إذا كان الكائن المعني ينتمي إلى فئة معروفة أم غير معروفة.

التعلم بدون طلقة مقابل التعلم بطلقات قليلة والتعلم بدفعة واحدة

مثل ZSL، يتيح التعلم القليل اللقطات (FSL) والتعلم الواحد (OSL) لنماذج التعلم العميق أداء مهام جديدة بأقل قدر من البيانات الجديدة أو بدونها. تعتمد جميع الأساليب الثلاثة على رسم العلاقات بين ميزات الأمثلة المعروفة لاستنتاج الأنماط في الأمثلة غير المعروفة. هدفهم الأساسي هو إنشاء نماذج فعالة في سيناريوهات العالم الحقيقي حيث تكون البيانات نادرة أو حيث لا يوجد وقت لتدريب نموذج جديد على مهمة محددة.

يكمن الاختلاف الرئيسي في كيفية التعامل مع البيانات الجديدة:

• يتضمن FSLتزويد النموذج بعدد صغير من الأمثلة المصنفة للفئة الجديدة التي يحتاج إلى تحديدها.
• OSLهي حالة أكثر تحديدًا، حيث يُظهر النموذج مثالًا واحدًا فقط مسمى للفئة الجديدة.

يتطلب كل من FSL وOSL خطوة تدريب إضافية مقارنة بـ ZSL، مما يزيد من الوقت اللازم لتعلم مهام جديدة. ومع ذلك، فإن هذا التدريب الإضافي يجهزهم للتعامل مع المهام التي تنحرف بشكل كبير عن المعرفة المدربة مسبقًا للنموذج، مما يجعلها أكثر قابلية للتكيف في الممارسة العملية.

في حين أن ZSL غالبًا ما يُنظر إليها على أنها "مرنة" لأنها لا تتطلب أمثلة مصنفة للمهام الجديدة، إلا أن هذه المرونة نظرية إلى حد كبير. في تطبيقات العالم الحقيقي، يمكن أن تواجه أساليب ZSL ما يلي:

• المهام التي تتضمن مزيجًا من الأمثلة المرئية وغير المرئية (على سبيل المثال، سيناريوهات ZSL المعممة)
• المهام التي تختلف بشكل كبير عن بيانات التدريب الخاصة بالنموذج

نماذج ZSL حساسة أيضًا لعوامل مثل كيفية تقسيم مجموعات البيانات أثناء التدريب المسبق والتقييم، مما قد يؤثر على الأداء. من ناحية أخرى، يوفر FSL وOSL المزيد من المرونة العملية لتكييف المهام من خلال دمج أمثلة جديدة في عملية التعلم، مما يسمح لهم بأداء أفضل في سيناريوهات متنوعة.

التعلم الصفري مقابل التحفيز الصفري

ZSL هو نوع من الهندسة المعمارية النموذجية المصممة لمختلف مهام التعلم العميق. في المقابل، تشير المطالبة الصفرية إلى مطالبة ماجستير إدارة الأعمال مثل ChatGPT أو Claude بإنشاء مخرجات دون تقديم أمثلة محددة في المطالبة لتوجيه استجابتها. في كلتا الحالتين، يقوم النموذج بتنفيذ مهمة دون أمثلة واضحة لما تتضمنه المهمة.

في المطالبة الصفرية، لا تقوم بتزويد النموذج بأي أمثلة تتعلق بالمهمة. وبدلاً من ذلك، فإنك تعتمد على المعرفة المدربة مسبقًا في LLM لاستنتاج المهمة وتنفيذها.

على سبيل المثال، يمكنك إدخال نص مراجعة مطعم وتطلب من LLM تصنيفه على أنه إيجابي أو محايد أو سلبي - دون إعطائه أي نماذج من التقييمات لاستخدامها كمرجع. ستعتمد LLM على تدريبها المسبق لتحديد التسمية المناسبة للمراجعة.

في حين أن التعلم الصفري والتحفيز الصفري يشتركان في مفهوم أداء المهام دون أمثلة، إلا أن هناك فرقًا رئيسيًا:

• يعدالتعلم بدون إطلاق النارنوعًا من نماذج الهندسة المعمارية المصممة لمثل هذه المهام.
• إنالمطالبة بالطلقة الصفريةهي تقنية خاصة بالتفاعل مع حاملي شهادات LLM، وليست بنية نموذجية.

تطبيقات التعلم الصفري

نظرًا لتركيزها على مساعدة نماذج التعلم العميق على التكيف مع المهام الجديدة، تمتلك ZSL تطبيقات في العديد من مجالات تعلم الآلة، بما في ذلك رؤية الكمبيوتر والبرمجة اللغوية العصبية والروبوتات. يمكن استخدام ZSL في الرعاية الصحية، وتحليل المشاعر، وخدمة العملاء، وترجمة المستندات، والأمن السيبراني، على سبيل المثال:

• تحليل المشاعر:عند حدوث أخبار عاجلة، يمكن لنموذج البرمجة اللغوية العصبية (NLP) إجراء تحليل المشاعر على التعليقات العامة لتوفير نظرة في الوقت الفعلي تقريبًا على ردود أفعال الجمهور.
• معالجة المستندات متعددة اللغات:يمكن لنماذج البرمجة اللغوية العصبية المدربة لاستخراج المعلومات من المستندات الضريبية باللغة الإنجليزية إجراء نفس عمليات الاستخراج على المستندات الضريبية باللغة الإسبانية دون تدريب إضافي.
• التشخيص الطبي:تم استخدام نماذج ZSL لتحديد الأشعة السينية للمرضى المصابين بـCOVID-19 دون أي أمثلة مرئية. تعتمد عمليات التحديد على الأوصاف النصية التي قدمها الأطباء العاملون في هذا المجال، لما تبدو عليه الأشعة السينية الإيجابية.
• المزيد من روبوتات الدردشة الدقيقة:يمكن لنماذج ZSL NLP فهم اللغات العامية والتعابير التي لم يواجهوها من قبل أثناء المحادثات مع الأشخاص، مما يسمح لهم بالرد بشكل أكثر وضوحًا على الأسئلة التي لم يتم تدريبهم بشكل خاص على التعامل معها.
• الكشف عن الحالات الشاذة:يمكن استخدام ZSL في الأمن السيبراني لاكتشاف الأنماط غير العادية في نشاط الشبكة أو تصنيف أنواع جديدة من هجمات القرصنة مع ظهور تهديدات جديدة.

فوائد التعلم الصفري

غالبًا ما تكون أساليب التعلم الخاضعة للإشراف التقليدية غير عملية بالنسبة للعديد من تطبيقات العالم الحقيقي، نظرًا لمجموعات البيانات الكبيرة ووقت التدريب والمال والموارد الحسابية التي تتطلبها. يمكن لشركة ZSL التخفيف من بعض هذه التحديات. تشمل الفوائد تقليل التكاليف المرتبطة بتدريب نموذج جديد والتعامل مع المواقف التي تكون فيها البيانات نادرة أو غير متوفرة بعد:

تنمية فعالة من حيث التكلفة

يعد الحصول على مجموعات البيانات الكبيرة المصنفة التي يتطلبها التعلم الخاضع للإشراف وتنظيمها أمرًا مكلفًا ويستغرق وقتًا طويلاً. يمكن أن يكلف تدريب نموذج على مجموعة بيانات عالية الجودة عشرات الآلاف من الدولارات، بالإضافة إلى تكلفة الخوادم ومساحة الحوسبة السحابية والمهندسين.

تُظهر ZSL نتائج واعدة في خفض تكلفة مشاريع تعلم الآلة من خلال السماح للمؤسسات بإعادة استخدام النماذج لمهام جديدة دون تدريب إضافي. كما يسمح للكيانات الصغيرة أو الأفراد بإعادة استخدام النماذج التي أنشأها الآخرون.

حل المشاكل مع البيانات النادرة

إن مرونة ZSL تجعلها أداة جيدة في المواقف التي يتوفر فيها القليل من البيانات، أو حيث لا تزال البيانات في طور الظهور. على سبيل المثال، فهو مفيد لتشخيص الأمراض الجديدة عندما لا تكون المعلومات منتشرة بعد، أو في حالات الكوارث حيث تتطور المعلومات بسرعة. يعد ZSL مفيدًا أيضًا في الكشف عن الحالات الشاذة عندما تكون البيانات كبيرة جدًا بحيث يتعذر على المحللين البشريين معالجتها.

تحديات التعلم الصفري

تعتمد ZSL بشكل كبير على الحصول على بيانات تدريب عالية الجودة خلال مرحلة ما قبل التدريب لفهم العلاقات الدلالية بين الفئات بشكل جيد بما يكفي لتعميمها على فئات جديدة. وبدون بيانات عالية الجودة، يمكن أن تنتج ZSL نتائج غير موثوقة يصعب تقييمها في بعض الأحيان.

تتضمن المشكلات الشائعة التي تواجهها نماذج ZSL صعوبة في التكيف مع المهام التي تختلف عن المهام التي تدربت عليها بالفعل ومشاكل في بيانات التدريب التي تجعلها تعتمد بشكل كبير على تسميات معينة عند التنبؤ بالفصول غير المرئية.

التكيف المجال

تعمل نماذج ZSL بشكل أفضل عندما يُطلب منها التعامل مع بيانات جديدة من مجال لا يختلف بشكل كبير عما تم تدريبها عليه. على سبيل المثال، إذا تم تدريب النموذج على الصور الثابتة، فسيواجه صعوبة في تصنيف مقاطع الفيديو.

تعتمد نماذج ZSL على تعيين المعلومات المساعدة من البيانات غير المعروفة إلى البيانات المعروفة، لذلك إذا كانت مصادر البيانات مختلفة جدًا، فلن يكون لدى النموذج طريقة لتعميم معرفته على المهمة الجديدة.

مشكلة الهوس

تحدث مشكلة Hubness في ZSL عندما يبدأ النموذج باستخدام عدد قليل من التصنيفات فقط عند عمل تنبؤات للفئات غير المرئية. ويحدث ذلك عندما تتجمع العديد من النقاط في مساحة الميزة المضمنة معًا، لتشكل "محاور" تؤدي إلى انحياز النموذج نحو تسميات معينة.

يمكن أن يحدث هذا بسبب التشويش في بيانات التدريب، أو وجود أمثلة كثيرة جدًا لبعض أنواع البيانات وعدم وجود ما يكفي من أنواع أخرى، أو لأن التضمينات الدلالية للنموذج ليست متميزة بما فيه الكفاية.