التعلم شبه الخاضع للإشراف: ما هو وكيف يعمل

في عالم التعلم الآلي، يظهر التعلم شبه الخاضع للإشراف كنهج هجين ذكي، يعمل على سد الفجوة بين الأساليب الخاضعة للإشراف وغير الخاضعة للإشراف من خلال الاستفادة من البيانات المصنفة وغير الخاضعة للإشراف لتدريب نماذج أكثر قوة وكفاءة.

جدول المحتويات

• ما هو التعلم شبه الخاضع للإشراف؟
• التعلم شبه الخاضع للإشراف مقابل التعلم الخاضع للإشراف وغير الخاضع للإشراف
• كيف يعمل التعلم شبه الخاضع للإشراف
• أنواع التعلم شبه الخاضع للإشراف
• تطبيقات التعلم شبه الخاضع للإشراف
• مميزات التعلم شبه الخاضع للإشراف
• عيوب التعلم شبه الخاضع للإشراف

ما هو التعلم شبه الخاضع للإشراف؟

التعلم شبه الخاضع للإشراف هو نوع من التعلم الآلي (ML) الذي يستخدم مجموعة من البيانات المصنفة وغير المسماة لتدريب النماذج. شبه خاضع للإشراف يعني أن النموذج يتلقى التوجيه من كمية صغيرة من البيانات المصنفة، حيث يتم إقران المدخلات بشكل واضح مع المخرجات الصحيحة، بالإضافة إلى مجموعة أكبر من البيانات غير المسماة، والتي عادة ما تكون أكثر وفرة. عادةً ما تجد هذه النماذج رؤى أولية في كمية صغيرة من البيانات المصنفة، ثم تقوم بتحسين فهمها ودقتها بشكل أكبر باستخدام مجموعة أكبر من البيانات غير المسماة.

التعلم الآلي هو مجموعة فرعية من الذكاء الاصطناعي (AI) الذي يستخدم البيانات والأساليب الإحصائية لبناء نماذج تحاكي المنطق البشري بدلاً من الاعتماد على التعليمات المشفرة. من خلال الاستفادة من العناصر من الأساليب الخاضعة للإشراف وغير الخاضعة للإشراف، تعد الأنظمة شبه الخاضعة للإشراف طريقة متميزة وقوية لتحسين جودة التنبؤ دون استثمار مرهق في وضع العلامات البشرية.

التعلم شبه الخاضع للإشراف مقابل التعلم الخاضع للإشراف وغير الخاضع للإشراف

في حين أن التعلم الخاضع للإشراف يعتمد فقط على البيانات المصنفة ويعمل التعلم غير الخاضع للإشراف مع بيانات غير مصنفة تمامًا، فإن التعلم شبه الخاضع للإشراف يمزج بين الاثنين.

التعلم تحت الإشراف

يستخدم التعلم الخاضع للإشراف البيانات المصنفة لتدريب النماذج على مهام محددة. النوعان الرئيسيان هما:

• التصنيف:يحدد الفئة أو المجموعة التي ينتمي إليها العنصر. يمكن أن يكون هذا خيارًا ثنائيًا، أو الاختيار من بين خيارات متعددة، أو العضوية في مجموعات متعددة.

• الانحدار: يتنبأ بالنتائج بناءً على أفضل خط مناسب من البيانات الموجودة. تُستخدم عادةً للتنبؤ، مثل التنبؤ بالطقس أو الأداء المالي.

التعلم غير الخاضع للرقابة

يحدد التعلم غير الخاضع للرقابة الأنماط والهياكل في البيانات غير المسماة من خلال ثلاث تقنيات أساسية:

• التجميع:يحدد مجموعات من النقاط التي لها قيم متشابهة. يمكن أن تكون هذه حصرية (كل نقطة بيانات في مجموعة واحدة بالضبط)، أو متداخلة (درجات العضوية في مجموعة واحدة أو أكثر)، أو هرمية (طبقات متعددة من المجموعات).
• الاقتران:يبحث عن العناصر التي من المرجح أن تتواجد معًا، مثل المنتجات التي يتم شراؤها معًا بشكل متكرر.
• تقليل الأبعاد:يبسط مجموعات البيانات عن طريق تكثيف البيانات في عدد أقل من المتغيرات، وبالتالي تقليل وقت المعالجة وتحسين قدرة النموذج على التعميم.

التعلم شبه الخاضع للإشراف

يستفيد التعلم شبه الخاضع للإشراف من البيانات المصنفة وغير المسماة لتحسين أداء النموذج. يعد هذا الأسلوب مفيدًا بشكل خاص عندما يكون تصنيف البيانات باهظ الثمن أو مستهلكًا للوقت.

يعد هذا النوع من التعلم الآلي مثاليًا عندما يكون لديك كمية صغيرة من البيانات المصنفة وكمية كبيرة من البيانات غير المسماة. من خلال تحديد النقاط غير المسماة التي تتطابق بشكل وثيق مع النقاط المسماة، يمكن للنموذج شبه الخاضع للإشراف إنشاء حدود تصنيف أكثر دقة أو نماذج انحدار، مما يؤدي إلى تحسين الدقة والأداء.

كيف يعمل التعلم شبه الخاضع للإشراف

تتضمن عملية التعلم شبه الخاضع للإشراف عدة خطوات، تجمع بين عناصر أساليب التعلم الخاضعة للإشراف وغير الخاضعة للإشراف:

1 جمع البيانات ووضع العلامات عليها:اجمع مجموعة بيانات تتضمن جزءًا صغيرًا من البيانات المصنفة وجزءًا أكبر من البيانات غير المسماة. يجب أن تحتوي كلتا مجموعتي البيانات على نفس الميزات، والمعروفة أيضًا بالأعمدة أو السمات.

2 المعالجة المسبقة واستخراج الميزات:قم بتنظيف البيانات ومعالجتها مسبقًا لمنح النموذج أفضل أساس ممكن للتعلم: التحقق الفوري لضمان الجودة وإزالة التكرارات وحذف الميزات غير الضرورية. فكر في إنشاء ميزات جديدة تعمل على تحويل الميزات المهمة إلى نطاقات ذات معنى تعكس التباين في البيانات (على سبيل المثال، تحويل تواريخ الميلاد إلى أعمار) في عملية تعرف باسم الاستخراج.

3 التعلم الأولي تحت الإشراف:قم بتدريب النموذج باستخدام البيانات المصنفة. تساعد هذه المرحلة الأولية النموذج على فهم العلاقة بين المدخلات والمخرجات.

4 التعلم غير الخاضع للرقابة:تطبيق تقنيات التعلم غير الخاضعة للرقابة على البيانات غير المسماة لتحديد الأنماط أو المجموعات أو الهياكل.

5 تحسين النموذج:اجمع الرؤى من البيانات المصنفة وغير المسماة لتحسين النموذج. غالبًا ما تتضمن هذه الخطوة تدريبًا وتعديلات متكررة لتحسين الدقة.

6 التقييم والضبط:قم بتقييم أداء النموذج باستخدام مقاييس التعلم القياسية الخاضعة للإشراف، مثل الدقة والإحكام والاستدعاء ودرجة F1. قم بضبط النموذج عن طريق ضبط التعليمات الصريحة (المعروفة باسم المعلمات الفائقة) وإعادة التقييم حتى يتم تحقيق الأداء الأمثل.

7النشر والمراقبة:نشر النموذج للاستخدام في العالم الحقيقي ومراقبة أدائه بشكل مستمر وتحديثه بالبيانات الجديدة حسب الحاجة.

أنواع التعلم شبه الخاضع للإشراف

يمكن تنفيذ التعلم شبه الخاضع للإشراف باستخدام عدة تقنيات، يستفيد كل منها من البيانات المصنفة وغير المصنفة لتحسين عملية التعلم. فيما يلي الأنواع الرئيسية، إلى جانب الأنواع الفرعية والمفاهيم الأساسية:

التدريب الذاتي

التدريب الذاتي، المعروف أيضًا باسم التعلم الذاتي أو التصنيف الذاتي، هو النهج الأكثر وضوحًا. في هذه التقنية، يتنبأ النموذج الذي تم تدريبه في البداية على البيانات المصنفة بتسميات البيانات غير المسماة ويسجل درجة ثقته. يعيد النموذج تدريب نفسه بشكل متكرر من خلال تطبيق تنبؤاته الأكثر ثقة كبيانات مصنفة إضافية - تُعرف هذه التصنيفات التي تم إنشاؤها باسمالتصنيفات الزائفة. تستمر هذه العملية حتى يستقر أداء النموذج أو يتحسن بدرجة كافية.

• التدريب الأولي:يتم تدريب النموذج على مجموعة بيانات صغيرة مصنفة.
• التنبؤ بالتسمية:يتنبأ النموذج المدرّب بتسميات البيانات غير المسماة.
• عتبة الثقة:يتم تحديد التوقعات التي تتجاوز مستوى ثقة معينًا فقط.
• إعادة التدريب:تتم إضافة البيانات ذات العلامات الزائفة المحددة إلى مجموعة التدريب، ويتم إعادة تدريب النموذج.

هذه الطريقة بسيطة ولكنها قوية، خاصة عندما يتمكن النموذج من إجراء تنبؤات دقيقة في وقت مبكر. ومع ذلك، إذا كانت التوقعات الأولية غير صحيحة، فقد يكون عرضة لتعزيز أخطائه. استخدم التجميع للمساعدة في التحقق من أن التسميات الزائفة متوافقة مع المجموعات الطبيعية داخل البيانات.

التدريب المشترك

يتضمن التدريب المشترك، الذي يستخدم عادة لمشاكل التصنيف، تدريب نموذجين أو أكثر على وجهات نظر مختلفة أو مجموعات فرعية من البيانات. إن التنبؤات الأكثر ثقة لكل نموذج بشأن البيانات غير المسماة تزيد من مجموعة التدريب الخاصة بالنموذج الآخر. تستفيد هذه التقنية من تنوع النماذج المتعددة لتحسين التعلم.

• نهج العرض المزدوج:تنقسم مجموعة البيانات إلى طريقتي عرض متميزتين - أي مجموعات فرعية من البيانات الأصلية، تحتوي كل منها على ميزات مختلفة. تحمل كل طريقة من طريقتي العرض الجديدتين نفس التسمية، ولكن من الناحية المثالية، تكون كلتا الطريقتين مستقلتين بشروط، مما يعني أن معرفة القيم الموجودة في جدول واحد لن تعطيك أي معلومات حول الجدول الآخر.
• تدريب النموذج:يتم تدريب نموذجين بشكل منفصل على كل عرض باستخدام البيانات المصنفة.
• وضع العلامات المتبادلة:يتنبأ كل نموذج بتسميات البيانات غير المسماة، ويتم استخدام أفضل التنبؤات - سواء تلك التي تتجاوز حد ثقة معينًا أو مجرد رقم ثابت في أعلى القائمة - لإعادة تدريب النموذج الآخر.

يكون التدريب المشترك مفيدًا بشكل خاص عندما تكون البيانات مناسبة لطرق عرض متعددة توفر معلومات تكميلية، مثل الصور الطبية والبيانات السريرية المقترنة بنفس المريض. في هذا المثال، يتنبأ أحد النماذج بحدوث المرض بناءً على الصورة، بينما يتنبأ الآخر بناءً على بيانات من السجل الطبي.

يساعد هذا النهج في تقليل مخاطر تعزيز التنبؤات غير الصحيحة، حيث يمكن للنموذجين تصحيح بعضهما البعض.

النماذج التوليدية

تتعلم النماذج التوليدية احتمالية حدوث أزواج معينة من المدخلات والمخرجات، والمعروفة باسم التوزيع الاحتمالي المشترك. يتيح لهم هذا الأسلوب إنشاء بيانات جديدة تشبه ما تمت رؤيته بالفعل. تستخدم هذه النماذج بيانات مصنفة وغير مصنفة لالتقاط توزيع البيانات الأساسية وتحسين عملية التعلم. كما قد تتخيل من الاسم، هذا هو أساس الذكاء الاصطناعي التوليدي الذي يمكنه إنشاء النصوص والصور وما إلى ذلك.

• شبكات الخصومة التوليدية (GANs):تتكون شبكات GAN من نموذجين: المولد والمميز. يقوم المولد بإنشاء نقاط بيانات اصطناعية، بينما يحاول المُميِّز التمييز بين نقاط البيانات الاصطناعية هذه والبيانات الحقيقية. أثناء تدريبهم، يقوم المولد بتحسين قدرته على إنشاء بيانات واقعية، ويصبح التمييز أفضل في التعرف على البيانات المزيفة. وتستمر عملية الخصومة هذه، حيث يسعى كل نموذج إلى التفوق على الآخر. يمكن تطبيق شبكات GAN على التعلم شبه الخاضع للإشراف بطريقتين:
  • المُميِّز المُعدَّل:بدلاً من مجرد تصنيف البيانات على أنها "زائفة" أو "حقيقية"، يتم تدريب المُميِّز على تصنيف البيانات إلى فئات متعددة بالإضافة إلى فئة مزيفة. وهذا يمكّن القائم بالتمييز من التصنيف والتمييز.
  • استخدام البيانات غير المسماة:يحكم أداة التمييز على ما إذا كان الإدخال يتطابق مع البيانات المسماة التي رآها أو أنها نقطة بيانات مزيفة من المولد. يجبر هذا التحدي الإضافي القائم بالتمييز على التعرف على البيانات غير المسماة من خلال تشابهها مع البيانات المصنفة، مما يساعده على تعلم الخصائص التي تجعلها متشابهة.
• أجهزة التشفير التلقائي المتغيرة (VAEs):تكتشف VAEs كيفية تشفير البيانات إلى تمثيل أبسط ومجرد يمكن فك تشفيره إلى أقرب تمثيل للبيانات الأصلية قدر الإمكان. باستخدام كل من البيانات المصنفة وغير المسماة، يقوم VAE بإنشاء تجريد واحد يلتقط الميزات الأساسية لمجموعة البيانات بأكملها وبالتالي تحسين أدائها على البيانات الجديدة.

تعد النماذج التوليدية أدوات قوية للتعلم شبه الخاضع للإشراف، خاصة مع البيانات الوفيرة والمعقدة غير المسماة، كما هو الحال في ترجمة اللغة أو التعرف على الصور. بالطبع، أنت بحاجة إلى بعض التصنيفات حتى تعرف شبكات GAN أو VAEs ما تهدف إليه.

الأساليب القائمة على الرسم البياني

تمثل الأساليب المعتمدة على الرسم البياني نقاط البيانات كعقد على الرسم البياني، مع أساليب مختلفة لفهم واستخراج معلومات مفيدة حول العلاقات بينها. تتضمن بعض الأساليب العديدة القائمة على الرسم البياني والمطبقة على التعلم شبه الخاضع للإشراف ما يلي:

• نشر التسمية:نهج مباشر نسبيًا حيث تشير القيم الرقمية المعروفة بالحواف إلى أوجه التشابه بين العقد القريبة. في التشغيل الأول للنموذج، تستعير النقاط غير المسماة ذات الحواف الأقوى للنقطة المسماة تسمية تلك النقطة. مع تسمية المزيد من النقاط، يتم تكرار العملية حتى تتم تسمية جميع النقاط.
• رسم الشبكات العصبية (GNNs): يستخدم تقنيات لتدريب الشبكات العصبية، مثل الانتباه والالتواء، لتطبيق الدروس المستفادة من نقاط البيانات المسماة إلى النقاط غير المسماة، خاصة في المواقف المعقدة للغاية مثل الشبكات الاجتماعية وتحليل الجينات.
• أجهزة التشفير التلقائية للرسم البياني: على غرار VAEs، تقوم هذه بإنشاء تمثيل مجرد واحد يلتقط البيانات المصنفة وغير المسماة. يُستخدم هذا الأسلوب غالبًا للعثور على الروابط المفقودة، وهي روابط محتملة لم يتم التقاطها في الرسم البياني.

تعتبر الأساليب القائمة على الرسم البياني فعالة بشكل خاص للبيانات المعقدة التي تشكل شبكات بشكل طبيعي أو لها علاقات جوهرية، مثل الشبكات الاجتماعية والشبكات البيولوجية وأنظمة التوصية.

تطبيقات التعلم شبه الخاضع للإشراف

تتضمن بعض التطبيقات العديدة للتعلم شبه الخاضع للإشراف ما يلي:

• تصنيف النص:عندما يكون لديك مجموعة كبيرة جدًا من البيانات المتاحة، مثل الملايين من مراجعات المنتجات أو مليارات رسائل البريد الإلكتروني، فإنك تحتاج فقط إلى تصنيف جزء منها. سيستخدم النهج شبه الخاضع للإشراف البيانات المتبقية لتحسين النموذج.
• تحليل الصور الطبية:وقت الخبراء الطبيين مكلف، وهم ليسوا دقيقين دائمًا. إن استكمال تحليلهم للصور مثل التصوير بالرنين المغناطيسي أو الأشعة السينية بالعديد من الصور غير المسماة يمكن أن يؤدي إلى نموذج يساوي أو حتى يفوق دقتها.
• التعرف على الكلام:يعد نسخ الكلام يدويًا عملية شاقة ومرهقة، خاصة إذا كنت تحاول التقاط مجموعة واسعة من اللهجات واللهجات. سيؤدي الجمع بين بيانات الكلام المسمى مع كميات هائلة من الصوت غير المسمى إلى تحسين قدرة النموذج على تمييز ما يقال بدقة.
• اكتشاف الاحتيال:أولاً، تدريب نموذج على مجموعة صغيرة من المعاملات المصنفة، وتحديد حالات الاحتيال المعروفة والحالات المشروعة. ثم أضف مجموعة أكبر من المعاملات غير المسماة لتعريض النموذج للأنماط المشبوهة والشذوذات، مما يعزز قدرته على تحديد الأنشطة الاحتيالية الجديدة أو المتطورة في الأنظمة المالية.
• تجزئة العملاء:يمكن للتعلم شبه الخاضع للإشراف تحسين الدقة باستخدام مجموعة بيانات صغيرة مصنفة لتحديد الشرائح الأولية بناءً على أنماط وخصائص سكانية معينة، ثم إضافة مجموعة أكبر من البيانات غير المسماة لتحسين هذه الفئات وتوسيعها.

مميزات التعلم شبه الخاضع للإشراف

• فعال من حيث التكلفة:يقلل التعلم شبه الخاضع للإشراف من الحاجة إلى بيانات مصنفة واسعة النطاق، مما يقلل من تكاليف التصنيف والجهد بالإضافة إلى تأثير الخطأ البشري والتحيز.
• تنبؤات محسنة:غالبًا ما يؤدي الجمع بين البيانات المصنفة وغير المسماة إلى جودة تنبؤ أفضل مقارنةً بالتعلم الخاضع للإشراف البحت، لأنه يوفر المزيد من البيانات للنموذج للتعلم منها.
• قابلية التوسع:يعد التعلم شبه الخاضع للإشراف مناسبًا تمامًا لتطبيقات العالم الحقيقي التي يكون فيها التصنيف الشامل غير عملي، مثل مليارات المعاملات الاحتيالية المحتملة، لأنه يتعامل مع مجموعات البيانات الكبيرة مع الحد الأدنى من البيانات المصنفة.
• المرونة:الجمع بين نقاط القوة في التعلم الخاضع للإشراف وغير الخاضع للإشراف يجعل هذا النهج قابلاً للتكيف مع العديد من المهام والمجالات.

عيوب التعلم شبه الخاضع للإشراف

• التعقيد:غالبًا ما يتطلب دمج البيانات المُصنفة وغير المُسماة تقنيات معالجة مسبقة معقدة مثل تطبيع نطاقات البيانات، واحتساب القيم المفقودة، وتقليل الأبعاد.
• الاعتماد على الافتراض:تعتمد الأساليب شبه الخاضعة للإشراف غالبًا على افتراضات حول توزيع البيانات، مثل نقاط البيانات في نفس المجموعة التي تستحق نفس التسمية، والتي قد لا تكون صحيحة دائمًا.
• احتمالية حدوث ضوضاء:يمكن أن تؤدي البيانات غير المُسماة إلى حدوث ضوضاء وعدم دقة إذا لم يتم التعامل معها بشكل صحيح باستخدام تقنيات مثل الكشف الخارجي والتحقق من صحة البيانات المُصنفة.
• صعوبة التقييم:بدون الكثير من البيانات المصنفة، لن تحصل على الكثير من المعلومات المفيدة من الأساليب القياسية لتقييم التعلم الخاضع للإشراف.