تعزيز التقنيات في التعلم الآلي: تعزيز الدقة وتقليل الأخطاء

Boosting عبارة عن تقنية قوية للتعلم الجماعي في التعلم الآلي (ML) تعمل على تحسين دقة النموذج عن طريق تقليل الأخطاء. ومن خلال تدريب النماذج المتسلسلة لمعالجة أوجه القصور السابقة، يؤدي التعزيز إلى إنشاء أنظمة تنبؤية قوية. يغطي هذا الدليل كيفية عمل التعزيز؛ مزاياها وتحدياتها وتطبيقاتها؛ وكيف يتم مقارنتها بالتعبئة.

جدول المحتويات

• ما هو تعزيز؟
• التحيز مقابل التباين
• التعزيز مقابل التعبئة
• كيف يعمل التعزيز
• أنواع خوارزميات التعزيز
• تطبيقات التعزيز
• مزايا التعزيز
• التحديات والقيود المفروضة على التعزيز

ما هو تعزيز؟

التعزيز هو أسلوب تعلم جماعي يقوم بتدريب النماذج المتسلسلة الجديدة لتصحيح أخطاء النماذج السابقة في المجموعة. تقنيات التعلم الجماعي هي طرق لاستخدام نماذج متشابهة متعددة لتحسين الأداء والدقة. في التعزيز، يتم تدريب النماذج الجديدة فقط على الأخطاء السابقة للمجموعة. ثم تنضم النماذج الجديدة إلى المجموعة لمساعدتها في تقديم تنبؤات أكثر دقة. يتم تمرير أي مدخلات جديدة عبر النماذج وتجميعها لتقليل الأخطاء في جميع النماذج.

الدقة هي مفهوم واسع. يؤدي التعزيز على وجه التحديد إلى زيادة أداء النموذج عن طريق تقليل انحياز النموذج (وبدرجة أقل التباين). يعد التباين والتحيز مفهومين مهمين لتعلم الآلة سنغطيهما في القسم التالي.

التحيز مقابل التباين

يعد التحيز والتباين من الخصائص الأساسية للتعلم الآلي ككل. الهدف من أي خوارزمية ML هو تقليل التباين والتحيز في النماذج. ونظرًا لأهميتها، سنشرح المزيد عن كل منها ولماذا تتعارض عادةً مع بعضها البعض.

لشرح كل مفهوم، دعونا نأخذ مثال التنبؤ بسعر بيع المنازل نظرا لبيانات حول ميزاتها (على سبيل المثال، المساحة المربعة، عدد غرف النوم، وما إلى ذلك).

تحيز

التحيز هو مقياس لمدى خطأ النموذج في المتوسط. إذا تم بيع منزل بالفعل بمبلغ 400000 دولار وتوقع النموذج 300000 دولار، فإن الانحياز لنقطة البيانات هذه هو −100000 دولار. قم بحساب متوسط ​​التحيز على مجموعة بيانات التدريب بأكملها، وسيكون لديك تحيز النموذج.

عادةً ما ينتج التحيز عن كون النماذج بسيطة جدًا بحيث لا يمكنها التقاط العلاقات المعقدة بين الميزات والمخرجات. قد يتعلم النموذج البسيط جدًا النظر فقط إلى اللقطات المربعة وسيكون مخطئًا باستمرار، حتى في بيانات التدريب. في لغة ML، وهذا ما يسمى underfitting.

التباين

يقيس التباين مدى اختلاف مخرجات النموذج في ضوء مدخلات مماثلة. في معظم الحالات، يجب أن تكون أسعار المنازل الموجودة في أحياء مماثلة وبنفس المساحة وعدد غرف النوم وعدد الحمامات مماثلة. لكن النموذج ذو التباين العالي قد يعطي أسعارًا مختلفة تمامًا. لماذا؟

ربما يكون النموذج قد تعلم علاقات زائفة من بيانات التدريب (على سبيل المثال، الاعتقاد بأن أرقام المنازل تؤثر على السعر). يمكن لهذه العلاقات الزائفة أن تطغى على العلاقات المفيدة في البيانات. بشكل عام، تلتقط النماذج المعقدة هذه العلاقات غير ذات الصلة، وهو ما يسمى التجهيز الزائد.

مقايضة التحيز والتباين

من الناحية المثالية، أنت تريد نموذج ML منخفض التحيز ومنخفض التباين والذي سيلتقط العلاقات الحقيقية في البيانات ولكن ليس أكثر من ذلك. ومع ذلك، فمن الصعب القيام بذلك في الممارسة العملية.

يمكن أن تؤدي زيادة تعقيد النموذج أو تعقيده إلى تقليل انحيازه من خلال منحه القدرة على العثور على أنماط أعمق في البيانات. ومع ذلك، فإن هذه القوة نفسها يمكن أن تساعدها أيضًا في العثور على أنماط غير ذات صلة والعكس صحيح، مما يجعل من الصعب حل هذه المفاضلة بين التحيز والتباين.

التعزيز يحسن التحيز والتباين

يعد التعزيز أسلوبًا شائعًا جدًا للتعلم الجماعي لأنه يمكن أن يقلل من التحيز والتباين (على الرغم من أن تقليل التباين ليس شائعًا).

من خلال تصحيح الأخطاء السابقة، يؤدي التعزيز إلى تقليل متوسط ​​معدل الخطأ وحجم مجموعة النماذج، مما يؤدي إلى تقليل التحيز.

باستخدام نماذج متعددة، يمكن إلغاء أخطاء النماذج الفردية، مما قد يؤدي إلى انخفاض التباين.

التعزيز مقابل التعبئة

في التعلم الجماعي، الأسلوبان الأكثر شيوعًا هما التعزيز والتعبئة. تأخذ عملية التعبئة مجموعة بيانات التدريب، وتنشئ مجموعات فرعية عشوائية منها، وتدرب نموذجًا مختلفًا على كل مجموعة فرعية. ثم يتم استخدام النماذج جنبًا إلى جنب لإجراء التنبؤات. وهذا يؤدي إلى عدد لا بأس به من الاختلافات بين التعبئة والتعزيز، والتي نوضحها بالتفصيل أدناه.

كلتا الطريقتين شائعتان، لكن التعزيز هو الخيار الأكثر شيوعًا لأنه يمكن أن يقلل من التحيز والتباين.

كيف يعمل التعزيز

دعنا نتعرف على كيفية عمل التعزيز. في الأساس، يتكون التعزيز من تدريب كل نموذج جديد على نقاط البيانات التي أخطأت فيها النماذج السابقة. هناك ثلاثة أجزاء:

1. ترجيح بيانات التدريب عن طريق الأخطاء
2. تدريب نموذج جديد على مجموعة بيانات الخطأ المرجحة
3. إضافة النموذج الجديد إلى المجموعة

في البداية، لنفترض أننا قمنا بتدريب النموذج الأولي (مجموعة واحدة).

ترجيح بيانات التدريب عن طريق الأخطاء

نقوم بتشغيل بيانات التدريب من خلال المجموعة الحالية ونلاحظ المدخلات التي أعطت المجموعة تنبؤات غير صحيحة لها. ثم نقوم بإنشاء نسخة معدلة من مجموعة بيانات التدريب حيث تكون تلك المدخلات المزعجة أكثر تمثيلاً أو أكثر أهمية.

تدريب النموذج الجديد

نحن نستخدم مجموعة البيانات المعدلة التي أنشأناها لتدريب نموذج جديد، وهو نفس نوع النماذج الأخرى في المجموعة. ومع ذلك، يركز هذا النموذج الجديد بشكل أكبر على الأمثلة الصعبة من بيانات التدريب، لذلك من المرجح أن يؤدي أداءً أفضل عليها. يعد هذا التحسن في أداء الأخطاء جزءًا مهمًا من تقليل التحيز.

دمج النموذج الجديد

تتم إضافة النموذج الذي تم تدريبه حديثًا إلى المجموعة، ويتم ترجيح تنبؤاته وفقًا لدقتها. بالتوازي، يتم تمرير مدخلات جديدة إلى كل نموذج في المجموعة، ويتم ترجيح المخرجات النهائية لكل نموذج للحصول على مخرجات المجموعة.

بالنسبة لمهام التصنيف (عادةً ما يتم الاختيار بين علامتين لتعزيز المشكلات)، يتم اختيار الفئة الحاصلة على أعلى مجموع من الأصوات المرجحة لها كتنبؤ بالمجموعة.

بالنسبة لمهام الانحدار، فإن تنبؤ المجموعة هو المتوسط ​​المرجح لتنبؤ كل نموذج.

عند هذه النقطة، يمكن تكرار العملية إذا كان الانحياز لا يزال مرتفعًا جدًا.

أنواع خوارزميات التعزيز

هناك عدة أنواع مختلفة من الخوارزميات المعززة، مع وجود بعض الاختلافات الكبيرة بينها. الأكثر شيوعًا هي التعزيز التكيفي (AdaBoost)، وتعزيز التدرج، وتعزيز التدرج الشديد (XGBoost)، وتعزيز القطة. سوف نغطي كل واحد على حدة.

adaBoost

يشبه AdaBoost إلى حد كبير خوارزمية التعزيز التي وضعناها سابقًا: يتم ترجيح بيانات التدريب التي تطرح مشكلات للمجموعات السابقة بشكل أكبر عند تدريب النموذج التالي. كانت AdaBoost إحدى خوارزميات التعزيز الأصلية وهي معروفة ببساطتها.

يعد AdaBoost أقل عرضة للتركيب الزائد من خوارزميات التعزيز الأخرى نظرًا لأن النماذج الجديدة ترى اختلافات مختلفة (مع كون نقاط البيانات الصلبة أكثر شيوعًا) لمجموعة بيانات التدريب. ولكن، بالمقارنة مع تقنيات التعزيز الأخرى، فهي أكثر حساسية للبيانات الخارجية ولا تقلل من التحيز بنفس القدر.

تعزيز التدرج

يعد تعزيز التدرج أسلوبًا فريدًا للتعزيز. على النقيض من التعزيز التكيفي، لا تحصل النماذج الجديدة على نسخة مرجحة للأخطاء من مجموعة بيانات التدريب. لقد حصلوا على مجموعة البيانات الأصلية. ومع ذلك، بدلاً من محاولة التنبؤ بمخرجات المدخلات في مجموعة البيانات، يحاولون التنبؤ بالتدرج السلبي للمجموعة السابقة على كل مدخل.

التدرج السلبي هو في الأساس الاتجاه الذي يجب أن تتحرك فيه أوزان وتوقعات نموذج المجموعة لتقليل الخطأ - للاقتراب من الإجابة الصحيحة. تتم إضافة التدرجات السلبية (مع تطبيق عامل الترجيح) إلى التنبؤ بمخرجات المجموعة السابقة لدفعها أقرب إلى الصحة.

يعد التعزيز التدرجي أكثر أداء بكثير من AdaBoosting، خاصة في البيانات المعقدة. هناك أيضًا المزيد من المعلمات الفائقة التي يمكن ضبطها، مما يمنح الأشخاص مزيدًا من التحكم ولكنه يزيد أيضًا من الحاجة إلى التجريب.

XGBoost

XGBoost (أو تعزيز التدرج الشديد) هو نسخة محسنة للغاية من تعزيز التدرج. يجعل XGBoost التدريب المعزز للتدرج والاستدلال أكثر توازيًا. يضيف XGBoost أيضًا التنظيم (أي عقوبات على التعقيد) لمنع التجاوز والتعامل مع البيانات المفقودة بشكل أفضل. أخيرًا، يعد XGBoost أكثر قابلية للتوسع بالنسبة لمجموعات البيانات الكبيرة أو أحمال العمل.

يعد XGBoost أكثر أداءً من التدرج اللوني وكان أحد أكثر خوارزميات ML شيوعًا في العقد الأول من القرن الحادي والعشرين. ولكن من الصعب أيضًا تفسيرها وتشغيلها أكثر تكلفة من الناحية الحسابية.

كات بوست

يعد CatBoost أحد أشكال تعزيز التدرج المصمم للعمل على البيانات الفئوية. البيانات الفئوية هي البيانات التي يمكن أن تكون القيم فيها في مجموعات قليلة ومحدودة. فيما يلي بعض الأمثلة:

• نعم - لا توجد بيانات (على سبيل المثال، هل يحتوي المنزل على مرآب؟)
• فئات الألوان (على سبيل المثال، الأحمر والأزرق والأخضر)
• فئات المنتجات (مثل الإلكترونيات والملابس والأثاث)

لا تعمل نماذج تعزيز التدرج بشكل جيد بشكل عام مع البيانات الفئوية، بينما يعمل CatBoost. يمكن لـ CatBoost أيضًا التعامل مع البيانات المستمرة، مما يجعله خيارًا شائعًا آخر للتعزيز. كما هو الحال مع نماذج تعزيز التدرج الأخرى، يعاني CatBoost من التعقيد الحسابي والتركيب الزائد.

تطبيقات التعزيز

يمكن تطبيق التعزيز على أي مشكلة في تعلم الآلة تقريبًا نظرًا لأن الأخطاء والتحيز غالبًا ما تكون أعلى مما نرغب. يعد التصنيف والانحدار من الأقسام الفرعية الكبيرة لتعلم الآلة، وينطبق التعزيز على كليهما. تعد توصيات المحتوى واكتشاف الاحتيال مثالين على مشكلات تعلم الآلة التي تواجه الشركات والتي يمكن أن يساعد التعزيز فيها أيضًا.

التصنيف والانحدار

التصنيف والانحدار هما من المهام الأساسية لتعلم الآلة. قد يرغب المستخدم في التنبؤ بما إذا كانت الصورة تحتوي على كلب أو قطة (تصنيف)، أو قد يرغب في التنبؤ بسعر بيع المنزل (الانحدار). يعمل التعزيز بشكل جيد لكلا المهمتين، خاصة عندما تكون النماذج الأساسية ضعيفة أو غير معقدة.

توصيات المحتوى

يعمل التعزيز على تحسين توصيات المحتوى (على سبيل المثال، الأفلام المقترحة لك من Netflix) من خلال تحسين دقة التنبؤ لتفضيلات المستخدم بشكل متكرر. عندما يفشل نموذج التوصية في التقاط أنماط عرض معينة (مثل التفضيلات الموسمية أو الاختيارات المعتمدة على السياق)، فإن التعزيز ينشئ نماذج إضافية تركز بشكل خاص على هذه الأنماط المفقودة. يعطي كل نموذج جديد في التسلسل وزنًا إضافيًا لتفضيلات المستخدم التي لم يتم التنبؤ بها مسبقًا، مما يؤدي إلى تقليل الأخطاء.

كشف الاحتيال

في مجال اكتشاف الاحتيال، وهي حالة استخدام شائعة لشركات التمويل، يتم تعزيز التفوق من خلال التعلم التدريجي من المعاملات التي تم تصنيفها بشكل خاطئ. إذا فاتت النماذج الأولية أنماط الاحتيال المعقدة، فإن النماذج المعززة الأحدث تستهدف على وجه التحديد هذه الحالات المزعجة. تتكيف هذه التقنية بشكل جيد مع أساليب الاحتيال المتغيرة من خلال إعطاء أوزان أعلى للتصنيفات الخاطئة الأخيرة، مما يسمح للنظام بالحفاظ على معدلات اكتشاف عالية.

مزايا التعزيز

يعد التعزيز ممتازًا في تقليل انحياز النموذج، وبدرجة أقل، التباين. بالمقارنة مع تقنيات التجميع الأخرى، فهي تتطلب بيانات أقل وتمنح الأشخاص مزيدًا من التحكم في التجهيز الزائد.

انخفاض التحيز والتباين

التحيز العالي يعني أن النماذج غالبًا ما تكون خاطئة. يعد التعزيز أسلوبًا رائعًا لتقليل التحيز في النماذج. وبما أن كل نموذج يركز على تصحيح أخطاء النماذج السابقة، فإن المجموعة ككل تقلل من معدل الخطأ الخاص بها.

انخفاض التباين له أيضًا تأثير جانبي: قد تحتوي النماذج الأحدث على مزيج مختلف من بيانات التدريب، مما يسمح للأخطاء في النماذج المختلفة بإلغاء بعضها البعض.

يحتاج إلى بيانات أقل

على عكس تقنيات التجميع الأخرى، لا يحتاج التعزيز إلى مجموعة بيانات ضخمة حتى يعمل بشكل جيد. وبما أن كل نموذج جديد يركز في المقام الأول على أخطاء النماذج القديمة، فإن له هدفًا ضيقًا ولا يحتاج إلى الكثير من البيانات. يمكن للنموذج الجديد استخدام بيانات التدريب الموجودة والتدرب بشكل متكرر على الأخطاء.

مزيد من التحكم في التجهيز الزائد

يحتوي التعزيز على عدد قليل من المعلمات الفائقة التي تتحكم في مقدار مساهمة كل نموذج جديد في تنبؤات المجموعة. ومن خلال تعديل هذه المعلمات الفائقة، يمكن للمستخدمين تقليل تأثير النماذج الجديدة. وهذا من شأنه أن يزيد من التحيز ولكن من المحتمل أن يقلل من التباين، مما يمنح المستخدمين التحكم في المكان الذي يريدون الوصول إليه في مقايضة التحيز والتباين.

التحديات والقيود المفروضة على التعزيز

التعزيز له محاذيره بالرغم من ذلك. يتطلب المزيد من الوقت للتدريب والاستخدام، وهو حساس للبيانات الخارجية، ويتطلب المزيد من ضبط المعلمات الفائقة.

وقت تدريب أطول

في التعزيز، يعتمد كل نموذج جديد على أخطاء المجموعة السابقة. وهذا يعني أنه يجب تدريب النماذج واحدًا تلو الآخر، مما يؤدي إلى فترات تدريب طويلة. الجانب السلبي الآخر هو أن التدريب المتسلسل يعني أنك قد لا تعرف ما إذا كان التعزيز سيكون فعالاً حتى تقوم بتدريب عشرات النماذج.

حساسية خارجية

في التعزيز، تركز النماذج الأحدث فقط على أخطاء النماذج السابقة. بعض البيانات الخارجية في مجموعة التدريب والتي يجب تجاهلها قد تصبح بدلاً من ذلك محور التركيز الوحيد للنماذج اللاحقة. يمكن أن يؤدي ذلك إلى تدهور الأداء العام للمجموعة وإضاعة وقت التدريب. قد تكون هناك حاجة إلى معالجة البيانات بعناية لمواجهة تأثيرات القيم المتطرفة.

المزيد من ضبط المعلمة الفائقة

إن ميزة منح المستخدمين مزيدًا من التحكم في التجهيز الزائد تعني أيضًا أن المستخدمين بحاجة إلى ضبط المزيد من المعلمات الفائقة لإيجاد توازن جيد بين الانحياز والتباين. غالبًا ما تكون هناك حاجة إلى تجارب تعزيز متعددة، مما يجعل التدريب المتسلسل أكثر مملة. يتطلب التعزيز الكثير من الموارد الحسابية.