التصنيف في التعلم الآلي: ما هو وكيف يعمل

التصنيف هو مفهوم أساسي في تحليل البيانات والتعلم الآلي (ML). يستكشف هذا الدليل ماهية التصنيف وكيفية عمله، ويشرح الفرق بين التصنيف والانحدار، ويغطي أنواع المهام والخوارزميات والتطبيقات والمزايا والتحديات.

جدول المحتويات

• ما هو التصنيف؟
• التصنيف مقابل الانحدار
• أنواع مهام التصنيف في ML
• الخوارزميات المستخدمة لتحليل التصنيف
• تطبيقات التصنيف
• مزايا التصنيف
• عيوب التصنيف

ما هو التصنيف في التعلم الآلي؟

التصنيف هو أسلوب تعلم خاضع للإشراف في التعلم الآلي يتنبأ بالفئة (وتسمى أيضًا الفئة) لنقاط البيانات الجديدة بناءً على ميزات الإدخال. تستخدم خوارزميات التصنيف البيانات المصنفة، حيث تكون الفئة الصحيحة معروفة، لمعرفة كيفية تعيين الميزات إلى فئات محددة. ويشار إلى هذه العملية أيضًا باسم التصنيف أو التصنيف القاطع.

ولإجراء التصنيف، تعمل الخوارزميات على مرحلتين رئيسيتين. أثناء مرحلة التدريب، تتعلم الخوارزمية العلاقة بين البيانات المدخلة والتسميات أو الفئات المقابلة لها. بمجرد تدريب النموذج، يدخل مرحلة الاستدلال، حيث يستخدم الأنماط المستفادة لتصنيف البيانات الجديدة غير المرئية في تطبيقات العالم الحقيقي. تعتمد فعالية التصنيف إلى حد كبير على كيفية التعامل مع هذه المراحل وجودة البيانات المعالجة مسبقًا المتوفرة أثناء التدريب.

يعد فهم كيفية إدارة خوارزميات التصنيف لهذه المراحل أمرًا ضروريًا. أحد الاختلافات الرئيسية هو كيفية تعاملهم مع التعلم. يقودنا هذا إلى استراتيجيتين متميزتين قد تتبعهما خوارزميات التصنيف: التعلم البطيء والتعلم المتلهف.

المتعلمون الكسالى مقابل المتعلمين المتحمسين

تعتمد خوارزميات التصنيف عادة إحدى استراتيجيتين للتعلم: التعلم البطيء أو التعلم المتلهف. تختلف هذه الأساليب بشكل أساسي في كيفية ووقت إنشاء النموذج، مما يؤثر على مرونة الخوارزمية وكفاءتها وحالات الاستخدام. وبينما يهدف كلاهما إلى تصنيف البيانات، فإنهما يفعلان ذلك باستخدام أساليب متناقضة تناسب أنواعًا مختلفة من المهام والبيئات.

دعونا نتفحص عمليات المتعلمين الكسالى والمتحمسين لفهم نقاط القوة والضعف في كل نهج بشكل أفضل.

المتعلمين كسالى

تُعرف خوارزميات التعلم البطيء أيضًا باسم المتعلمين المعتمدين على المثيلات أو الذاكرة، حيث تقوم بتخزين بيانات التدريب وتأخير التعلم الفعلي حتى يلزم تصنيف الاستعلام. عندما يتم تشغيل إحدى هذه الخوارزميات، فإنها تقارن نقاط البيانات الجديدة بالمثيلات المخزنة باستخدام مقياس التشابه. تؤثر جودة وكمية البيانات المتاحة بشكل كبير على دقة الخوارزمية، وعادةً ما يؤدي الوصول إلى مجموعات بيانات أكبر إلى تحسين أدائها. غالبًا ما يعطي المتعلمون الكسالى الأولوية للبيانات الحديثة، وهو ما يُعرف باسمتحيز الحداثة. ولأنها تتعلم في الوقت الفعلي، فإنها يمكن أن تكون أبطأ وأكثر تكلفة من الناحية الحسابية عند الرد على الاستفسارات.

يتفوق المتعلمون الكسالى في البيئات الديناميكية حيث يكون اتخاذ القرار في الوقت الفعلي أمرًا بالغ الأهمية، وتتطور البيانات باستمرار. تعتبر هذه الخوارزميات مناسبة تمامًا للمهام التي تتدفق فيها المعلومات الجديدة بشكل مستمر، ولا يوجد وقت لدورات تدريبية مكثفة بين مهام التصنيف.

المتعلمين حريصة

في المقابل، تقوم خوارزميات التعلم الحريصة بمعالجة جميع بيانات التدريب مسبقًا، وبناء نموذج قبل تنفيذ أي مهام تصنيف. عادةً ما تكون مرحلة التعلم المسبق هذه أكثر تعقيدًا وكثافة في استخدام الموارد، مما يسمح للخوارزمية بالكشف عن علاقات أعمق في البيانات. بمجرد تدريبهم، لا يحتاج المتعلمون المتحمسون إلى الوصول إلى بيانات التدريب الأصلية، مما يجعلهم ذوي كفاءة عالية خلال مرحلة التنبؤ. يمكنهم تصنيف البيانات بسرعة والتعامل مع كميات كبيرة من الاستعلامات بأقل تكلفة حسابية.

ومع ذلك، فإن المتعلمين المتحمسين أقل مرونة في التكيف مع البيانات الجديدة في الوقت الفعلي. وتحد عملية التدريب كثيفة الموارد من كمية البيانات التي يمكنهم التعامل معها، مما يجعل من الصعب دمج المعلومات الجديدة دون إعادة تدريب النموذج بأكمله.

لاحقًا في هذا المنشور، سنرى كيف يمكن استخدام الخوارزميات البطيئة والمتحمسة جنبًا إلى جنب للتعرف على الوجه.

التصنيف مقابل الانحدار: ما الفرق؟

الآن بعد أن اكتشفنا كيفية عمل التصنيف، من المهم تمييزه عن أسلوب التعلم الرئيسي الآخر الخاضع للإشراف: الانحدار.

يتم استخدام كل من التصنيف والانحدار لعمل تنبؤات بناءً على البيانات المصنفة من مرحلة التدريب، لكنهما يختلفان في نوع التنبؤات التي يولدانها.

تتنبأ خوارزميات التصنيفبنتائج منفصلة وفئوية. على سبيل المثال، في نظام تصنيف البريد الإلكتروني، قد يتم تصنيف البريد الإلكتروني على أنه "بريد عشوائي" أو "هام" (حيث تشير كلمة "هام" إلى رسائل البريد الإلكتروني غير العشوائية). وبالمثل، قد يتنبأ نموذج تصنيف الطقس بـ "نعم" أو "لا" أو "ربما" ردًا على سؤال "هل ستمطر غدًا؟"

من ناحية أخرى، تتنبأخوارزميات الانحداربالقيم المستمرة. بدلاً من تخصيص البيانات إلى فئات، تقوم نماذج الانحدار بتقدير المخرجات الرقمية. على سبيل المثال، في نظام البريد الإلكتروني، قد يتنبأ نموذج الانحدار باحتمال أن تكون رسالة البريد الإلكتروني بريدًا عشوائيًا (على سبيل المثال، 70%). بالنسبة لنموذج التنبؤ بالطقس، يمكنه التنبؤ بالحجم المتوقع لهطول الأمطار، مثل 2 بوصة من المطر.

في حين أن التصنيف والانحدار يخدمان أغراضًا مختلفة، إلا أنهما يستخدمان معًا في بعض الأحيان. على سبيل المثال، قد يقدر الانحدار الاحتمالات التي تغذي نظام التصنيف، مما يعزز دقة وتفاصيل التنبؤات.

أنواع مهام التصنيف في ML

تختلف مهام التصنيف، وكل منها مصمم خصيصًا لأنواع بيانات وتحديات محددة. اعتمادًا على مدى تعقيد مهمتك وطبيعة الفئات، يمكنك استخدام طرق مختلفة: تصنيف ثنائي، أو متعدد الفئات، أو متعدد التسمية، أو غير متوازن. دعونا نتعمق في كل نهج أدناه.

التصنيف الثنائي

يعد التصنيف الثنائي مهمة أساسية تقوم بفرز البيانات إلى فئتين، مثل صواب/خطأ أو نعم/لا. يتم بحثه وتطبيقه على نطاق واسع في مجالات مثل اكتشاف الاحتيال وتحليل المشاعر والتشخيص الطبي وتصفية البريد العشوائي. بينما يتعامل التصنيف الثنائي مع فئتين، يمكن التعامل مع التصنيف الأكثر تعقيدًا عن طريق تقسيم المشكلة إلى مهام ثنائية متعددة. على سبيل المثال، لتصنيف البيانات إلى "تفاح" و"برتقال" و"موز" و"أخرى"، يمكن استخدام مصنفات ثنائية منفصلة للإجابة على "هل هي تفاحة؟" و"هل هي برتقالة؟" و"هل هي برتقالة؟" هل هي موزة؟"

تصنيف متعدد الطبقات

التصنيف متعدد الفئات، المعروف أيضًا باسم التصنيف متعدد الحدود، مصمم للمهام التي يتم فيها تصنيف البيانات إلى ثلاث فئات أو أكثر. على عكس النماذج التي تقسم المشكلة إلى مهام تصنيف ثنائية متعددة، تم تصميم خوارزميات متعددة الفئات للتعامل مع مثل هذه السيناريوهات بشكل أكثر كفاءة. عادةً ما تكون هذه الخوارزميات أكثر تعقيدًا، وتتطلب مجموعات بيانات أكبر، ويتطلب إعدادها موارد أكثر من الأنظمة الثنائية، ولكنها غالبًا ما توفر أداءً أفضل بمجرد تنفيذها.

تصنيف متعدد العلامات

يقوم التصنيف متعدد التصنيفات، المعروف أيضًا باسم التصنيف متعدد المخرجات، بتعيين أكثر من تسمية واحدة لجزء معين من البيانات. غالبًا ما يتم الخلط بينه وبين التصنيف متعدد الفئات، حيث يتم تعيين تسمية واحدة فقط لكل فئة من فئات متعددة.

لتوضيح الفرق: يمكن لخوارزمية التصنيف الثنائي فرز الصور إلى فئتين - صور تحتوي على فاكهة وصور بدون فاكهة. يمكن لنظام متعدد الفئات بعد ذلك تصنيف صور الفاكهة إلى فئات محددة مثل الموز أو التفاح أو البرتقال. من ناحية أخرى، يسمح التصنيف متعدد التصنيفات بتعيين تسميات متعددة لصورة واحدة. على سبيل المثال، يمكن تصنيف صورة واحدة على أنها "فاكهة" و"موزة"، ويمكن أيضًا تصنيف الفاكهة على أنها "ناضجة" أو "غير ناضجة". وهذا يمكّن النظام من حساب خصائص مستقلة متعددة في وقت واحد، مثل ("لا توجد فاكهة"، "لا يوجد موز"، "لا يوجد شيء ناضج")، ("فاكهة"، "موزة"، "ناضجة"، أو ("فاكهة، ""الموزة"، ""ليس هناك شيء ناضج"").

تصنيف غير متوازن

في كثير من الأحيان، لا تمثل البيانات المتاحة للتدريب توزيع البيانات المرئية في الواقع. على سبيل المثال، قد تتمكن الخوارزمية من الوصول إلى بيانات 100 مستخدم فقط أثناء التدريب، حيث يقوم 50% منهم بإجراء عملية شراء (بينما في الواقع، يقوم 10% فقط من المستخدمين بعملية شراء). تعالج خوارزميات التصنيف غير المتوازنة هذه المشكلة أثناء التعلم باستخدام تقنيات الإفراط في أخذ العينات (إعادة استخدام بعض أجزاء من بيانات التدريب) وتقنيات التقليل من العينات (استخدام بعض أجزاء من بيانات التدريب). يؤدي القيام بذلك إلى معرفة خوارزمية التعلم أن مجموعة فرعية من البيانات تحدث بشكل متكرر أكثر أو أقل في الواقع مما يحدث في بيانات التدريب. عادةً ما تكون هذه التقنيات بمثابة نوع من تحسين التدريب لأنها تسمح للنظام بالتعلم من بيانات أقل بكثير مما قد يتطلبه التعلم بخلاف ذلك.

في بعض الأحيان، يكون تجميع ما يكفي من البيانات لتعكس الواقع أمرًا صعبًا أو يستغرق وقتًا طويلاً، وهذا النوع من التحسين يمكن أن يسمح بتدريب النماذج في وقت أقرب. وفي أحيان أخرى، تكون كمية البيانات كبيرة جدًا بحيث تستغرق خوارزميات التصنيف وقتًا طويلاً للتدريب عليها كلها، وتسمح الخوارزميات غير المتوازنة بتدريبها على أي حال.

الخوارزميات المستخدمة لتحليل التصنيف

تمت دراسة خوارزميات التصنيف جيدًا، ولم يتم العثور على أي شكل من أشكال التصنيف مناسب عالميًا لجميع المواقف. ونتيجة لذلك، هناك مجموعة أدوات كبيرة من خوارزميات التصنيف المعروفة. أدناه، سنصف بعضًا من أكثرها شيوعًا.

المتنبئين الخطيين

تشير المتنبئات الخطية إلى الخوارزميات التي تتنبأ بالنتائج بناءً على مجموعات خطية من ميزات الإدخال. تُستخدم هذه الأساليب على نطاق واسع في مهام التصنيف لأنها واضحة وفعالة.

الانحدار اللوجستي

يعد الانحدار اللوجستي أحد أكثر التنبؤات الخطية استخدامًا، خاصة في التصنيف الثنائي. فهو يحسب احتمالية النتيجة بناءً على المتغيرات المرصودة باستخدام دالة لوجستية (أو سيني). ويتم اختيار الفئة ذات الاحتمالية الأعلى لتكون النتيجة المتوقعة، بشرط أن تتجاوز حد الثقة. إذا لم تصل أي نتيجة إلى هذا الحد، فقد يتم وضع علامة على النتيجة على أنها "غير متأكدة" أو "غير محددة".

الانحدار الخطي

يُستخدم الانحدار الخطي عادةً في حالات استخدام الانحدار، وينتج قيمًا مستمرة. ومع ذلك، يمكن إعادة استخدام القيم للتصنيف عن طريق إضافة مرشحات أو خرائط لتحويل مخرجاتها إلى فئات. على سبيل المثال، إذا قمت بالفعل بتدريب نموذج الانحدار الخطي الذي ينتج تنبؤات بحجم المطر، فيمكن أن يصبح نفس النموذج مصنفًا ثنائيًا "يوم ممطر"/"ليس يومًا ممطرًا" عن طريق تعيين عتبة بشكل تعسفي. افتراضيًا، يتم استخدام علامة نتيجة الانحدار فقط عند تحويل النماذج إلى مصنفات ثنائية (0 ويتم تعيين الأرقام الموجبة للإجابة "نعم" أو "+1"، والأرقام السالبة للإجابة "لا" أو "-" 1"). ومع ذلك، يمكن أن تكون الخرائط أكثر تعقيدًا ومضبوطة وفقًا لحالة الاستخدام. على سبيل المثال، قد تقرر أن أي توقع يزيد عن 5 مل من المطر سيعتبر "يومًا ممطرًا"، وأي توقع أقل من ذلك سيتنبأ بالعكس.

التحليل التمييزي

يعد التحليل التمييزي الخطي (LDA) مؤشرًا خطيًا مهمًا آخر يستخدم للتصنيف. يعمل LDA من خلال إيجاد مجموعات خطية من الميزات التي تفصل بين الفئات المختلفة بشكل أفضل. ويفترض أن الملاحظات مستقلة وموزعة بشكل طبيعي. في حين أن LDA غالبًا ما يُستخدم لتقليل الأبعاد، فهو أيضًا أداة تصنيف قوية تقوم بتعيين الملاحظات للفئات باستخدام الوظائف التمييزية - الوظائف التي تقيس الاختلافات بين الفئات.

تصنيف بايزي

تستخدم خوارزميات التصنيف البايزية نظرية بايز لحساب الاحتمال الخلفي لكل فئة في ضوء البيانات المرصودة. تفترض هذه الخوارزميات خصائص إحصائية معينة للبيانات، ويعتمد أدائها على مدى صحة هذه الافتراضات. على سبيل المثال، يفترض Naive Bayes أن الميزات مستقلة بشكل مشروط بالنظر إلى الفئة.

تصنيف ك-NN

تعد خوارزمية k-أقرب جار (k-NN) طريقة تصنيف أخرى مستخدمة على نطاق واسع. على الرغم من أنه يمكن تطبيقه على كل من مهام الانحدار والتصنيف، إلا أنه الأكثر استخدامًا للتصنيف. تقوم الخوارزمية بتعيين فئة لنقطة بيانات جديدة بناءً على فئات أقرب جيرانها k (حيث k متغير)، وذلك باستخدام حساب المسافة لتحديد القرب. تكون خوارزمية k-NN بسيطة وفعالة وفعالة عندما يكون هناك بنية محلية في البيانات. ويعتمد أدائها على اختيار مقياس المسافة المناسب والتأكد من أن البيانات تحتوي على أنماط محلية يمكن أن تساعد في التصنيف

أشجار القرار والغابات العشوائية

أشجار القرار هي خوارزمية شائعة تستخدم لمهام التصنيف. وهي تعمل عن طريق تقسيم البيانات بشكل متكرر بناءً على قيم الميزات لاتخاذ قرار بشأن الفئة التي تنتمي إليها ملاحظة معينة. ومع ذلك، تميل أشجار القرار إلى تجاوز بيانات التدريب، مما يؤدي إلى التقاط الضوضاء ويؤدي إلى تباين كبير. يؤدي هذا التجاوز إلى تعميم ضعيف للبيانات الجديدة.

للتخفيف من التجهيز الزائد، يتم استخدام الغابات العشوائية كأسلوب تجميع. تقوم الغابة العشوائية بتدريب أشجار قرار متعددة بالتوازي على مجموعات فرعية عشوائية من البيانات، وتقوم كل شجرة بعمل تنبؤاتها الخاصة. يتم إجراء التنبؤ النهائي من خلال تجميع تنبؤات جميع الأشجار، عادةً من خلال تصويت الأغلبية. هذه العملية، المعروفة باسم "التعبئة" (كلمة مختصرة لتجميع التمهيد)، تقلل من التباين وتحسن قدرة النموذج على التعميم على البيانات غير المرئية. تعد الغابات العشوائية فعالة في موازنة التحيز والتباين، مما يجعلها خوارزمية قوية جاهزة لمهام التصنيف.

تطبيقات التصنيف

تُستخدم خوارزميات التصنيف على نطاق واسع في مجالات مختلفة لحل مشكلات العالم الحقيقي من خلال تصنيف البيانات إلى مجموعات محددة مسبقًا. فيما يلي بعض التطبيقات الشائعة للتصنيف، بما في ذلك التعرف على الوجه وتصنيف المستندات والتنبؤ بسلوك العملاء.

التعرف على الوجه

تعمل أنظمة التعرف على الوجه على مطابقة الوجه الموجود في مقطع فيديو أو صورة في الوقت الفعلي مقابل قاعدة بيانات للوجوه المعروفة. يتم استخدامها بشكل شائع للمصادقة.

على سبيل المثال، سيبدأ نظام فتح الهاتف باستخدام نظام اكتشاف الوجه، الذي يلتقط صورًا منخفضة الدقة من الكاميرا الموجهة للوجه كل بضع ثوانٍ، ثم يستنتج ما إذا كان هناك وجه في الصورة. يمكن أن يكون نظام اكتشاف الوجه عبارة عن مصنف ثنائي مدرب جيدًا ومتحمس للإجابة على السؤال "هل هناك وجه موجود أم لا؟"

سيتبع المصنف الكسول السؤال المتلهف "هل هناك وجه؟" المصنف. سيتم استخدام جميع الصور والصور الشخصية لمالك الهاتف لتنفيذ مهمة تصنيف ثنائية منفصلة والإجابة على السؤال "هل ينتمي هذا الوجه إلى شخص مسموح له بفتح الهاتف؟" إذا كانت الإجابة بنعم، فسيتم فتح قفل الهاتف؛ إذا كان الجواب لا، فلن يحدث ذلك.

تصنيف الوثائق

يعد تصنيف المستندات جزءًا مهمًا من استراتيجيات إدارة البيانات الحديثة. تعمل أدوات التصنيف المعتمدة على تعلم الآلة على فهرسة وتصنيف أعداد كبيرة من المستندات المخزنة، مما يدعم جهود الفهرسة والبحث التي تجعل المستندات ومحتوياتها أكثر فائدة.

يبدأ عمل تصنيف المستندات بالمعالجة المسبقة للمستندات. يتم تحليل محتوياتها وتحويلها إلى تمثيلات رقمية (نظرًا لأن الأرقام أسهل في المعالجة). يتم استخراج ميزات المستند المهمة، مثل المعادلات الرياضية والصور المضمنة ولغة المستند، من المستندات ويتم تمييزها لتتعلمها خوارزميات ML. ويلي ذلك مهام معالجة أخرى مماثلة في نفس السياق.

يتم بعد ذلك تصنيف مجموعة فرعية من المستندات يدويًا بواسطة البشر لإنشاء مجموعة بيانات تدريبية لأنظمة التصنيف. بمجرد التدريب، سيقوم المُصنف بفهرسة وتصنيف جميع المستندات الواردة بسرعة وعلى نطاق واسع. إذا تم اكتشاف أي أخطاء في التصنيف، فيمكن إضافة تصحيحات يدوية إلى المواد التدريبية لنظام تعلم الآلة. من حين لآخر، يمكن إعادة تدريب نموذج المصنف مع إضافة التصحيحات، وسيتم تحسين أدائه.

التنبؤ بسلوك العملاء

تقوم متاجر البيع بالتجزئة والتجارة الإلكترونية عبر الإنترنت بجمع معلومات دقيقة ومفصلة حول سلوك عملائها. يمكن استخدام هذه المعلومات لتصنيف العملاء الجدد والإجابة على أسئلة مثل "هل من المحتمل أن يقوم هذا العميل الجديد بعملية شراء؟" و"هل سيؤثر تقديم خصم بنسبة 25% على سلوك الشراء لدى هذا العميل؟"

يتم تدريب المُصنف باستخدام بيانات من العملاء السابقين وسلوكهم النهائي، مثل ما إذا كانوا قد أجروا عملية شراء. ومع تفاعل العملاء الجدد مع المنصة، يمكن للنموذج التنبؤ بما إذا كانوا سيجرون عملية شراء ومتى. ويمكنه أيضًا إجراء تحليل "ماذا لو" للإجابة على أسئلة مثل "إذا عرضت على هذا المستخدم خصمًا بنسبة 25%، فهل سيقوم بعملية شراء؟"

مزايا التصنيف

يوفر التصنيف العديد من الفوائد في مجال التعلم الآلي، مما يجعله نهجًا مستخدمًا على نطاق واسع لحل مشكلات تصنيف البيانات. أدناه، نستكشف بعض المزايا الرئيسية للتصنيف، بما في ذلك نضجه ومرونته وقدرته على توفير مخرجات يمكن قراءتها بواسطة الإنسان.

مدروسة ومفهومة جيدا

يعد التصنيف أحد أكثر المشكلات التي تمت دراستها وفهمها جيدًا في مجال التعلم الآلي. ونتيجة لذلك، هناك العديد من مجموعات الأدوات الناضجة المتاحة لمهام التصنيف، مما يسمح للمستخدمين بموازنة المفاضلات بين السرعة والكفاءة واستخدام الموارد ومتطلبات جودة البيانات.

تتوفر التقنيات القياسية، مثل مصفوفات الدقة والإحكام والاستدعاء والارتباك، لتقييم أداء المصنف. باستخدام هذه الأدوات، يمكن أن يكون من السهل نسبيًا اختيار نظام التصنيف الأكثر ملاءمة لمشكلة معينة، وتقييم أدائه، وتحسينه بمرور الوقت.

توفير مخرجات يمكن قراءتها بواسطة الإنسان

غالبًا ما تسمح المُصنفات بالمفاضلة بين القدرة التنبؤية وسهولة القراءة البشرية. يمكن ضبط النماذج الأبسط والأكثر قابلية للتفسير، مثل أشجار القرار أو الانحدار اللوجستي، لتسهيل فهم سلوكها. يمكن استخدام هذه النماذج القابلة للتفسير لاستكشاف خصائص البيانات، مما يمكّن المستخدمين من الحصول على رؤى حول البيانات. ومن ثم يمكن لمثل هذه الأفكار أن توجه عملية تطوير نماذج التعلم الآلي الأكثر تعقيدًا ودقة.

عيوب التصنيف

على الرغم من أن التصنيف يعد أداة قوية في التعلم الآلي، إلا أنه يأتي مع بعض التحديات والقيود. أدناه، نناقش بعض العيوب الرئيسية للتصنيف، بما في ذلك الإفراط في التجهيز، والنقص في التجهيز، والحاجة إلى معالجة مسبقة واسعة النطاق لبيانات التدريب.

التجهيز الزائد

عند تدريب نماذج التصنيف، من المهم ضبط عملية التدريب لتقليل فرص تجاوز النموذج لبياناته. التجهيز الزائد هو مشكلة حيث يحفظ النموذج بعض أو كل بيانات المصدر الخاصة به، بدلاً من تطوير فهم مجرد للعلاقات في البيانات. سيعمل النموذج الذي قام بتجاوز بيانات التدريب بشكل جيد عندما يرى بيانات جديدة تشبه إلى حد كبير البيانات التي تم تدريبه عليها، ولكنه قد لا يعمل بشكل جيد بشكل عام.

غير مناسب

يعتمد أداء أنظمة التصنيف على توفر كميات كافية من بيانات التدريب، وعلى تطبيقها على المشكلات التي تعمل بشكل جيد مع خوارزميات التصنيف المختارة. إذا لم تتوفر بيانات تدريب كافية، أو إذا لم يكن لدى خوارزمية تصنيف معينة الأدوات المناسبة لتفسير البيانات بشكل صحيح، فقد لا يتعلم النموذج المدرب أبدًا كيفية عمل تنبؤات جيدة. تُعرف هذه الظاهرة باسم "نقص التجهيز". هناك العديد من التقنيات المتاحة لمحاولة التخفيف من عدم الملائمة، وتطبيقها بشكل صحيح ليس بالأمر السهل دائمًا.

المعالجة المسبقة لبيانات التدريب

العديد من أنظمة التصنيف لديها متطلبات صارمة نسبيًا فيما يتعلق ببنية البيانات وتنسيقها. غالبًا ما يرتبط أدائهم ارتباطًا وثيقًا بمدى جودة معالجة البيانات قبل أن يتعرضوا لها أو يتم تدريبهم عليها. ونتيجة لذلك، يمكن أن تكون أنظمة التصنيف جامدة وغير مرنة، ولها حدود صارمة حول المشكلات وسياقات البيانات الأكثر ملاءمة لها.