การส่งเสริมเทคนิคในการเรียนรู้ของเครื่อง: การเพิ่มความแม่นยำและลดข้อผิดพลาด

การบูสต์เป็นเทคนิคการเรียนรู้ทั้งมวลที่ทรงพลังในการเรียนรู้ของเครื่อง (ML) ที่ปรับปรุงความแม่นยำของโมเดลโดยการลดข้อผิดพลาด ด้วยการฝึกแบบจำลองตามลำดับเพื่อแก้ไขข้อบกพร่องก่อนหน้านี้ การปรับปรุงจะสร้างระบบการคาดการณ์ที่แข็งแกร่ง คู่มือนี้ครอบคลุมถึงวิธีการเพิ่มประสิทธิภาพ ข้อดี ความท้าทาย และการประยุกต์ และเปรียบเทียบกับการบรรจุถุงอย่างไร

สารบัญ

• กำลังส่งเสริมอะไร?
• อคติกับความแปรปรวน
• การเพิ่มประสิทธิภาพเทียบกับการบรรจุถุง
• การเพิ่มประสิทธิภาพทำงานอย่างไร
• ประเภทของอัลกอริธึมการเร่งความเร็ว
• การประยุกต์ใช้การเสริมกำลัง
• ข้อดีของการเสริมดวง
• ความท้าทายและข้อจำกัดของการส่งเสริม

กำลังส่งเสริมอะไร?

การบูสต์เป็นเทคนิคการเรียนรู้ทั้งมวลที่ฝึกโมเดลลำดับใหม่เพื่อแก้ไขข้อผิดพลาดของโมเดลก่อนหน้าในชุดทั้งมวล เทคนิคการเรียนรู้แบบ Ensemble เป็นวิธีการใช้แบบจำลองหลายแบบที่คล้ายกันเพื่อปรับปรุงประสิทธิภาพและความแม่นยำ ในการเพิ่มประสิทธิภาพ นาฬิการุ่นใหม่ได้รับการฝึกฝนจากข้อผิดพลาดก่อนหน้าของวงดนตรีเท่านั้น จากนั้นโมเดลใหม่จะเข้าร่วมกลุ่มเพื่อช่วยให้คาดการณ์ได้แม่นยำยิ่งขึ้น อินพุตใหม่ใดๆ จะถูกส่งผ่านโมเดลต่างๆ และรวมเข้าด้วยกันเพื่อลดข้อผิดพลาดในโมเดลทั้งหมด

ความแม่นยำเป็นแนวคิดที่กว้าง การเพิ่มประสิทธิภาพเพิ่มประสิทธิภาพของโมเดลโดยเฉพาะโดยการลดอคติของโมเดล (และความแปรปรวนในระดับที่น้อยกว่า) ความแปรปรวนและอคติเป็นแนวคิด ML ที่สำคัญสองประการที่เราจะกล่าวถึงในหัวข้อถัดไป

อคติกับความแปรปรวน

อคติและความแปรปรวนเป็นคุณสมบัติพื้นฐานสองประการของการเรียนรู้ของเครื่องโดยรวม เป้าหมายของอัลกอริธึม ML คือการลดความแปรปรวนและความลำเอียงของโมเดล เมื่อพิจารณาถึงความสำคัญของสิ่งเหล่านี้แล้ว เราจะอธิบายเพิ่มเติมเกี่ยวกับแต่ละรายการและเหตุใดจึงมักจะขัดแย้งกัน

เพื่ออธิบายแต่ละแนวคิด เราจะใช้ตัวอย่างในการทำนายราคาขายของบ้านโดยพิจารณาจากข้อมูลเกี่ยวกับคุณลักษณะต่างๆ (เช่น พื้นที่เป็นตารางฟุต จำนวนห้องนอน ฯลฯ)

อคติ

อคติคือการวัดว่าโมเดลมีข้อผิดพลาดโดยเฉลี่ยมากน้อยเพียงใด หากบ้านขายได้ในราคา 400,000 เหรียญสหรัฐฯ และแบบจำลองคาดการณ์ไว้ 300,000 เหรียญสหรัฐฯ ความลำเอียงสำหรับจุดข้อมูลนั้นคือ −100,000 เหรียญสหรัฐฯ เฉลี่ยความเอนเอียงของชุดข้อมูลการฝึกทั้งหมด และคุณมีอคติของโมเดล

อคติมักเป็นผลมาจากโมเดลที่ง่ายเกินไปที่จะรับความสัมพันธ์ที่ซับซ้อนระหว่างคุณลักษณะและเอาต์พุต โมเดลที่เรียบง่ายเกินไปอาจเรียนรู้ที่จะดูเฉพาะพื้นที่เป็นตารางฟุต และจะผิดพลาดอย่างสม่ำเสมอ แม้แต่ในข้อมูลการฝึกอบรมก็ตาม ในสำนวน ML สิ่งนี้เรียกว่า underfitting

ความแปรปรวน

ความแปรปรวนจะวัดว่าเอาต์พุตของแบบจำลองแตกต่างกันมากน้อยเพียงใดเมื่อมีอินพุตที่คล้ายกัน ในกรณีส่วนใหญ่ บ้านในละแวกใกล้เคียงกันและมีพื้นที่เป็นตารางฟุต จำนวนห้องนอน และจำนวนห้องน้ำเท่ากัน ควรมีราคาใกล้เคียงกัน แต่โมเดลที่มีความแปรปรวนสูงอาจทำให้ราคาแตกต่างกันมาก ทำไม

แบบจำลองอาจได้เรียนรู้ความสัมพันธ์ปลอมๆ จากข้อมูลการฝึกอบรม (เช่น การคิดว่าเลขที่บ้านส่งผลต่อราคา) ความสัมพันธ์ปลอมๆ เหล่านี้อาจทำให้ความสัมพันธ์ที่เป็นประโยชน์ในข้อมูลจมหายไปได้ โดยทั่วไป โมเดลที่ซับซ้อนจะพิจารณาจากความสัมพันธ์ที่ไม่เกี่ยวข้องเหล่านี้ ซึ่งเรียกว่าการฟิตติ้งมากเกินไป

การแลกเปลี่ยนอคติ-ความแปรปรวน

ตามหลักการแล้ว คุณจะต้องการโมเดล ML ที่มีอคติต่ำและมีความแปรปรวนต่ำที่จะดึงความสัมพันธ์ที่แท้จริงในข้อมูลแต่ไม่ได้มีอะไรมากกว่านั้น อย่างไรก็ตามนี่เป็นเรื่องยากในทางปฏิบัติ

การเพิ่มความซับซ้อนหรือความซับซ้อนของโมเดลสามารถลดอคติของโมเดลได้โดยการให้พลังแก่โมเดลในการค้นหารูปแบบที่ลึกลงไปในข้อมูล อย่างไรก็ตาม พลังเดียวกันนี้ยังสามารถช่วยค้นหารูปแบบที่ไม่เกี่ยวข้องและในทางกลับกัน ทำให้การแลกเปลี่ยนความลำเอียงและความแปรปรวนนี้แก้ไขได้ยาก

การเพิ่มประสิทธิภาพจะช่วยเพิ่มอคติและความแปรปรวน

การเพิ่มเป็นเทคนิคการเรียนรู้แบบวงดนตรีที่ได้รับความนิยมอย่างมาก เนื่องจากสามารถลดทั้งอคติและความแปรปรวนได้ (แม้ว่าการลดความแปรปรวนจะไม่เป็นเรื่องปกติ)

ด้วยการแก้ไขข้อผิดพลาดก่อนหน้านี้ การเพิ่มจะช่วยลดอัตราข้อผิดพลาดโดยเฉลี่ยและขนาดของโมเดลทั้งหมด และลดอคติลง

การใช้หลายรุ่น ข้อผิดพลาดของแต่ละรุ่นสามารถยกเลิกได้ ซึ่งอาจนำไปสู่ความแปรปรวนที่ลดลง

การเพิ่มประสิทธิภาพเทียบกับการบรรจุถุง

ในการเรียนรู้แบบทั้งมวล เทคนิคที่พบบ่อยที่สุดสองประการคือการส่งเสริมและการบรรจุถุง Bagging จะใช้ชุดข้อมูลการฝึก สร้างชุดย่อยแบบสุ่ม และฝึกโมเดลที่แตกต่างกันในแต่ละชุดย่อย จากนั้นจึงใช้แบบจำลองร่วมกันในการทำนาย สิ่งนี้นำไปสู่ความแตกต่างเล็กน้อยระหว่างการบรรจุถุงและการเพิ่มขนาด ซึ่งมีรายละเอียดด้านล่าง

เทคนิคทั้งสองเป็นเรื่องปกติ แต่การเพิ่มประสิทธิภาพเป็นตัวเลือกที่ได้รับความนิยมมากกว่า เนื่องจากสามารถลดอคติและความแปรปรวนได้

การเพิ่มประสิทธิภาพทำงานอย่างไร

มาดูกันว่าการเพิ่มประสิทธิภาพทำงานอย่างไร โดยพื้นฐานแล้ว การเพิ่มประสิทธิภาพประกอบด้วยการฝึกโมเดลใหม่แต่ละโมเดลเกี่ยวกับจุดข้อมูลที่โมเดลก่อนหน้านี้ผิดพลาด มีสามส่วน:

1. การถ่วงน้ำหนักข้อมูลการฝึกด้วยข้อผิดพลาด
2. การฝึกโมเดลใหม่เกี่ยวกับชุดข้อมูลข้อผิดพลาดแบบถ่วงน้ำหนักนี้
3. เพิ่มโมเดลใหม่ให้กับชุด

ขั้นแรก สมมติว่าเราได้ฝึกโมเดลเริ่มต้นแล้ว (ชุดหนึ่งของโมเดลหนึ่ง)

การถ่วงน้ำหนักข้อมูลการฝึกด้วยข้อผิดพลาด

เราเรียกใช้ข้อมูลการฝึกอบรมผ่านวงดนตรีที่มีอยู่ และสังเกตว่าอินพุตใดที่ให้การคาดการณ์ที่ไม่ถูกต้อง จากนั้นเราจะสร้างชุดข้อมูลการฝึกอบรมเวอร์ชันที่ได้รับการปรับเปลี่ยน โดยที่อินพุตที่ยุ่งยากเหล่านั้นจะถูกนำเสนอมากกว่าหรือมีความสำคัญมากกว่า

อบรมโมเดลใหม่

เราใช้ชุดข้อมูลที่แก้ไขที่เราสร้างขึ้นเพื่อฝึกโมเดลใหม่ ซึ่งเป็นประเภทเดียวกับโมเดลอื่นๆ ในกลุ่ม อย่างไรก็ตาม โมเดลใหม่นี้เน้นไปที่ตัวอย่างที่ยากจากข้อมูลการฝึกมากกว่า ดังนั้นจึงน่าจะทำงานได้ดีกว่ากับตัวอย่างเหล่านั้น การปรับปรุงประสิทธิภาพข้อผิดพลาดนี้เป็นส่วนสำคัญในการลดอคติ

ผสมผสานรูปแบบใหม่

มีการเพิ่มโมเดลที่ได้รับการฝึกใหม่เข้าไปในชุด และการคาดการณ์จะถ่วงน้ำหนักตามความแม่นยำ ในแบบคู่ขนาน อินพุตใหม่จะถูกส่งผ่านไปยังแต่ละโมเดลในชุด Ensemble และเอาต์พุตสุดท้ายของแต่ละรุ่นจะถูกถ่วงน้ำหนักเพื่อให้ได้เอาต์พุตของทั้งมวล

สำหรับงานจำแนกประเภท (โดยปกติจะเลือกระหว่างสองป้ายกำกับในการเพิ่มปัญหา) ชั้นเรียนที่มีผลรวมคะแนนโหวตถ่วงน้ำหนักสูงสุดจะถูกเลือกให้เป็นคำทำนายของทั้งมวล

สำหรับงานการถดถอย การทำนายของทั้งมวลคือค่าเฉลี่ยถ่วงน้ำหนักของการทำนายของแต่ละโมเดล

ณ จุดนี้ กระบวนการสามารถเกิดขึ้นซ้ำได้หากยังมีอคติสูงเกินไป

ประเภทของอัลกอริธึมการเร่งความเร็ว

อัลกอริธึมการเร่งความเร็วมีหลากหลายรูปแบบ โดยมีความแตกต่างกันอย่างมากระหว่างกัน ความนิยมมากที่สุดคือการเพิ่มประสิทธิภาพแบบปรับตัว (AdaBoost), การเพิ่มการไล่ระดับสี, การเพิ่มการไล่ระดับสีขั้นสุด (XGBoost) และการเพิ่มแมว เราจะอธิบายทีละเรื่อง

AdaBoost

AdaBoost นั้นคล้ายคลึงกับอัลกอริธึมการเร่งความเร็วที่เราวางไว้ก่อนหน้านี้มาก: ข้อมูลการฝึกอบรมที่ก่อให้เกิดปัญหาสำหรับวงดนตรีรุ่นก่อน ๆ จะถูกถ่วงน้ำหนักมากขึ้นเมื่อฝึกฝนโมเดลถัดไป AdaBoost เป็นหนึ่งในอัลกอริธึมการเร่งความเร็วดั้งเดิมและเป็นที่รู้จักในเรื่องความเรียบง่าย

AdaBoost มีแนวโน้มที่จะมีการติดตั้งมากเกินไปน้อยกว่าอัลกอริธึมการเร่งความเร็วอื่นๆ เนื่องจากโมเดลใหม่เห็นการเปลี่ยนแปลงที่แตกต่างกัน (โดยจุดข้อมูลแบบฮาร์ดจะพบได้บ่อยกว่า) ของชุดข้อมูลการฝึก แต่เมื่อเทียบกับเทคนิคการเพิ่มประสิทธิภาพอื่นๆ จะมีความไวต่อข้อมูลที่ผิดปกติมากกว่าและไม่ลดอคติมากนัก

การเร่งการไล่ระดับสี

การเร่งการไล่ระดับสีเป็นวิธีการพิเศษในการเพิ่มประสิทธิภาพ ตรงกันข้ามกับการเพิ่มประสิทธิภาพแบบปรับตัว โมเดลใหม่ๆ จะไม่ได้รับชุดข้อมูลการฝึกเวอร์ชันถ่วงน้ำหนักข้อผิดพลาด พวกเขาได้รับชุดข้อมูลดั้งเดิม อย่างไรก็ตาม แทนที่จะพยายามทำนายเอาท์พุตของอินพุตในชุดข้อมูล พวกเขาพยายามทำนายความชันเชิงลบของชุดก่อนหน้าในแต่ละอินพุต

การไล่ระดับสีเชิงลบนั้นเป็นทิศทางที่น้ำหนักแบบจำลองและการทำนายของทั้งมวลจะต้องเคลื่อนที่เพื่อลดข้อผิดพลาด เพื่อเข้าใกล้คำตอบที่ถูกต้องมากขึ้น การไล่ระดับสีเชิงลบจะถูกเพิ่ม (โดยใช้ปัจจัยการถ่วงน้ำหนัก) กับการทำนายเอาท์พุตของวงดนตรีก่อนหน้าเพื่อเขยิบให้เข้าใกล้ความถูกต้องมากขึ้น

การเพิ่มประสิทธิภาพการไล่ระดับสีนั้นมีประสิทธิภาพมากกว่า AdaBoosting โดยเฉพาะกับข้อมูลที่ซับซ้อน นอกจากนี้ยังมีไฮเปอร์พารามิเตอร์ที่ต้องปรับแต่งมากขึ้น ซึ่งช่วยให้ผู้ใช้สามารถควบคุมได้มากขึ้น แต่ยังเพิ่มความจำเป็นในการทดลองอีกด้วย

XGBoost

XGBoost (หรือการเพิ่มการไล่ระดับสีขั้นสุด) เป็นเวอร์ชันการเพิ่มการไล่ระดับสีที่ได้รับการปรับแต่งมาอย่างดี XGBoost ทำให้การฝึกเร่งการไล่ระดับสีและการอนุมานมีความขนานกันมากขึ้น XGBoost ยังเพิ่มการทำให้เป็นมาตรฐาน (เช่น บทลงโทษสำหรับความซับซ้อน) เพื่อป้องกันไม่ให้มีการติดตั้งมากเกินไปและจัดการกับข้อมูลที่ขาดหายไปได้ดีขึ้นมาก สุดท้ายนี้ XGBoost สามารถปรับขนาดได้มากขึ้นสำหรับชุดข้อมูลหรือปริมาณงานขนาดใหญ่

XGBoost มีประสิทธิภาพมากกว่าการไล่ระดับสี และเป็นหนึ่งในอัลกอริธึม ML ที่ได้รับความนิยมมากที่สุดในปี 2010 แต่มันก็ตีความได้ยากกว่าและมีราคาแพงกว่ามากในการคำนวณ

แคทบูสท์

CatBoost เป็นรูปแบบหนึ่งของการเพิ่มการไล่ระดับสีที่ออกแบบมาเพื่อทำงานกับข้อมูลเชิงหมวดหมู่ ข้อมูลเชิงหมวดหมู่คือข้อมูลที่มีค่าสามารถอยู่ในกลุ่มที่จำกัดได้ไม่กี่กลุ่ม นี่คือตัวอย่างบางส่วน:

• ใช่–ไม่มีข้อมูล (เช่น บ้านมีที่จอดรถหรือไม่)
• หมวดหมู่สี (เช่น แดง น้ำเงิน เขียว)
• หมวดหมู่สินค้า (เช่น เครื่องใช้ไฟฟ้า เสื้อผ้า เฟอร์นิเจอร์)

โดยทั่วไปโมเดลการเร่งการไล่ระดับสีจะทำงานได้ไม่ดีกับข้อมูลเชิงหมวดหมู่ ในขณะที่ CatBoost ทำงานได้ CatBoost ยังสามารถจัดการข้อมูลต่อเนื่องได้ ทำให้เป็นอีกหนึ่งตัวเลือกการเพิ่มประสิทธิภาพยอดนิยม เช่นเดียวกับโมเดลการเพิ่มการไล่ระดับสีอื่นๆ CatBoost ประสบปัญหาจากความซับซ้อนในการคำนวณและการปรับมากเกินไป

การประยุกต์ใช้การเสริมกำลัง

การเพิ่มประสิทธิภาพสามารถนำไปใช้กับปัญหา ML เกือบทุกปัญหาได้ เนื่องจากข้อผิดพลาดและอคติมักจะสูงกว่าที่เราต้องการ การจำแนกประเภทและการถดถอยเป็นสองส่วนย่อยหลักของ ML และการเพิ่มประสิทธิภาพใช้กับทั้งสองส่วน คำแนะนำเนื้อหาและการตรวจจับการฉ้อโกงเป็นสองตัวอย่างของปัญหา ML ที่บริษัทเผชิญอยู่ ซึ่งการเพิ่มประสิทธิภาพก็สามารถช่วยได้เช่นกัน

การจำแนกประเภทและการถดถอย

การจำแนกประเภทและการถดถอยเป็นงาน ML หลักสองงาน ผู้ใช้อาจต้องการคาดเดาว่ารูปภาพมีสุนัขหรือแมว (การจัดหมวดหมู่) หรืออาจต้องการทำนายราคาขายบ้าน (การถดถอย) การเพิ่มประสิทธิภาพทำงานได้ดีสำหรับทั้งสองงาน โดยเฉพาะอย่างยิ่งเมื่อโมเดลพื้นฐานอ่อนแอหรือไม่ซับซ้อน

คำแนะนำเนื้อหา

การเพิ่มประสิทธิภาพจะช่วยปรับปรุงการแนะนำเนื้อหา (เช่น ภาพยนตร์ที่ Netflix แนะนำสำหรับคุณ) โดยการปรับปรุงความแม่นยำในการทำนายซ้ำๆ ตามความต้องการของผู้ใช้ เมื่อโมเดลผู้แนะนำไม่สามารถบันทึกรูปแบบการดูบางอย่างได้ (เช่น การตั้งค่าตามฤดูกาลหรือตัวเลือกที่ขึ้นกับบริบท) การเพิ่มประสิทธิภาพจะสร้างโมเดลเพิ่มเติมที่เน้นไปที่รูปแบบที่พลาดไปเหล่านี้โดยเฉพาะ โมเดลใหม่แต่ละรุ่นตามลำดับจะให้น้ำหนักเพิ่มเติมกับการตั้งค่าของผู้ใช้ที่คาดการณ์ไว้ไม่ดีก่อนหน้านี้ ส่งผลให้ข้อผิดพลาดลดลง

การตรวจจับการฉ้อโกง

ในการตรวจจับการฉ้อโกง ซึ่งเป็นกรณีการใช้งานทั่วไปสำหรับบริษัทการเงิน การส่งเสริมความเป็นเลิศโดยการเรียนรู้อย่างต่อเนื่องจากธุรกรรมที่จัดประเภทไม่ถูกต้อง หากโมเดลเริ่มต้นพลาดรูปแบบการฉ้อโกงที่ซับซ้อน โมเดลที่ได้รับการเพิ่มประสิทธิภาพที่ใหม่กว่าจะกำหนดเป้าหมายไปที่กรณีที่ยุ่งยากเหล่านี้โดยเฉพาะ เทคนิคนี้ปรับให้เข้ากับการเปลี่ยนแปลงกลยุทธ์การฉ้อโกงได้เป็นอย่างดี โดยให้น้ำหนักที่มากขึ้นกับการจัดประเภทที่ไม่ถูกต้องล่าสุด ทำให้ระบบสามารถรักษาอัตราการตรวจจับที่สูงได้

ข้อดีของการเสริมดวง

การเพิ่มประสิทธิภาพทำได้ดีเยี่ยมในการลดอคติของโมเดล และความแปรปรวนในระดับที่น้อยลง เมื่อเปรียบเทียบกับเทคนิค Ensemble อื่นๆ ต้องใช้ข้อมูลน้อยกว่าและให้ผู้ใช้สามารถควบคุมการโอเวอร์ฟิตได้มากขึ้น

ลดอคติและความแปรปรวน

อคติสูงหมายความว่าโมเดลมักจะผิด การบูสต์เป็นเทคนิคที่ดีในการลดอคติในโมเดล เนื่องจากแต่ละรุ่นมุ่งเน้นไปที่การแก้ไขข้อผิดพลาดของรุ่นก่อนหน้า โดยรวมจึงลดอัตราข้อผิดพลาดลง

ความแปรปรวนที่ลดลงยังมีผลข้างเคียง: โมเดลที่ใหม่กว่าอาจมีข้อมูลการฝึกที่แตกต่างกัน ทำให้เกิดข้อผิดพลาดในโมเดลที่ต่างกันเพื่อยกเลิกซึ่งกันและกัน

ต้องการข้อมูลน้อยลง

ต่างจากเทคนิค Ensemble อื่นๆ การเพิ่มประสิทธิภาพไม่จำเป็นต้องใช้ชุดข้อมูลขนาดใหญ่เพื่อให้ทำงานได้ดี เนื่องจากโมเดลใหม่แต่ละโมเดลมุ่งเน้นไปที่ข้อผิดพลาดของรุ่นเก่าเป็นหลัก จึงมีเป้าหมายที่แคบและไม่ต้องการข้อมูลจำนวนมาก โมเดลใหม่สามารถใช้ข้อมูลการฝึกที่มีอยู่และฝึกข้อผิดพลาดซ้ำๆ ได้

ควบคุมการโอเวอร์ฟิตได้มากขึ้น

การบูสต์มีไฮเปอร์พารามิเตอร์สองสามตัวที่ควบคุมว่าโมเดลใหม่แต่ละโมเดลมีส่วนช่วยในการทำนายทั้งมวลมากน้อยเพียงใด การปรับเปลี่ยนไฮเปอร์พารามิเตอร์เหล่านี้ทำให้ผู้ใช้สามารถลดผลกระทบของโมเดลใหม่ๆ ได้ สิ่งนี้จะเพิ่มความลำเอียงแต่อาจลดความแปรปรวนลง ทำให้ผู้ใช้สามารถควบคุมได้ว่าจุดไหนในการแลกเปลี่ยนความลำเอียงและความแปรปรวนที่พวกเขาต้องการ

ความท้าทายและข้อจำกัดของการส่งเสริม

การเพิ่มประสิทธิภาพมีข้อแม้อยู่ ต้องใช้เวลาในการฝึกอบรมและใช้งานมากขึ้น มีความอ่อนไหวต่อข้อมูลที่ผิดปกติ และต้องมีการปรับแต่งไฮเปอร์พารามิเตอร์มากขึ้น

ระยะเวลาการฝึกนานขึ้น

ในการเพิ่มประสิทธิภาพ แต่ละโมเดลใหม่จะขึ้นอยู่กับข้อผิดพลาดของวงดนตรีก่อนหน้า ซึ่งหมายความว่าโมเดลต่างๆ จะต้องได้รับการฝึกทีละครั้ง ส่งผลให้ใช้เวลาในการฝึกนานขึ้น ข้อเสียอีกประการหนึ่งคือการฝึกอบรมตามลำดับหมายความว่าคุณอาจไม่รู้ว่าการเพิ่มประสิทธิภาพจะมีประสิทธิภาพหรือไม่จนกว่าคุณจะฝึกโมเดลหลายสิบแบบ

ความไวที่ผิดปกติ

ในการเพิ่มประสิทธิภาพ รุ่นที่ใหม่กว่าจะเน้นไปที่ข้อผิดพลาดของรุ่นก่อนๆ เท่านั้น ข้อมูลผิดปกติบางอย่างในชุดการฝึกที่ควรละเว้นอาจกลายเป็นจุดสนใจของโมเดลรุ่นหลังๆ แทน สิ่งนี้สามารถลดประสิทธิภาพโดยรวมของวงดนตรีและลดเวลาการฝึกอบรมได้ อาจจำเป็นต้องมีการประมวลผลข้อมูลอย่างระมัดระวังเพื่อแก้ไขผลกระทบของค่าผิดปกติ

การปรับแต่งไฮเปอร์พารามิเตอร์เพิ่มเติม

ข้อดีของการให้ผู้ใช้ควบคุมการปรับมากเกินไปยังหมายความว่าผู้ใช้จำเป็นต้องปรับแต่งไฮเปอร์พารามิเตอร์มากขึ้นเพื่อค้นหาสมดุลที่ดีระหว่างอคติและความแปรปรวน มักจำเป็นต้องมีการทดลองเร่งหลายครั้ง ซึ่งทำให้การฝึกตามลำดับน่าเบื่อยิ่งขึ้น การเพิ่มประสิทธิภาพต้องใช้ทรัพยากรในการคำนวณจำนวนมาก