การเรียนรู้แบบไม่มีผู้ดูแล: คืออะไรและทำงานอย่างไร

เผยแพร่แล้ว: 2024-07-03

ไขความลึกลับของการเรียนรู้แบบไม่มีผู้ดูแล ซึ่งเป็นเทคนิคการปฏิวัติที่ช่วยให้เครื่องจักรกลายเป็นนักวิเคราะห์ข้อมูลอัตโนมัติ โดยดึงข้อมูลเชิงลึกอันมีค่าออกมาโดยไม่ต้องมีการแทรกแซงของมนุษย์

สารบัญ

  • การเรียนรู้แบบไม่มีผู้ดูแลคืออะไร?
  • การเรียนรู้แบบไม่มีผู้ดูแลกับการเรียนรู้แบบมีผู้สอน
  • การเรียนรู้แบบไม่มีผู้ดูแลทำงานอย่างไร
  • ประเภทของการเรียนรู้แบบไม่มีผู้ดูแล
  • การประยุกต์การเรียนรู้แบบไม่มีผู้ดูแล
  • ข้อดีของการเรียนรู้แบบไม่มีผู้ดูแล
  • ข้อเสียของการเรียนรู้แบบไม่มีผู้ดูแล

การเรียนรู้แบบไม่มีผู้ดูแลคืออะไร?

การเรียนรู้แบบไม่มีผู้ดูแลคือการเรียนรู้ของเครื่อง (ML) ประเภทหนึ่งที่ค้นหารูปแบบและความสัมพันธ์ภายในข้อมูลด้วยตัวมันเอง คำว่าunsupervisedหมายความว่าโมเดลใช้ข้อมูลที่ไม่มีป้ายกำกับ ซึ่งหมายความว่าโมเดลไม่ได้รับคำแนะนำจากมนุษย์เกี่ยวกับสิ่งที่ควรมองหา หรือแม้แต่คำแนะนำเกี่ยวกับสิ่งที่กำลังดูอยู่ แต่จะใช้อัลกอริธึมในการประเมินชุดข้อมูลและค้นหาความสัมพันธ์ ความเหมือน ความแตกต่าง และวิธีการอื่นๆ ในการอธิบายข้อมูลโดยใช้คณิตศาสตร์

การเรียนรู้ของเครื่องเป็นส่วนย่อยของปัญญาประดิษฐ์ (AI) ที่ใช้ข้อมูลและวิธีการทางสถิติเพื่อสร้างแบบจำลองที่เลียนแบบการใช้เหตุผลของมนุษย์แทนที่จะอาศัยคำสั่งแบบฮาร์ดโค้ด การเรียนรู้แบบไม่มีผู้ดูแลใช้วิธีการสำรวจที่ขับเคลื่อนด้วยข้อมูลเพื่อสรุปผลจากชุดข้อมูลขนาดใหญ่ เช่น การจัดกลุ่มเอนทิตีตามลักษณะทั่วไป หรือการค้นหาว่าจุดข้อมูลใดมีแนวโน้มที่จะเกิดขึ้นร่วมกัน ซึ่งอาจแสดงเป็นภาพการเรียงลำดับภาพผลัดใบจากต้นไม้เขียวชอุ่ม หรือการค้นหา ที่คนที่สตรีมSesame Streetก็น่าจะดูDaniel Tigerเหมือนกัน

ทำงานอย่างชาญฉลาดยิ่งขึ้นด้วย Grammarly
คู่หูการเขียน AI สำหรับใครก็ตามที่มีงานทำ

การเรียนรู้แบบไม่มีผู้ดูแลกับการเรียนรู้แบบมีผู้สอน

ตรงกันข้ามกับวิธีการแบบไม่มีผู้ดูแล การเรียนรู้แบบมีผู้สอนใช้ข้อมูลที่มีป้ายกำกับซึ่งจับคู่อินพุตกับเอาต์พุตที่ถูกต้อง ในทางกลับกัน การเรียนรู้แบบไม่มีผู้ดูแลไม่มีอินพุตและเอาต์พุตสำหรับโมเดลในการหยั่งรู้ มีเพียงข้อมูลเท่านั้นที่จะวิเคราะห์

ป้ายกำกับจัดเตรียมสิ่งที่เรียกว่าการกำกับดูแลกระบวนการเรียนรู้ของโมเดล โดยแนะนำให้ทำวิศวกรรมย้อนกลับเพื่อไปสู่คำตอบที่ถูกต้องจากอินพุตที่กำหนด การใช้การเรียนรู้แบบมีผู้สอนเหมาะสมเมื่อคุณมีข้อมูลประเภทนี้ที่โมเดลสามารถมุ่งเป้าและคาดการณ์ได้ รวมถึง:

  • ใช่หรือไม่ใช่การตัดสินใจ เช่น การตรวจจับสแปมหรือการฉ้อโกง
  • การจัดหมวดหมู่ เช่น การระบุวัตถุภายในรูปภาพหรือการรู้จำคำพูด
  • การพยากรณ์ เช่น ราคาบ้าน หรือสภาพอากาศ

ในทางตรงกันข้าม การเรียนรู้แบบไม่มีผู้ดูแลไม่ได้มีไว้สำหรับการหาคำตอบที่ถูกต้อง แต่มีไว้สำหรับการค้นหารูปแบบหรือการจัดกลุ่มภายในข้อมูล แอปพลิเคชันหลักสามรายการ ได้แก่:

  • การจัดกลุ่ม เช่น การแบ่งส่วนลูกค้าหรือการจัดกลุ่มเอกสาร
  • การเชื่อมโยง เช่น เครื่องมือแนะนำหรือความผิดปกติด้านความปลอดภัย
  • การลดขนาด โดยทั่วไปใช้ในการบีบอัดชุดข้อมูลขนาดใหญ่เพื่อให้จัดการได้ง่ายขึ้น

แมชชีนเลิร์นนิงไม่ได้จำกัดอยู่เพียงวิธีการแบบมีผู้ดูแลหรือไม่มีผู้ดูแลเท่านั้น นี่เป็นเพียงปลายทั้งสองด้านของสเปกตรัม วิธีแมชชีนเลิร์นนิงประเภทอื่นๆ ได้แก่ แบบกึ่งมีผู้ดูแล การเสริมกำลัง และการเรียนรู้แบบมีผู้ดูแลด้วยตนเอง

การเรียนรู้แบบไม่มีผู้ดูแลทำงานอย่างไร

การเรียนรู้แบบไม่มีผู้ดูแลนั้นเรียบง่ายตามแนวคิด: อัลกอริธึมจะประมวลผลข้อมูลจำนวนมากเพื่อกำหนดว่าจุดข้อมูลต่างๆ เกี่ยวข้องกันอย่างไร เนื่องจากข้อมูลไม่มีป้ายกำกับ การเรียนรู้แบบไม่มีผู้ดูแลจึงไม่มีบริบทหรือเป้าหมาย เป็นเพียงการพยายามค้นหารูปแบบและคุณลักษณะอื่นๆ

ต่อไปนี้เป็นภาพรวมโดยย่อของกระบวนการเรียนรู้แบบไม่มีผู้ดูแล:

1 การรวบรวมและการทำความสะอาดข้อมูลการเรียนรู้แบบไม่มีผู้ดูแลจะประเมินทีละตาราง ดังนั้นหากคุณมีชุดข้อมูลหลายชุด คุณต้องผสานเข้าด้วยกันอย่างระมัดระวัง สิ่งสำคัญคือต้องจัดระเบียบข้อมูลให้ดีที่สุดเท่าที่จะทำได้ เช่น การลบข้อมูลที่ซ้ำกันและแก้ไขข้อผิดพลาด

2 การปรับขนาดคุณสมบัติอัลกอริธึมที่ไม่ได้รับการดูแลสามารถละทิ้งไปได้ในช่วงที่กว้าง ดังนั้นให้ลองเปลี่ยนคุณลักษณะต่างๆ ให้อยู่ในช่วงที่แคบลงโดยใช้เทคนิคต่างๆ ซึ่งรวมถึง:

  • การทำให้เป็นมาตรฐาน: แปลงค่าบนสุดเป็น 1 ค่าต่ำสุดเป็น 0 และทุกอย่างอื่นๆ เป็นทศนิยม
  • การกำหนดมาตรฐาน: ระบุค่าเฉลี่ยเป็น 0 และส่วนเบี่ยงเบนมาตรฐานเป็น 1 โดยแต่ละจุดข้อมูลจะปรับตามนั้น
  • การแปลงลอการิทึม: บีบอัดช่วงกว้าง ดังนั้นด้วยลอการิทึมฐาน 10 100,000 จะกลายเป็น 6 และ 1,000,000 กลายเป็น 7

3 การเลือกอัลกอริทึมมีอัลกอริธึมหลายแบบสำหรับการเรียนรู้แบบไม่มีผู้ดูแลแต่ละประเภท แต่ละประเภทมีจุดแข็งและจุดอ่อน (เราจะอธิบายในส่วนถัดไป) คุณอาจเลือกใช้อัลกอริธึมที่แตกต่างกันกับชุดข้อมูลเดียวกันและเปรียบเทียบได้

4 การค้นพบและการระบุรูปแบบอัลกอริธึมที่เลือกจะเริ่มทำงาน การดำเนินการนี้อาจใช้เวลาไม่กี่วินาทีถึงชั่วโมง ขึ้นอยู่กับขนาดของชุดข้อมูลและประสิทธิภาพของอัลกอริทึม หากคุณมีชุดข้อมูลขนาดใหญ่ คุณอาจต้องการเรียกใช้อัลกอริทึมบนชุดย่อยก่อนที่จะประมวลผลทั้งหมด

5 การตีความในขั้นตอนนี้ ถึงเวลาที่มนุษย์จะเข้ายึดครอง นักวิเคราะห์ข้อมูลสามารถใช้แผนภูมิ การตรวจสอบเฉพาะจุด และการคำนวณต่างๆ เพื่อวิเคราะห์และตีความข้อมูล

6 การสมัครเมื่อคุณมั่นใจว่าได้ผลลัพธ์ที่เป็นประโยชน์แล้ว ให้นำไปใช้ เราจะพูดถึงการประยุกต์ใช้การเรียนรู้แบบไม่มีผู้ดูแลในภายหลัง

ประเภทของการเรียนรู้แบบไม่มีผู้ดูแล

การเรียนรู้แบบไม่มีผู้ดูแลมีหลายประเภท แต่ประเภทที่ใช้กันอย่างแพร่หลายสามประเภท ได้แก่ การจัดกลุ่ม กฎการเชื่อมโยง และการลดขนาด

การจัดกลุ่ม

การจัดกลุ่มจะสร้างกลุ่มของจุดข้อมูล มีประโยชน์มากสำหรับการรวมกลุ่มรายการที่คล้ายคลึงกัน เพื่อให้สามารถจำแนกประเภทตามการวิเคราะห์โดยมนุษย์ได้ในภายหลัง ตัวอย่างเช่น หากคุณมีชุดข้อมูลที่ประกอบด้วยอายุลูกค้าและจำนวนเงินเฉลี่ยของธุรกรรม อาจพบคลัสเตอร์ที่ช่วยคุณตัดสินใจว่าจะกำหนดเป้าหมายดอลลาร์โฆษณาของคุณไปที่ใด

ประเภทของการรวมกลุ่มได้แก่:

  • การทำคลัสเตอร์แบบพิเศษหรือแบบฮาร์ดแต่ละจุดข้อมูลสามารถเป็นของคลัสเตอร์เดียวเท่านั้น วิธีการยอดนิยมวิธีหนึ่งที่เรียกว่า k-mean ช่วยให้คุณสามารถระบุจำนวนคลัสเตอร์ที่คุณต้องการสร้างได้ แม้ว่าวิธีอื่นๆ จะสามารถกำหนดจำนวนคลัสเตอร์ที่เหมาะสมที่สุดได้ก็ตาม
  • การทับซ้อนกันหรือการจัดกลุ่มแบบอ่อน วิธีการนี้ช่วยให้จุดข้อมูลอยู่ในหลายคลัสเตอร์และมี "ระดับ" ของการเป็นสมาชิกในแต่ละคลัสเตอร์ แทนที่จะเข้าหรือออกเพียงอย่างเดียว
  • การจัดกลุ่มแบบลำดับชั้น หากทำจากล่างขึ้นบน จะเรียกว่าการจัดกลุ่มแบบกลุ่มแบบลำดับชั้นหรือ HAC จากบนลงล่างเรียกว่าการแบ่งกลุ่มแบบแบ่งแยก ทั้งสองเกี่ยวข้องกับกลุ่มจำนวนมากที่จัดเป็นกลุ่มที่ใหญ่ขึ้นและใหญ่ขึ้น
  • การจัดกลุ่มความน่าจะเป็น นี่เป็นแนวทางที่แตกต่างออกไปซึ่งจะระบุเปอร์เซ็นต์ความน่าจะเป็นของจุดข้อมูลใดๆ ที่อยู่ในหมวดหมู่ใดๆ ข้อดีประการหนึ่งของแนวทางนี้คือสามารถกำหนดจุดข้อมูลบางจุดให้มีความน่าจะเป็นต่ำมากที่จะเป็นส่วนหนึ่งของคลัสเตอร์ที่กำหนด ซึ่งอาจเน้นย้ำข้อมูลที่ผิดปกติหรือเสียหาย

กฎสมาคม

เรียกอีกอย่างว่าการขุดกฎการเชื่อมโยงหรือการเรียนรู้กฎการเชื่อมโยง แนวทางนี้ค้นหาความสัมพันธ์ที่น่าสนใจระหว่างจุดข้อมูล การใช้กฎการเชื่อมโยงที่พบบ่อยที่สุดคือการค้นหาว่ารายการใดที่มักซื้อหรือใช้ร่วมกัน เพื่อให้แบบจำลองสามารถแนะนำสิ่งต่อไปที่จะซื้อหรือแสดงเพื่อดูได้

แนวคิดหลักสามประการของกฎการเชื่อมโยงคือ:

  • สนับสนุน.ความถี่ที่ A และ B พบรวมกันเป็นเปอร์เซ็นต์ของอินสแตนซ์ที่มีอยู่ทั้งหมด (เช่น ธุรกรรม) A และ B อาจเป็นแต่ละรายการหรือชุดที่แทนหลายรายการก็ได้
  • ความมั่นใจ. บ่อยแค่ไหนที่ถ้าเห็น A ก็เห็น B ด้วย?
  • ยก. ความน่าจะเป็นที่ A และ B จะถูกมองเห็นร่วมกันเป็นเท่าใด เมื่อเทียบกับถ้าไม่มีความสัมพันธ์กัน? ลิฟต์เป็นตัววัด “ความน่าสนใจ” ของสมาคม

การลดขนาด

การลดขนาดจะสอดคล้องกับจำนวนคอลัมน์ในตาราง ข้อกำหนดอื่นๆ สำหรับคอลัมน์ในบริบทนี้คือคุณลักษณะหรือคุณลักษณะเมื่อจำนวนคุณลักษณะในชุดข้อมูลเพิ่มมากขึ้น การวิเคราะห์ข้อมูลและการบรรลุผลลัพธ์ที่ดีที่สุดจึงกลายเป็นเรื่องที่ท้าทายมากขึ้น

ข้อมูลมิติสูงต้องใช้เวลา พลังการประมวลผล และพลังงานในการประมวลผลมากขึ้น นอกจากนี้ยังสามารถนำไปสู่ผลลัพธ์ที่ต่ำกว่ามาตรฐานได้ ตัวอย่างที่อันตรายอย่างยิ่งประการหนึ่งคือ การติดตั้งมากเกินไป แนวโน้มของโมเดลการเรียนรู้ของเครื่องที่จะเรียนรู้มากเกินไปจากรายละเอียดในข้อมูลการฝึกอบรม โดยที่รูปแบบที่กว้างขึ้นซึ่งสรุปเป็นข้อมูลใหม่ได้ดี

อัลกอริธึมการลดขนาดจะสร้างชุดข้อมูลที่เรียบง่ายโดยการย่อข้อมูลต้นฉบับให้เป็นเวอร์ชันที่เล็กลงและจัดการได้มากขึ้น โดยจะเก็บข้อมูลที่สำคัญที่สุดไว้ ทำงานโดยการรวมคุณลักษณะที่สัมพันธ์กันและสังเกตความแปรผันจากแนวโน้มทั่วไป ช่วยลดจำนวนคอลัมน์ได้อย่างมีประสิทธิภาพโดยไม่สูญเสียรายละเอียดที่สำคัญ

ตัวอย่างเช่น หากคุณมีชุดข้อมูลเกี่ยวกับโรงแรมและสิ่งอำนวยความสะดวก โมเดลอาจพบว่าคุณลักษณะหลายอย่างมีความสัมพันธ์กับระดับดาว จึงสามารถบีบอัดคุณลักษณะต่างๆ เช่น สปา รูมเซอร์วิส และแผนกต้อนรับ 24 ชั่วโมงลงในคอลัมน์เดียวได้

โดยทั่วไปแล้ว วิศวกรจะลดมิติข้อมูลเป็นขั้นตอนก่อนการประมวลผลเพื่อปรับปรุงประสิทธิภาพและผลลัพธ์ของกระบวนการอื่นๆ รวมถึงแต่ไม่จำกัดเพียงการจัดกลุ่มและการเรียนรู้กฎการเชื่อมโยง

การประยุกต์การเรียนรู้แบบไม่มีผู้ดูแล

ตัวอย่างบางส่วนได้แก่:

  • การวิเคราะห์ตะกร้าตลาดผู้ค้าปลีกใช้กฎสมาคมอย่างกว้างขวาง ตัวอย่างเช่น หากคุณใส่ฮอทดอกไว้ในรถเข็นช็อปปิ้ง ก็อาจแนะนำให้คุณซื้อซอสมะเขือเทศและขนมปังฮอทดอก เนื่องจากผู้ซื้อรายอื่นๆ เห็นส่วนผสมเหล่านี้เพิ่มขึ้นมาก ข้อมูลเดียวกันอาจทำให้พวกเขาวางซอสมะเขือเทศและฮอทดอกติดกันในซูเปอร์มาร์เก็ต
  • เครื่องยนต์แนะนำ สิ่งเหล่านี้จะดูข้อมูลส่วนบุคคลของคุณ—ข้อมูลประชากรและรูปแบบพฤติกรรม—แล้วเปรียบเทียบกับข้อมูลของผู้อื่นเพื่อคาดเดาว่าคุณอาจสนุกกับการซื้อหรือดูอะไรต่อไป พวกเขาสามารถใช้การเรียนรู้แบบไม่มีผู้ดูแลได้สามประเภท: การจัดกลุ่มเพื่อกำหนดรูปแบบของลูกค้ารายอื่นที่อาจทำนายรูปแบบของคุณ กฎการเชื่อมโยงเพื่อค้นหาความสัมพันธ์ระหว่างกิจกรรมหรือการซื้อบางอย่าง และการลดขนาดเพื่อให้ชุดข้อมูลที่ซับซ้อนประมวลผลได้ง่ายขึ้น
  • การแบ่งส่วนลูกค้า ในขณะที่นักการตลาดแบ่งกลุ่มเป้าหมายออกเป็นหมวดหมู่ที่มีชื่อมานานหลายทศวรรษ การจัดกลุ่มแบบไม่ได้รับการดูแลสามารถเลือกกลุ่มที่อาจไม่ได้อยู่ในความคิดของมนุษย์ แนวทางนี้ช่วยให้สามารถวิเคราะห์ตามพฤติกรรมและช่วยให้ทีมกำหนดเป้าหมายการส่งข้อความและการส่งเสริมการขายในรูปแบบใหม่ได้
  • การตรวจจับความผิดปกติเนื่องจากสามารถเข้าใจรูปแบบได้ดีมาก การเรียนรู้แบบไม่มีผู้ดูแลจึงมักใช้เพื่อแจ้งเตือนเมื่อมีสิ่งผิดปกติเกิดขึ้น การใช้งานรวมถึงการแจ้งการซื้อบัตรเครดิตที่เป็นการฉ้อโกง ข้อมูลในตารางที่เสียหาย และโอกาสในการเก็งกำไรในตลาดการเงิน
  • การรู้จำเสียงคำพูดมีความซับซ้อนสำหรับคอมพิวเตอร์ในการแยกวิเคราะห์ เนื่องจากต้องต่อสู้กับเสียงรบกวนเบื้องหลัง สำเนียง ภาษาถิ่น และเสียงพูด การเรียนรู้แบบไม่มีผู้ดูแลช่วยให้กลไกการรู้จำเสียงเรียนรู้ว่าเสียงใดมีความสัมพันธ์กับหน่วยเสียง (หน่วยเสียงพูด) และหน่วยเสียงใดที่มักจะได้ยินร่วมกัน นอกเหนือจากการกรองเสียงรบกวนรอบข้างและการปรับปรุงอื่นๆ

ข้อดีของการเรียนรู้แบบไม่มีผู้ดูแล

  • การมีส่วนร่วมของมนุษย์ต่ำเมื่อระบบการเรียนรู้แบบไม่มีผู้ดูแลได้รับการพิสูจน์ว่าเชื่อถือได้แล้ว การรันก็ต้องใช้ความพยายามเพียงเล็กน้อย นอกเหนือไปจากการรับรองว่าอินพุตและเอาท์พุตถูกกำหนดเส้นทางอย่างเหมาะสม
  • ทำงานกับข้อมูลดิบ ไม่จำเป็นต้องจัดเตรียมป้ายกำกับ กล่าวคือ เพื่อระบุว่าเอาต์พุตใดควรเป็นผลลัพธ์จากอินพุตที่กำหนด ความสามารถในการจัดการข้อมูลที่เกิดขึ้นนี้มีคุณค่าอย่างยิ่งเมื่อต้องรับมือกับข้อมูลจำนวนมหาศาลที่ยังมิได้ถูกแตะต้อง
  • การค้นพบรูปแบบที่ซ่อนอยู่ เนื่องจากไม่มีเป้าหมายหรือวาระอื่นใดนอกจากการค้นหารูปแบบ การเรียนรู้แบบไม่มีผู้ดูแลจึงสามารถชี้ให้คุณเห็น "สิ่งที่ไม่รู้" ซึ่งเป็นข้อสรุปจากข้อมูลที่คุณไม่เคยพิจารณามาก่อนแต่ก็สมเหตุสมผลเมื่อนำเสนอแล้ว วิธีการนี้มีประโยชน์อย่างยิ่งในการค้นหาเข็มในกองหญ้า เช่น การวิเคราะห์ DNA เพื่อหาสาเหตุของการตายของเซลล์
  • การสำรวจข้อมูล ด้วยการลดขนาดและการค้นหารูปแบบและคลัสเตอร์ การเรียนรู้แบบไม่มีผู้ดูแลช่วยให้นักวิเคราะห์สามารถเริ่มต้นทำความเข้าใจชุดข้อมูลใหม่ๆ ได้
  • การฝึกอบรมที่เพิ่มขึ้น โมเดลที่ไม่ได้รับการดูแลจำนวนมากสามารถเรียนรู้ได้ในขณะทำงาน: เมื่อมีข้อมูลเข้ามามากขึ้น พวกเขาสามารถประเมินข้อมูลล่าสุดที่เกี่ยวข้องกับสิ่งที่พวกเขาได้ค้นพบแล้ว ใช้เวลาและความพยายามในการคำนวณน้อยลงมาก

ข้อเสียของการเรียนรู้แบบไม่มีผู้ดูแล

  • คุณต้องการข้อมูลจำนวนมากการเรียนรู้แบบไม่มีผู้ดูแลมีแนวโน้มที่จะเกิดข้อผิดพลาดใหญ่หากได้รับการฝึกฝนจากตัวอย่างที่จำกัด อาจพบรูปแบบในข้อมูลที่ไม่มีอยู่ในโลกแห่งความเป็นจริง (overfitting) เปลี่ยนแปลงอย่างมากเมื่อเผชิญกับข้อมูลใหม่ (ความไม่เสถียร) หรือมีข้อมูลไม่เพียงพอที่จะกำหนดสิ่งที่มีความหมาย (การค้นพบรูปแบบที่จำกัด)
  • การตีความต่ำ อาจเป็นเรื่องยากที่จะเข้าใจว่าเหตุใดอัลกอริทึม เช่น ตรรกะสำหรับการจัดกลุ่ม ถึงได้ข้อสรุปเฉพาะเจาะจง
  • ผลบวกลวง โมเดลที่ไม่ได้รับการดูแลอาจอ่านจุดข้อมูลที่ผิดปกติแต่ไม่สำคัญมากเกินไปโดยไม่มีป้ายกำกับเพื่อสอนสิ่งที่ควรค่าแก่การเอาใจใส่
  • ยากที่จะประเมินอย่างเป็นระบบเนื่องจากไม่มีคำตอบที่ "ถูกต้อง" ที่จะเปรียบเทียบได้ จึงไม่มีวิธีที่ตรงไปตรงมาในการวัดความแม่นยำหรือประโยชน์ของผลลัพธ์ ปัญหาสามารถบรรเทาลงได้บ้างโดยใช้อัลกอริธึมที่แตกต่างกันบนข้อมูลเดียวกัน แต่ท้ายที่สุดแล้ว การวัดคุณภาพจะเป็นแบบอัตนัยเป็นส่วนใหญ่