อคติ - แปรปรวนในการเรียนรู้ของเครื่องคืออะไร?



บทความนี้ครอบคลุมแนวคิดของอคติและความแปรปรวนในการเรียนรู้ของเครื่องโดยมีความสัมพันธ์ระหว่างทั้งสองอย่างในการกำหนดความแม่นยำในการทำนายของแบบจำลอง

ใน ประสิทธิภาพของแบบจำลองจะขึ้นอยู่กับการคาดการณ์และความเป็นไปได้ที่จะนำไปสู่ข้อมูลอิสระที่มองไม่เห็น วิธีหนึ่งในการวัดความแม่นยำของแบบจำลองคือการคำนึงถึงอคติและความแปรปรวนในแบบจำลอง ในบทความนี้เราจะเรียนรู้ว่าความแปรปรวนของอคติมีบทบาทสำคัญในการกำหนดความถูกต้องของแบบจำลองอย่างไร หัวข้อต่อไปนี้จะกล่าวถึงในบทความนี้:

ข้อผิดพลาดที่ไม่สามารถแก้ไขได้

รุ่นใดก็ได้ใน ได้รับการประเมินตามข้อผิดพลาดในการคาดการณ์ของชุดข้อมูลใหม่ที่เป็นอิสระและมองไม่เห็น ข้อผิดพลาดไม่มีอะไรนอกจากความแตกต่างระหว่างผลลัพธ์จริงและผลลัพธ์ที่คาดการณ์ไว้ ในการคำนวณข้อผิดพลาดเราจะทำการสรุปข้อผิดพลาดที่ลดลงและไม่สามารถแก้ไขได้ a.k.a bias-variance dissposition





ข้อผิดพลาดที่ย้อนกลับไม่ได้คืออะไรนอกจากข้อผิดพลาดที่ไม่สามารถลดลงได้โดยไม่คำนึงถึงข้อผิดพลาดใด ๆ ที่คุณใช้ในแบบจำลอง มันเกิดจากตัวแปรผิดปกติที่มีอิทธิพลโดยตรงต่อตัวแปรเอาต์พุต ดังนั้นเพื่อให้แบบจำลองของคุณมีประสิทธิภาพเราจึงเหลือข้อผิดพลาดที่ลดลงซึ่งเราจำเป็นต้องปรับให้เหมาะสมโดยเสียค่าใช้จ่ายทั้งหมด

ข้อผิดพลาดที่ลดลงมีสององค์ประกอบ - อคติและความแปรปรวน การมีอคติและความแปรปรวนมีผลต่อความแม่นยำของแบบจำลองในหลาย ๆ ด้านเช่น overfitting, underfitting ฯลฯให้เราดูอคติและความแปรปรวนเพื่อทำความเข้าใจวิธีจัดการกับข้อผิดพลาดที่ลดลงได้ใน .



อคติในการเรียนรู้ของเครื่องคืออะไร?

อคติเป็นพื้นฐานที่เราทำนายค่าจากค่าจริง เราว่าอคตินั้นสูงเกินไปหากการคาดการณ์โดยเฉลี่ยอยู่ห่างไกลจากค่าจริง

อคติสูงจะทำให้อัลกอริทึมพลาดรูปแบบหรือความสัมพันธ์ที่โดดเด่นระหว่างตัวแปรอินพุตและเอาต์พุต เมื่อความเอนเอียงสูงเกินไปจะถือว่าโมเดลนั้นค่อนข้างง่ายและไม่เข้าใจความซับซ้อนของชุดข้อมูลเพื่อกำหนดความสัมพันธ์ดังนั้นทำให้ไม่เหมาะสม

ความแปรปรวนในรูปแบบการเรียนรู้ของเครื่อง?

บนชุดข้อมูลอิสระที่มองไม่เห็นหรือชุดตรวจสอบความถูกต้อง เมื่อโมเดลทำงานได้ไม่ดีเท่าที่ทำกับชุดข้อมูลที่ฝึกแล้วมีความเป็นไปได้ที่โมเดลจะมีความแปรปรวน โดยพื้นฐานแล้วจะบอกว่าค่าที่ทำนายนั้นกระจัดกระจายไปจากค่าจริงอย่างไร



ความแปรปรวนสูงในชุดข้อมูลหมายความว่าโมเดลได้รับการฝึกฝนโดยมีเสียงรบกวนและข้อมูลที่ไม่เกี่ยวข้อง จึงทำให้เกิด overfitting ในรุ่น. เมื่อโมเดลมีความแปรปรวนสูงโมเดลจะมีความยืดหยุ่นมากและคาดการณ์จุดข้อมูลใหม่ผิดพลาด เนื่องจากได้ปรับตัวเองไปยังจุดข้อมูลของชุดฝึก

ให้เราพยายามทำความเข้าใจแนวคิดของความแปรปรวนทางคณิตศาสตร์ด้วย ปล่อยให้ตัวแปรที่เราคาดการณ์ว่าเป็น Y และตัวแปรอิสระอื่น ๆ เป็น X ตอนนี้ให้เราสมมติว่ามีความสัมพันธ์ระหว่างสองตัวแปรดังนี้:

Y = f (X) + จ

ในสมการข้างต้นนี่ คือ คือข้อผิดพลาดโดยประมาณที่มีค่าเฉลี่ย 0 เมื่อเราสร้างลักษณนามโดยใช้อัลกอริทึมเช่น การถดถอยเชิงเส้น , ฯลฯ ข้อผิดพลาดกำลังสองที่คาดไว้ที่จุด x จะเป็น:

err (x) = อคติ2+ ความแปรปรวน + ข้อผิดพลาดที่ไม่สามารถวัดได้

ขอให้เราเข้าใจด้วยว่า Bias-Variance จะมีผลต่อ a การเรียนรู้ของเครื่อง ประสิทธิภาพของโมเดล

วิธีแจ้งเตือนเป็น html

มีผลต่อ Machine Learning Model อย่างไร

เราสามารถใส่ความสัมพันธ์ระหว่างความแปรปรวนของอคติในสี่ประเภทดังต่อไปนี้:

  1. ความแปรปรวนสูง - อคติสูง - แบบจำลองไม่สอดคล้องกันและไม่ถูกต้องโดยเฉลี่ยด้วย
  2. ความแปรปรวนต่ำ - อคติสูง - แบบจำลองมีความสม่ำเสมอ แต่โดยเฉลี่ยต่ำ
  3. ความแปรปรวนสูง - อคติต่ำ - ค่อนข้างแม่นยำ แต่ไม่สอดคล้องกับค่าเฉลี่ย
  4. ความแปรปรวนต่ำ - อคติต่ำ - เป็นสถานการณ์ในอุดมคติแบบจำลองมีความสม่ำเสมอและแม่นยำโดยเฉลี่ย

ความแปรปรวนของอคติในการเรียนรู้ของเครื่อง -edureka

แม้ว่าการตรวจจับอคติและความแปรปรวนในแบบจำลองจะค่อนข้างชัดเจน โมเดลที่มีความแปรปรวนสูงจะมีข้อผิดพลาดในการฝึกอบรมต่ำและข้อผิดพลาดในการตรวจสอบความถูกต้องสูง และในกรณีที่มีอคติสูงแบบจำลองจะมีข้อผิดพลาดในการฝึกอบรมสูงและข้อผิดพลาดในการตรวจสอบความถูกต้องจะเหมือนกับข้อผิดพลาดในการฝึกอบรม

ในขณะที่การตรวจจับดูเหมือนง่าย แต่งานที่แท้จริงคือการลดให้เหลือน้อยที่สุด ในกรณีนี้เราสามารถดำเนินการดังต่อไปนี้:

  • เพิ่มคุณสมบัติการป้อนข้อมูลเพิ่มเติม
  • ความซับซ้อนมากขึ้นโดยการแนะนำคุณสมบัติพหุนาม
  • ลดเงื่อนไขการทำให้เป็นมาตรฐาน
  • รับข้อมูลการฝึกอบรมเพิ่มเติม

ตอนนี้เรารู้แล้วว่าอคติและความแปรปรวนคืออะไรและมีผลต่อโมเดลของเราอย่างไรให้เรามาดูการแลกเปลี่ยนความแปรปรวนแบบอคติ

Bias-Variance Trade-Off

การหาสมดุลที่เหมาะสมระหว่างอคติและความแปรปรวนของแบบจำลองเรียกว่าการแลกเปลี่ยนอคติ - ความแปรปรวน โดยพื้นฐานแล้วเป็นวิธีตรวจสอบให้แน่ใจว่าโมเดลไม่ได้ติดตั้งมากเกินไปหรือไม่ได้รับการติดตั้งไม่ว่าในกรณีใด ๆ

หากโมเดลเรียบง่ายเกินไปและมีพารามิเตอร์น้อยมากโมเดลนั้นจะมีอคติสูงและความแปรปรวนต่ำ ในทางกลับกันถ้าโมเดลมีพารามิเตอร์จำนวนมากก็จะมีความแปรปรวนสูงและมีอคติต่ำ การแลกเปลี่ยนนี้ควรส่งผลให้เกิดความสัมพันธ์ที่สมดุลอย่างสมบูรณ์แบบระหว่างทั้งสอง ตามหลักการแล้วอคติต่ำและความแปรปรวนต่ำเป็นเป้าหมายสำหรับโมเดล Machine Learning ใด ๆ

ข้อผิดพลาดทั้งหมด

ในรูปแบบการเรียนรู้ของเครื่องใด ๆ ความสมดุลที่ดีระหว่างอคติและความแปรปรวนจะเป็นสถานการณ์ที่สมบูรณ์แบบในแง่ของความแม่นยำในการคาดการณ์และหลีกเลี่ยงการฟิตติ้งมากเกินไป ความสมดุลที่เหมาะสมที่สุดระหว่างความเอนเอียงและความแปรปรวนในแง่ของความซับซ้อนของอัลกอริทึมจะช่วยให้มั่นใจได้ว่าโมเดลจะไม่ติดตั้งมากเกินไปหรือไม่พอดีเลย

ค่าเฉลี่ยกำลังสองข้อผิดพลาดในแบบจำลองทางสถิติถือเป็นผลรวมของอคติกำลังสองและความแปรปรวนและความแปรปรวนของข้อผิดพลาด ทั้งหมดนี้สามารถใส่ไว้ในข้อผิดพลาดทั้งหมดที่เรามีอคติความแปรปรวนและข้อผิดพลาดที่ไม่สามารถแก้ไขได้ในแบบจำลอง

ขอให้เราเข้าใจว่าเราจะลดข้อผิดพลาดทั้งหมดได้อย่างไรด้วยความช่วยเหลือของการนำไปใช้งานจริง

เราได้สร้างไฟล์ ลักษณนามการถดถอยเชิงเส้น ใน การถดถอยเชิงเส้นในการเรียนรู้ของเครื่อง บทความเกี่ยวกับ Edureka โดยใช้ชุดข้อมูลเบาหวานในโมดูลชุดข้อมูลของ scikit เรียนรู้ ห้องสมุด.

เมื่อเราประเมินข้อผิดพลาดค่าเฉลี่ยกำลังสองของลักษณนามเรามีข้อผิดพลาดทั้งหมดประมาณ 2500

เพื่อลดข้อผิดพลาดทั้งหมดเราป้อนข้อมูลเพิ่มเติมไปยังตัวจำแนกและในทางกลับกันข้อผิดพลาดค่าเฉลี่ยกำลังสองก็ลดลงเหลือ 2000

เป็นการลดข้อผิดพลาดทั้งหมดโดยการป้อนข้อมูลการฝึกอบรมเพิ่มเติมให้กับโมเดล ในทำนองเดียวกันเราสามารถใช้เทคนิคอื่น ๆ เพื่อลดข้อผิดพลาดและรักษาสมดุลระหว่างอคติและความแปรปรวนสำหรับโมเดล Machine Learning ที่มีประสิทธิภาพ

เรามาถึงตอนท้ายของบทความนี้ซึ่งเราได้เรียนรู้ Bias-Variance ใน Machการเรียนรู้ด้วยการใช้งานและกรณีการใช้งาน ฉันหวังว่าคุณจะเข้าใจทุกสิ่งที่แบ่งปันกับคุณในบทแนะนำนี้

หากคุณพบบทความเรื่อง“ อคติ - ความแปรปรวนในการเรียนรู้ของเครื่อง” ที่เกี่ยวข้องโปรดดูที่ไฟล์ บริษัท การเรียนรู้ออนไลน์ที่เชื่อถือได้พร้อมเครือข่ายผู้เรียนที่พึงพอใจมากกว่า 250,000 คนกระจายอยู่ทั่วโลก

เราอยู่ที่นี่เพื่อช่วยคุณในทุกขั้นตอนในการเดินทางของคุณและจัดทำหลักสูตรที่ออกแบบมาสำหรับนักเรียนและผู้เชี่ยวชาญที่ต้องการเป็น . หลักสูตรนี้ออกแบบมาเพื่อให้คุณเริ่มต้นในการเขียนโปรแกรม Python และฝึกอบรมแนวคิด Python ทั้งหลักและขั้นสูงพร้อมกับ ชอบ , ฯลฯ

หากคุณพบคำถามใด ๆ อย่าลังเลที่จะถามคำถามทั้งหมดของคุณในส่วนความคิดเห็นของ“ อคติ - ความแปรปรวนในการเรียนรู้ของเครื่อง” และทีมงานของเรายินดีที่จะตอบ