OpenAI ได้นำเสนอ MLE-bench ซึ่งเป็นเกณฑ์มาตรฐานสำหรับการวัดว่า AI agents แต่ละตัวมีความสามารถด้านวิศวกรรมการเรียนรู้ของเครื่องได้ดีเพียงใด
เพื่อจุดประสงค์นี้ พวกเขาได้คัดสรรการแข่งขันที่เกี่ยวข้องกับ ML จำนวน 75 รายการจาก Kaggle ซึ่งเป็นชุดงานที่หลากหลายและท้าทาย เพื่อทดสอบทักษะวิศวกรรม ML ในโลกแห่งความเป็นจริง เช่น การฝึกโมเดล การเตรียมชุดข้อมูล และการทดลอง
พวกเขาได้สร้างเกณฑ์มาตรฐานของมนุษย์สำหรับแต่ละการแข่งขันโดยใช้ตารางผู้นำของ Kaggle ที่เปิดเผยต่อสาธารณะ และใช้ open-source agent scaffolds เพื่อประเมินโมเดลภาษาชั้นนำหลายตัวบน benchmark นี้
ผลการทดสอบพบว่าการตั้งค่าที่ทำผลงานได้ดีที่สุด ซึ่งคือ OpenAI’s o1‑preview ที่ใช้ AIDE scaffolding สามารถทำคะแนนได้เทียบเท่ากับเหรียญทองแดงของ Kaggle ใน 16.9% ของการแข่งขัน
นอกเหนือจากผลลัพธ์หลักแล้ว พวกเขายังได้ศึกษาการปรับขนาดทรัพยากรสำหรับ AI agents และผลกระทบของการปนเปื้อนจากการฝึกก่อนหน้า และได้เปิดเผยโค้ดของ benchmark นี้สู่สาธารณะเพื่อส่งเสริมการวิจัยในอนาคต
ผู้เขียน
Chan Jun Shern, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, Lilian Weng, Aleksander Madry
ศัพท์ที่ควรรู้
- MLE-bench – เป็นชุดทดสอบที่ OpenAI สร้างขึ้นเพื่อวัดความสามารถของ AI agents ในด้านวิศวกรรมการเรียนรู้ของเครื่อง
- AI agents – คือตัวแทนของปัญญาประดิษฐ์ที่สามารถทำงานเฉพาะอย่างได้
- Kaggle – แพลตฟอร์มที่ใช้ในการรวบรวมการแข่งขันด้านวิทยาศาสตร์ข้อมูลและการเรียนรู้ของเครื่อง
- o1‑preview – คือโมเดลภาษาของ OpenAI ที่ถูกนำมาใช้ในการทดสอบประสิทธิภาพ
- AIDE scaffolding – คือโครงสร้างพื้นฐานแบบ open-source ที่ใช้ในการประเมินโมเดลภาษา
ที่มา: OpenAI