เราขอแนะนำ PaperBench ซึ่งเป็นเกณฑ์มาตรฐานที่ใช้วัดความสามารถของ AI agents ในการจำลองงานวิจัย AI ที่ล้ำสมัย โดย agents จะต้องจำลองงานวิจัยจาก 20 เปเปอร์ที่ได้รับการคัดเลือกจาก ICML 2024 ทั้งหมด
การจำลองนี้ครอบคลุมตั้งแต่การทำความเข้าใจส่วนสำคัญของเปเปอร์ การพัฒนาฐานโค้ด ไปจนถึงการดำเนินการทดลองให้สำเร็จ เราได้พัฒนารูบริกที่แบ่งงานเหล่านี้ออกเป็นส่วนย่อยและมีเกณฑ์การให้คะแนนชัดเจน รวมเป็น 8,316 งานที่สามารถให้คะแนนได้
เพื่อรองรับการประเมินขนาดใหญ่ เราได้พัฒนา LLM-based judge เพื่อให้คะแนนการพยายามจำลองโดยอัตโนมัติ และเมื่อทดสอบกับโมเดลชั้นนำ พบว่า Claude 3.5 Sonnet (New) ที่ใช้ open-source scaffolding ได้คะแนนเฉลี่ยอยู่ที่ 21.0%
ในการทดสอบกับนักวิจัย ML ระดับ PhD พบว่าโมเดลยังไม่สามารถทำผลงานได้เหนือกว่าระดับพื้นฐานของมนุษย์ เราได้เปิดเผยโค้ดเพื่อสนับสนุนการวิจัยในอนาคต
ผู้เขียน
Giulio Starace, Oliver Jaffe, Dane Sherburn, James Aung, Chan Jun Shern, Leon Maksin, Rachel Dias, Evan Mays, Benjamin Kinsella, Wyatt Thompson, Johannes Heidecke, Mia Glaese, Tejal Patwardhan, OpenAI
ศัพท์ที่ควรรู้
- PaperBench – เป็นเกณฑ์มาตรฐานที่ใช้ประเมินความสามารถของ AI agents ในการจำลองงานวิจัย AI ที่ล้ำสมัย
- ICML 2024 – คือการประชุมวิชาการที่ใช้เป็นแหล่งข้อมูลสำหรับงานวิจัยที่ถูกนำมาทดสอบ
- AI agents – คือตัวแทนของปัญญาประดิษฐ์ที่ถูกนำมาทดสอบความสามารถ
- LLM-based judge – คือระบบที่ใช้โมเดลภาษาขนาดใหญ่ในการให้คะแนนการจำลองของ AI โดยอัตโนมัติ
ที่มา: OpenAI