ภารกิจของเราคือการทำให้ปัญญาประดิษฐ์ทั่วไปเป็นประโยชน์ต่อมวลมนุษยชาติ การประเมิน AI ในอดีต เช่น การทดสอบเชิงวิชาการและการแข่งขันเขียนโค้ด ได้ช่วยผลักดันขีดจำกัดของความสามารถในการให้เหตุผลของโมเดล แต่ก็ยังไม่เทียบเท่ากับงานที่ผู้คนทำในชีวิตประจำวัน
การพัฒนาได้ก้าวจากมาตรฐานวิชาการอย่าง MMLU ไปสู่การประเมินเชิงประยุกต์ เช่น SWE-Bench (การแก้ไขบั๊กวิศวกรรมซอฟต์แวร์), MLE-Bench (งานวิศวกรรมแมชชีนเลิร์นนิง) และ Paper-Bench (การวิจารณ์งานวิจัย) รวมถึงการประเมินตามตลาดอย่าง SWE-Lancer
วิธีการที่เราเลือกอาชีพ
ผลลัพธ์เบื้องต้น
ข้อจำกัดและสิ่งต่อไป
ศัพท์ที่ควรรู้
- MMLU – การทดสอบเชิงวิชาการที่ครอบคลุมหลายสาขาวิชา
- SWE-Bench – การประเมินที่เน้นการแก้ไขข้อผิดพลาดในงานวิศวกรรมซอฟต์แวร์
- MLE-Bench – การประเมินที่เกี่ยวข้องกับงานวิศวกรรมแมชชีนเลิร์นนิง เช่น การฝึกและวิเคราะห์โมเดล
- SWE-Lancer – การประเมินที่อิงตามตลาด ซึ่งมีการจ่ายเงินจริงสำหรับโครงการวิศวกรรมซอฟต์แวร์
- BLS – สำนักงานสถิติแรงงานของสหรัฐอเมริกาที่ให้ข้อมูลการจ้างงาน
ที่มา: OpenAI