การวัดความสามารถของโมเดลอย่างแม่นยำเป็นสิ่งสำคัญสำหรับการตัดสินใจด้านการปรับใช้และความปลอดภัยที่ถูกต้อง รวมถึงการตัดสินใจภายใต้ Preparedness Framework ของ OpenAI ด้วย
เราได้ทำการตรวจสอบ SWE-bench Verified ซึ่งเป็นหนึ่งในเกณฑ์มาตรฐานการเขียนโค้ดที่ใช้กันอย่างแพร่หลาย และพบว่ามีปัญหาพื้นฐานด้านการออกแบบและการปนเปื้อน ทำให้การประเมินไม่ได้ให้สัญญาณที่มีความหมายต่อความสามารถในการพัฒนาซอฟต์แวร์อีกต่อไป ปัญหาหลักแบ่งเป็นสี่ประเภท
ระเบียบวิธีวิจัย
เราได้ดำเนินการทบทวนเชิงลึกในสองวิธี คือ การทบทวนโดย Agent ที่มีมนุษย์กำกับดูแล ซึ่งมีการตรวจสอบอย่างละเอียดโดย Agent นักสืบและการตัดสินใจขั้นสุดท้ายของมนุษย์ และการรณรงค์การทำคำอธิบายประกอบโดยมนุษย์ร่วมกับนักพัฒนาซอฟต์แวร์ที่มีประสบการณ์
การรณรงค์คำอธิบายประกอบโดยมนุษย์
ผู้ตรวจสอบได้ทำการตัดสินใจอย่างอิสระจากโจทย์ปัญหา กรณีทดสอบ และโซลูชันอ้างอิง (gold patch) ก่อนที่จะใช้การวิเคราะห์ไปป์ไลน์หรือบันทึกเป็นบริบทสนับสนุน ซึ่งบ่งชี้ว่าไปป์ไลน์ Agent-plus-reviewer นั้นให้การติดป้ายที่อนุรักษ์นิยม
การอภิปราย
การทดสอบที่รวมอยู่ใน Pull requests อาจมีความเข้มงวดเกินไปเพราะถูกเขียนขึ้นเพื่อตรวจสอบการเปลี่ยนแปลงเฉพาะ แทนที่จะกำหนดมาตรฐานการแก้ปัญหาที่เป็นอิสระจากการนำไปใช้ เมื่อความสามารถของโมเดลพัฒนาขึ้น เราสามารถใช้โมเดลเหล่านั้นในการตรวจสอบโจทย์ การทดสอบ แพตช์ และกรณีขอบด้วยความลึกและความสม่ำเสมอที่มากขึ้น
ศัพท์ที่ควรรู้
- SWE-bench Verified – คือเกณฑ์มาตรฐานการเขียนโค้ดที่ถูกนำมาใช้ในการทดสอบโมเดลของเรา
- Agent-plus-reviewer pipeline – คือกระบวนการที่ใช้ Agent และผู้ตรวจสอบที่เป็นมนุษย์ร่วมกันในการประเมินผล
- Gold patch – คือโซลูชันอ้างอิงที่เป็นจริงซึ่งใช้เป็นมาตรฐานในการเปรียบเทียบ
- Pull requests – คือการส่งคำขอเพื่อรวมโค้ดหรือการเปลี่ยนแปลงเข้าสู่โครงการ ซึ่งมักถูกใช้ในการทดสอบ
ที่มา: OpenAI