การทดสอบนี้มาจาก 15 ภารกิจที่มาจากนักวิจัย 10 ท่าน ในสาขาต่างๆ เช่น quantum computing, plasma physics, เคมี, วัสดุศาสตร์ และ machine learning ทางวิทยาศาสตร์
GPT-6 Astra ได้คะแนนส่วนสูงที่สุด แต่ไม่มีการส่งงานใดที่ผ่านเกณฑ์ทั้งสามข้อพร้อมกัน โดย GPT-6 Astra ใกล้เคียงที่สุดหากใช้เกณฑ์การให้คะแนนที่ผ่อนปรนถึง 90% ตามมาด้วย Claude Opus 5.5 และ GPT-5.6 Sol
มีกรณีที่การตรวจสอบโค้ดของ AI เอง เช่น DeepSeek V4 Pro ที่ยกเลิกการทดลองเพราะว่าช้าเกินไปตาม ‘งบเวลาที่เหลือ’ ทั้งที่ไม่มีการจำกัดเวลา หรือ Claude Fable 5 ที่พลาดการรันไปสี่ครั้งเพราะสคริปต์ตรวจสอบใช้รายการที่ไม่สมบูรณ์
แม้ว่า GPT-5.6 Sol จะเขียนรายงานได้แม้จะขาดเป้าหมาย แต่ในภารกิจควอนตัม GPT-5.6 Sol ก็สามารถตรวจพบข้อผิดพลาดพื้นฐาน หยุดการทดลอง และคำนวณใหม่ทั้งหมดได้
การวิเคราะห์พบว่า แม้โมเดลที่เก่งที่สุดจะทำหน้าที่เป็นผู้ประเมินด้วย แต่ผู้เชี่ยวชาญยังคงต้องตัดสินใจวิจัยที่สำคัญ เนื่องจาก AI มักนำเสนอผลลัพธ์ในแง่บวกมากเกินไปและไม่ได้ตั้งคำถามกับแนวทางที่ล้มเหลวอย่างเพียงพอ
ศัพท์ที่ควรรู้
- AI agents – คือตัวแทนปัญญาประดิษฐ์ที่ทำงานอย่างอิสระในการวิจัย
- Quantum computing – คือการคำนวณที่ใช้หลักการของกลศาสตร์ควอนตัมในการประมวลผล
- Integrity check – คือการตรวจสอบความถูกต้องและความสมบูรณ์ของข้อมูลที่ส่งเข้ามา
- GPT-6 Astra, Claude Opus 5.5, GPT-5.6 Sol – คือชื่อโมเดล AI ที่ถูกนำมาใช้ในการทดสอบ
ที่มา: The Decoder