การทดสอบนี้ถูกออกแบบมาเพื่อหลีกเลี่ยงความแตกต่างในการตีความของผู้สร้างเกณฑ์มาตรฐาน โดยให้โมเดลทำงานในสภาพแวดล้อมที่แยกออกมาพร้อมชุดข้อมูลและเครื่องมือชีวสารสนเทศมาตรฐาน เช่น Python และ PLINK 2.0
ผลการทดสอบพบว่าช่องว่างด้านประสิทธิภาพระหว่าง GPT-5.6, GPT-5.5 และโมเดลโอเพนซอร์สชั้นนำอย่าง GLM 5.2 นั้นกว้างกว่าที่คาดไว้เมื่อเทียบกับเกณฑ์มาตรฐานด้านการเขียนโค้ด
ผู้พัฒนาคาดว่าเมื่อความสามารถของโมเดลก้าวหน้าขึ้น เกณฑ์มาตรฐานที่ทดสอบความสามารถในระดับนามธรรมสูงเช่นนี้จะยิ่งมีประโยชน์มากขึ้น นอกเหนือจากการทดสอบความรู้ในตำราหรือการวิเคราะห์ตามปกติ
Domain Atlas: 129 ปัญหาใน 10 โดเมน และ 21 โดเมนย่อย
ผู้สร้างสามารถปรับความซับซ้อนของแต่ละปัญหา เพื่อให้มั่นใจว่าความแตกต่างในการวิเคราะห์เชิงอัตวิสัยที่สมเหตุสมผลจะให้ผลลัพธ์เชิงตัวเลขที่ยอมรับได้
การประเมินและการให้เกรด
โมเดลจะเข้าถึงพื้นที่ทำงานที่แยกออกมาพร้อมพร้อมท์ ข้อมูล และสแต็กชีวสารสนเทศ ทำให้สามารถให้คะแนนความถูกต้องได้อย่างเป็นเชิงกำหนดเทียบกับเป้าหมายที่ทราบ
ที่มา: OpenAI