SemiAnalysis ได้เปิดตัว GDPx ซึ่งเป็นเกณฑ์มาตรฐานที่นำ AI Agent เข้าสู่สภาพแวดล้อมการทำงานจำลอง แทนการทดสอบความรู้แบบเดิมๆ โดยผู้ทดสอบจะใช้เวลาสูงสุดแปดชั่วโมงในการทำงานกับซอฟต์แวร์ระดับมืออาชีพ หรือการค้นหาข้อมูลในห้องเก็บข้อมูลขนาดใหญ่
การทดสอบนี้มีความแตกต่างจาก GDPval ของ OpenAI โดยเน้นการจำลองสภาพแวดล้อมการทำงานที่สมจริง ซึ่งครอบคลุม 11 สาขา เช่น การออกแบบชิป ชีววิทยา การซื้อขายเชิงปริมาณ ความปลอดภัยทางไซเบอร์ และกฎหมาย
ในเกณฑ์นี้ แม้แต่โมเดลชั้นนำก็ยังไม่สามารถทำงานให้สำเร็จได้ทั้งหมด ดังนั้น SemiAnalysis จึงใช้วิธีการนับส่วนของข้อกำหนดที่แต่ละโมเดลทำได้สำเร็จ
ในด้านไซเบอร์ GPT-6 Astra และ GPT 6.1 Sol ได้คะแนนศูนย์เปอร์เซ็นต์ ขณะที่ Muse Wonder Full ของ Meta ได้คะแนน 35.2 เปอร์เซ็นต์
แม้ว่าการประเมินผลบางส่วนจะใช้ Rubrics แทนผู้เชี่ยวชาญที่เป็นมนุษย์ แต่ผู้พัฒนาอย่าง Josh Purtell ยังคงมองว่า GDPx ยังมี ‘สัญญาณรบกวนมากกว่าสัญญาณ’ อยู่มาก
ศัพท์ที่ควรรู้
- GDPx – เป็นเกณฑ์มาตรฐานใหม่จาก SemiAnalysis ที่จำลองการทำงานของ AI ในสถานการณ์จริง
- AI Agent – คือปัญญาประดิษฐ์ที่ถูกนำไปทดสอบในสภาพแวดล้อมการทำงานจำลอง
- Siemens NX – คือซอฟต์แวร์เฉพาะทางที่ใช้ในการจำลองการทำงานในระหว่างการทดสอบ
- GDPval – เป็นเกณฑ์มาตรฐานของ OpenAI ที่แตกต่างจาก GDPx ตรงที่มักให้บริบททั้งหมดใน Prompt
ที่มา: The Decoder