นักวิจัยได้เลือกกรณีที่ผู้ใช้ต้องปรับแก้คำขอหลายครั้ง หรือต้องย้อนกลับการเปลี่ยนแปลง ซึ่งเป็นการทดสอบที่จำลองปัญหาที่ AI เอเจนต์เคยเจอในการใช้งานจริง โดยงานเหล่านี้มีตั้งแต่การปรับเล็กน้อย เช่น การดึงตัวเลขจากใบเสร็จเพื่ออัปเดตยอดรวม ไปจนถึงการปรับปรุงโปรเจกต์ครั้งใหญ่ ในโหมดมัลติโมดอล เอเจนต์ต้องสกัดค่าจากใบเสร็จ ตาราง หรือวิดีโอและอัปเดตมุมมองทั้งหมดให้สอดคล้องกัน
ในการทดสอบพบว่าโมเดลต่างๆ เช่น GPT-6 Astra, Claude Opus 5 และ Qwen3.8-Max ทำงานได้ดีกว่า Grok 4.6 อย่างชัดเจน โดย GLM-5.2 ใช้โทเค็นมากกว่า GPT-6 Astra เกือบหกเท่าสำหรับการเปลี่ยนแปลงเล็กน้อย แต่ยังได้คะแนนต่ำกว่ามาก
การศึกษาของ METR ก่อนหน้านี้แสดงให้เห็นว่าผลลัพธ์เกณฑ์มาตรฐานอาจแตกต่างจากการใช้งานจริง โดยอัตราการยอมรับโค้ดที่ AI สร้างขึ้นของหัวหน้าโครงการนั้นต่ำกว่าคะแนนใน SWE-bench Verified ประมาณ 24 จุดเปอร์เซ็นต์ และการศึกษาล่าสุดพบว่าการใช้ harness ที่ซับซ้อนขึ้นแทบไม่มีประโยชน์ที่วัดผลได้ แม้ว่าจะใช้โทเค็นมากกว่าถึงสามเท่าก็ตาม
การทดสอบโค้ดดิ้งเติบโตง่ายเกินไปสำหรับเอเจนต์
นักวิจัยเน้นกรณีที่ผู้ใช้ต้องปรับคำขอหลายครั้ง หรือต้องย้อนกลับการเปลี่ยนแปลง ซึ่งเป็นการทดสอบที่จำลองปัญหาที่ AI เอเจนต์เคยเจอในการใช้งานจริง
หลายประเภทการเปลี่ยนแปลงในงานเดียวทำให้โมเดลรับมือไม่ไหว
โมเดลอย่าง GPT-6 Astra, Claude Opus 5 และ Qwen3.8-Max ทำได้ดีกว่า Grok 4.6 ในการทดสอบนี้
ตัวหีบห่อกำหนดผลลัพธ์พอๆ กับโมเดล
การศึกษาของ METR พบว่าผลลัพธ์เกณฑ์มาตรฐานอาจแตกต่างจากการใช้งานจริงอย่างมาก
ศัพท์ที่ควรรู้
- Coding-agent – เอเจนต์ที่ถูกฝึกมาเพื่อช่วยเขียนหรือแก้ไขโค้ดคอมพิวเตอร์
- Multimodal track – ส่วนทดสอบที่เอเจนต์ต้องรับข้อมูลเข้าจากหลายรูปแบบ เช่น ภาพ เสียง หรือวิดีโอ
- GPT-6 Astra, Claude Opus 5, Qwen3.8-Max, Grok 4.6, GLM-5.2 – คือชื่อโมเดล AI ที่ถูกนำมาทดสอบในงานนี้
- Tokens – หน่วยข้อมูลที่โมเดล AI ใช้ในการประมวลผล ซึ่งเทียบได้กับปริมาณการทำงานของโมเดล
- SWE-bench Verified – เกณฑ์มาตรฐานการทดสอบโค้ดที่ใช้กันอย่างแพร่หลาย
ที่มา: The Decoder