ตั้งแต่เปิดตัว SWE-bench Verified ในเดือนสิงหาคม 2024 ชุมชนได้ใช้เป็นมาตรฐานในการวัดความก้าวหน้าของโมเดลในงานวิศวกรรมซอฟต์แวร์อัตโนมัติ อย่างไรก็ตาม การวิเคราะห์ใหม่พบสองประเด็นใหญ่ที่บ่งชี้ว่าชุดทดสอบนี้ไม่เหมาะกับการวัดความสามารถในระดับปัจจุบัน
ประเด็นแรกคือการที่เคสทดสอบปฏิเสธคำตอบที่ถูกต้อง โดยจากการตรวจสอบกลุ่มตัวอย่าง 27.6% ของชุดข้อมูล พบว่าอย่างน้อย 59.4% ของปัญหาที่ตรวจสอบมีเคสทดสอบที่บกพร่องและปฏิเสธคำตอบที่ทำงานได้ถูกต้อง
ประเด็นที่สองคือเรื่องการปนเปื้อน (Contamination) ซึ่งพบในโมเดลอย่าง GPT-5.2 ที่แสดงให้เห็นถึงข้อมูลเกี่ยวกับหมายเหตุการเผยแพร่ (release notes) ในระหว่างการคิดตามลำดับเหตุผล (chain of thought) ของตนเอง
ขณะที่ Claude Opus 4.5 ก็แสดงให้เห็นถึงการปนเปื้อนเช่นกัน โดยสามารถระบุการเปลี่ยนแปลงของโค้ดและคอมเมนต์ใน diff ได้อย่างละเอียด
OpenAI เน้นย้ำว่าการโพสต์ชุดข้อมูลและการกรองข้อมูลการฝึกต้องระมัดระวังเป็นพิเศษ รวมถึงการให้คะแนนอัตโนมัติที่ต้องแม่นยำและเคสทดสอบต้องมีความทนทานต่อการแก้ปัญหาแบบทางลัด
ศัพท์ที่ควรรู้
- SWE-bench Verified – ชุดทดสอบที่ใช้ประเมินความสามารถของโมเดลในงานวิศวกรรมซอฟต์แวร์อัตโนมัติ
- Contamination – การปนเปื้อนของข้อมูล ซึ่งหมายถึงโมเดลอาจมีข้อมูลเกี่ยวกับชุดทดสอบล่วงหน้า
- chain of thought – กระบวนการคิดตามลำดับเหตุผลของโมเดลในการแก้ปัญหา
ที่มา: OpenAI