OpenAI ได้เปิดตัว SWE-Lancer ซึ่งเป็นเกณฑ์มาตรฐานที่รวบรวมงานวิศวกรรมซอฟต์แวร์อิสระกว่า 1,400 งานจาก Upwork มูลค่ารวม 1 ล้านเหรียญสหรัฐฯ
SWE-Lancer ครอบคลุมทั้งงานทางเทคนิคอิสระ ตั้งแต่การแก้ไขบั๊กมูลค่า $50 ไปจนถึงการติดตั้งฟีเจอร์มูลค่า $32,000 และงานด้านการจัดการที่โมเดลต้องเลือกว่าจะใช้วิธีการทางเทคนิคใด
งานอิสระจะถูกให้คะแนนด้วยการทดสอบแบบครบวงจรที่วิศวกรซอฟต์แวร์ผู้มีประสบการณ์ตรวจสอบซ้ำสามครั้ง ส่วนการตัดสินใจของผู้จัดการจะถูกประเมินเทียบกับผู้จัดการที่จ้างงานต้นฉบับ
จากการประเมินประสิทธิภาพของโมเดล พบว่าแม้แต่ Frontier models ก็ยังไม่สามารถแก้ไขงานส่วนใหญ่ได้สำเร็จ เพื่อสนับสนุนการวิจัยในอนาคต จึงได้เปิดเผย Docker image แบบรวมศูนย์และชุดข้อมูลสาธารณะ SWE-Lancer Diamond
ข้อมูลอัปเดตล่าสุด ณ วันที่ 17 กรกฎาคม 2025 ได้ถูกเผยแพร่บน GitHub โดยชุดข้อมูลใหม่นี้ได้ยกเลิกข้อกำหนดการเชื่อมต่ออินเทอร์เน็ตระหว่างการรัน ซึ่งช่วยลดความแปรผันของประสิทธิภาพโมเดลลงอย่างมาก
ศัพท์ที่ควรรู้
- SWE-Lancer – เป็นเกณฑ์มาตรฐานที่รวบรวมงานวิศวกรรมซอฟต์แวร์อิสระจาก Upwork เพื่อทดสอบโมเดล AI
- Frontier models – หมายถึงโมเดล AI ขั้นสูงระดับแนวหน้าที่มีประสิทธิภาพสูง
- Docker image – คือรูปแบบมาตรฐานที่ใช้บรรจุสภาพแวดล้อมการทดสอบเพื่อให้การรันโมเดลมีความสม่ำเสมอ
- SWE-Lancer Diamond – คือชุดข้อมูลสาธารณะที่ใช้สำหรับการประเมินและวิจัยต่อไป
ที่มา: OpenAI