เราได้เปิดตัวชุดงานทดสอบแบบ Long-Horizon Tasks (LHT) ซึ่งเป็นโจทย์ที่มีความซับซ้อนสูงและต้องใช้เวลาหลายวันหรือเป็นสัปดาห์ในการทำงาน
Android Bench รุ่นแรกและเกณฑ์มาตรฐาน AI ในยุคแรกเน้นการเปลี่ยนแปลงเล็กน้อยในโค้ดที่มีอยู่ เช่น การแก้ไขบั๊กหรือฟีเจอร์เล็กน้อย ซึ่งสะท้อนถึงขีดความสามารถของ AI ในขณะนั้น
Android Bench 2.0 ได้ยกระดับการประเมินให้ท้าทายมากขึ้น โดยมี LHT ที่รวมถึงการอัปเกรด dependencies, การเพิ่มฟีเจอร์ใหม่, การสร้างแอปจากศูนย์ หรือการแปลงแอปข้ามแพลตฟอร์มมาเป็น Android
สำหรับงานวิศวกรรมที่กินเวลานาน การตัดสินแค่ผ่านหรือตกนั้นไม่สามารถบอกภาพรวมทั้งหมดได้ เช่น หาก agent รีแฟกเตอร์ 40 หน้าจอเป็น Jetpack Compose และผ่าน 90% ของข้อกำหนด แต่พลาดกรณีขอบ (edge-case) เดียว การให้คะแนนแบบไบนารีจะให้ 0% ซึ่งบดบังความสามารถทางสถาปัตยกรรมของโมเดล
เรากำลังเปลี่ยนไปใช้การให้คะแนนแบบต่อเนื่อง (continuous scoring) เพื่อให้สัญญาณที่มีความหมายมากขึ้น ทั้งต่อการพัฒนาโมเดลและการทำความเข้าใจว่า AI จะช่วยคุณได้อย่างไร
ศัพท์ที่ควรรู้
- Long-Horizon Tasks (LHT) – งานทดสอบที่มีความซับซ้อนสูงและต้องใช้เวลานานในการทำให้สำเร็จ
- Android Bench – เกณฑ์มาตรฐานที่ใช้ในการประเมินความสามารถของ AI ในการเขียนโค้ดสำหรับ Android
- Dependencies – ส่วนประกอบหรือไลบรารีภายนอกที่โปรเจกต์ต้องใช้ในการทำงาน
- Jetpack Compose – เฟรมเวิร์กของ Android สำหรับการสร้าง UI ที่ช่วยให้การพัฒนาเร็วขึ้น
ที่มา: developer.android.com