Matthew McCullough รองประธานฝ่ายผลิตภัณฑ์ Android Developer ประกาศเปิดตัว Android Bench 2.0 ซึ่งเพิ่มชุดงานระยะยาว (Long-Horizon Tasks) ที่ซับซ้อน ใช้เวลาหลายวันถึงหนึ่งสัปดาห์ พร้อมเริ่มประเมินเอเจนต์ AI จากผู้ให้บริการโมเดลต่างๆ
จากการแก้ไขเพิ่มเติมสู่การทำงานระยะยาว
Android Bench 2.0 ยกระดับจากการแก้บั๊กหรือเพิ่มฟีเจอร์เล็กๆ มาเป็นงานใหญ่ เช่น อัปเกรด dependency เพิ่มฟีเจอร์ใหม่ สร้างแอปจากศูนย์ หรือแปลงแอปข้ามแพลตฟอร์มเป็น Android
งานซับซ้อนต้องวัดผลและให้คะแนนที่ละเอียดขึ้น
การให้คะแนนแบบผ่าน/ไม่ผ่านไม่เพียงพอสำหรับงานหลายวัน จึงเปลี่ยนเป็นการให้คะแนนแบบต่อเนื่อง โดยคำนวณอัตราความสำเร็จจากฟังก์ชันการทำงาน ความถูกต้องของ UI และการไม่ทำให้เกิด regression พร้อมหักคะแนนหากเบี่ยงเบนจากข้อกำหนด อัตราผ่านสูงสุดของ LHT อยู่ที่ประมาณ 28% เทียบกับ ~91% ของงานเดิม
งานระยะยาวเผยข้อมูลเชิงลึกสำหรับการช่วยเหลือด้วย AI
โมเดลเขียนโค้ดใหม่ได้ดีกว่าการรีแฟกเตอร์โค้ดเดิม โดยทำได้ดีกับการแปลงที่ชัดเจน เช่น Java เป็น Kotlin เปลี่ยน Retrofit เป็น Ktor หรือเพิ่ม ViewModel แม้โค้ดมากกว่า 8,000 บรรทัด แต่ยังยากกับงานที่ต้องตรวจสอบตอนรันไทม์ ไลบรารียังไม่เผยแพร่ หรือการพอร์ตแอปข้ามแพลตฟอร์มไปยัง Android โดยโมเดลที่ดีที่สุดทำสำเร็จสูงสุดเพียง 80%
เริ่มประเมินเอเจนต์
Android Bench 2.0 เริ่มประเมินเอเจนต์จากผู้ให้บริการโมเดลที่เกี่ยวข้อง เพื่อช่วยให้นักพัฒนาคัดเลือกโมเดลและเอเจนต์เขียนโค้ดที่เหมาะกับเวิร์กโฟลว์ของตน
ที่มา: Android Developers Blog