Google ได้เปิดเผย Android Bench ล่าสุด เพื่อแสดงให้เห็นถึงความสามารถของโมเดล AI ในการช่วยเหลือด้านการเขียนโค้ด Android โดยพบว่า Gemini 4 Argon มีอันดับตามหลังโมเดล Claude และ GPT รุ่นใหม่ๆ อย่างเห็นได้ชัด
Android Bench ถูกนำมาใช้ตั้งแต่ต้นปีนี้ เพื่อเป็นเครื่องมือให้ผู้พัฒนา Android เห็นได้อย่างรวดเร็วว่าโมเดล AI ใดเหมาะสมที่สุดสำหรับการช่วยเขียนโค้ด โดยการทดสอบนี้ได้คำนึงถึงแง่มุมเฉพาะของการพัฒนา Android และแนวปฏิบัติที่ดีที่สุดในการพัฒนาด้วย
ในการอัปเดตเมื่อวันที่ 26 ตุลาคมนี้ Google ได้เพิ่มระดับการให้เหตุผลและผลลัพธ์ของ GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5 และ Claude Sonnet 5.5 รวมถึง Gemini 4 Argon ด้วย โดย GPT-6.1 Sol มีอัตราผ่าน 29.3% และอัตราสำเร็จ 82.8% แต่มีต้นทุนเพียง $99.50 เทียบกับ Claude ที่มีต้นทุนสูงถึง $1,574.90 สำหรับอันดับหนึ่ง
ในทางกลับกัน Gemini 4 Argon ของ Google เปิดตัวอย่างไม่ค่อยน่าประทับใจ โดยอยู่อันดับที่ห้า ตามหลัง Claude Fable 5.1 ซึ่งมีอัตราผ่านเพียง 21.3% แต่มีอัตราสำเร็จ 81.8% และต้นทุนเฉลี่ยอยู่ที่ $267.70 ขณะที่มีเสียงภายในบางส่วนระบุว่าโมเดลนี้ยังคงมีปัญหาในการจัดการกับงานเขียนโค้ดบางประเภท
ศัพท์ที่ควรรู้
- Android Bench – คือการทดสอบที่ Google สร้างขึ้นเพื่อวัดว่าโมเดล AI ใดเหมาะสมที่สุดในการช่วยเขียนโค้ดสำหรับ Android
- Gemini 4 Argon – คือโมเดล AI ของ Google ที่ถูกนำมาทดสอบใน Android Bench ครั้งนี้
- GPT-6 Sol / GPT-6.1 Sol – คือโมเดล AI ของ OpenAI ที่ถูกนำมาเปรียบเทียบในการทดสอบ
- Claude Sonnet 5 / Claude Sonnet 5.5 – คือโมเดล AI ของ Anthropic ที่ถูกนำมาเปรียบเทียบในการทดสอบ
- Pass rate – คืออัตราความสำเร็จในการตอบโจทย์ที่ถูกทดสอบ
- Completion rate – คืออัตราที่โมเดลสามารถทำงานที่ได้รับมอบหมายให้เสร็จสมบูรณ์ได้
ที่มา: 9to5Google