Abacus.AI พบว่าการทำให้โมเดลทำงานเป็น Agent ที่ดีนั้นเป็นความท้าทายด้านการฝึกฝน ไม่ใช่แค่การ Prompting เนื่องจากโมเดล Agentic อาจใช้เวลาหลายชั่วโมงในการทำงานให้เสร็จสิ้น พร้อมกับการคงบริบทและเรียกใช้เครื่องมือจากแหล่งข้อมูลภายนอก
ในส่วนของ LiveBench พบว่าการลดลงเล็กน้อยในด้าน Data Analysis (-0.2) และ Reasoning (-0.4) อาจเป็นสิ่งที่ยอมรับได้ เนื่องจากทักษะสำคัญสำหรับ Agent คือการใช้เครื่องมือและการประมวลผลบริบทที่ยาวนาน
สำหรับ Smaug Mini นั้น การวัดผลใน Benchmark แต่ละประเภทแตกต่างกัน และการลดลงในด้านหนึ่งไม่ได้หมายถึงว่าขาดความสามารถในด้านอื่น ๆ
ในด้านการใช้งานจริง โดยเฉพาะงาน Multimodality และ Instruction-following หากใช้โมเดลขนาด 28B บน GPU เดียว Smaug Mini ทำคะแนน IFBench (82.0), AutomationBench (41.8), และ JobBench (50.5) ซึ่งเหนือกว่า Claude Sonnet 5 และ GPT-5.6 Luna
ศัพท์ที่ควรรู้
- Agentic tasks – งานที่ต้องทำโดยตัวแทน AI ซึ่งต้องมีการตัดสินใจและดำเนินการต่อเนื่อง
- Context – บริบทที่โมเดลต้องรักษาไว้ตลอดการทำงานเพื่อให้การตอบสนองมีความต่อเนื่อง
- LiveBench – ชุดการทดสอบที่ใช้วัดประสิทธิภาพของโมเดลในสถานการณ์จำลองต่าง ๆ
- Multimodality – ความสามารถของโมเดลในการประมวลผลข้อมูลจากหลายรูปแบบพร้อมกัน เช่น ข้อความ รูปภาพ เสียง
ที่มา: kdnuggets.com