ผู้วิจัยได้นำเสนอ Mage-VL-Cowork ซึ่งเป็น Computer Use Agent (CUA) ไฮบริดขนาด 4B ที่ได้รับการฝึกฝนจาก checkpoint ที่ปรับให้เข้ากับหลายรูปแบบ (multimodally aligned) โดยผ่านหลักสูตร 5 ขั้นตอนแบบก้าวหน้า ตั้งแต่ช่วงกลางการฝึก (midtraining), SFT, และ RL เพื่อให้สามารถผสมผสานการโต้ตอบด้วยภาพ GUI เข้ากับการรันโค้ดและเทอร์มินัลได้ใน Policy เดียว
เพื่อรองรับหลักสูตรนี้ในระดับสเกล Mage-CUA-Forge ได้เข้ามาแทนที่การสร้าง Agent ต่อภารกิจด้วยเวิร์กโฟลว์การสร้างที่ขึ้นอยู่กับทักษะที่นำกลับมาใช้ใหม่ได้ และตัวเตรียมเฉพาะสำหรับแต่ละแอปพลิเคชัน ทำให้สามารถสังเคราะห์งานเดสก์ท็อปและเว็บได้ถึง 293,806 งาน จาก 6,915 ทักษะ พร้อมลดค่าใช้จ่ายต่อภารกิจลงได้ถึง 82.6%
แทนที่จะกลั่นกรองจากครูผู้สอนแบบค่าเริ่มต้น (default teacher) พวกเขาได้พัฒนา ‘teacher harness’ และสร้าง ‘specialized CUA harnesses’ เพื่อให้ได้ trajectory คุณภาพสูงพร้อมกับการกำกับดูแลเฉพาะช่วงของแต่ละขั้นตอน ซึ่ง Mage-VL-Cowork-4B สามารถทำคะแนนสูงสุดถึง 66.0% บน OSWorld-Verified ด้วยต้นทุนการให้เหตุผลที่มีประสิทธิภาพมากขึ้น ถือเป็น SOTA สำหรับขนาดพารามิเตอร์นี้ และผลักดันขอบเขตของปัญญาประดิษฐ์บนอุปกรณ์ให้ก้าวหน้าต่อไป
ที่มา: arxiv.org