การเข้ารหัสเส้นทางการสนทนา (trajectory encoding) สำหรับการฝึกฝนนั้นมีต้นทุนสูง เนื่องจากแต่ละแถวต้องกล่าวถึงบริบทการสนทนาที่เพิ่มขึ้นเรื่อยๆ และการปรับแต่งแบบ serverless จะตัดส่วนที่เกินจาก dataset_max_len ทำให้ข้อมูลบางส่วนสูญหายไป
สำหรับการให้บริการ Agent ที่ถูกกลั่นกรอง (distilled agent) นั้น เราใช้คอนเทนเนอร์ Deep Java Library Large Model Inference (DJL LMI) ซึ่งรวมเอาเอนจิน vLLM สำหรับการสร้างผลลัพธ์ที่มีปริมาณงานสูง โดยการตรึงเวอร์ชันทำให้การปรับใช้ใหม่สามารถทำซ้ำได้
ประโยชน์และข้อจำกัดนั้นขึ้นอยู่กับรูปแบบการใช้งานของผู้ใช้ เช่น Throughput ที่ Instance ตระกูล G สามารถรองรับได้ ดังนั้นต้นทุนต่อภารกิจจึงขึ้นอยู่กับรูปแบบคำขอ ความยาวลำดับ และการทำงานพร้อมกัน
หากโมเดลขนาดเล็กถูกฝึกจาก Chain of Thought ของโมเดลขนาดใหญ่ แต่ยังคงให้เหตุผลที่ผิดพลาด หรือ Agent ที่ฝึกเช่นเดียวกันแต่สร้าง Tool Call ที่ไม่ก้าวหน้า ก็อาจเกิดปัญหาได้
ในการวัดผล ควรทดสอบด้วยข้อมูลที่โมเดลไม่เคยเห็น และเปรียบเทียบกับโมเดลมากกว่าแค่โมเดลพื้นฐานที่ไม่ได้ฝึก เพื่อให้เห็นว่าโมเดลขนาดเล็กเข้าใกล้สิ่งที่ถูกกลั่นกรองมาได้มากน้อยเพียงใด
Encoding trajectories for training
การเข้ารหัสเส้นทางการสนทนาต้องเผชิญกับต้นทุนการเข้ารหัสต่อขั้นตอนที่เกิดจากการกล่าวซ้ำของบริบทที่เพิ่มขึ้นเรื่อยๆ
Serving the distilled agent
เราให้บริการโมเดลแบบ open-weight ด้วยคอนเทนเนอร์ DJL LMI ซึ่งบรรจุเอนจิน vLLM เพื่อการสร้างผลลัพธ์ที่มีปริมาณงานสูง โดยตรึงเวอร์ชันเพื่อการทำซ้ำในการปรับใช้ใหม่
Benefits and tradeoffs
เราไม่ได้ระบุต้นทุนหรือค่าความหน่วงต่อภารกิจ เนื่องจากขึ้นอยู่กับปริมาณการใช้งานของผู้ใช้ ซึ่งเป็นฟังก์ชันของรูปแบบคำขอ ความยาวลำดับ และการทำงานพร้อมกัน
Will the task fit the student (the capacity wall)
โมเดลขนาดเล็กที่ฝึกจาก Chain of Thought ของครูใหญ่ อาจให้เหตุผลที่ถูกต้องแต่คำตอบยังผิด หรือ Agent ที่ฝึกเช่นเดียวกันแต่สร้าง Tool Call ที่ไม่ก้าวหน้าและวนลูป
Two choices that carry the result
ควรวัดผลด้วยข้อมูลที่โมเดลไม่เคยเห็น และเปรียบเทียบกับโมเดลมากกว่าแค่โมเดลพื้นฐาน เพื่อให้เห็นว่าโมเดลขนาดเล็กเข้าใกล้สิ่งที่ถูกกลั่นกรองมาได้มากน้อยเพียงใด
ที่มา: AWS