การฝึกฝน Reinforcement Learning หลังการฝึกช่วยปรับปรุงความสามารถของโมเดลภาษาขนาดใหญ่ แต่การสร้างคำตอบสำหรับการฝึกนั้นเป็นคอขวดด้านการคำนวณที่สำคัญ
ในโมเดล Mixture-of-Experts นั้น หากผู้ปฏิบัติงาน (worker) ที่ทำงานเสร็จแล้วยังคงถูกใช้งานอยู่เพราะผู้เชี่ยวชาญ (expert) ยังจำเป็นสำหรับผู้ปฏิบัติงานที่ใช้เวลานานกว่า ทำให้เวลาการทำงานที่ถูกใช้งานประมาณหนึ่งในสามของ baseline เกิดขึ้นหลังจากที่การสร้างคำตอบในระดับท้องถิ่นเสร็จสิ้น
FlexFloor ที่นำเสนอช่วยปรับการจัดตารางคำตอบและกลุ่มผู้ปฏิบัติงานที่ทำงานอยู่ โดยใช้ความยาวคำตอบในอดีตและข้อจำกัดของหน่วยความจำเพื่อนำทางการรวมกลุ่ม (batching) และการวางพร้อมท์ ก่อนจะปล่อยผู้ปฏิบัติงานอย่างค่อยเป็นค่อยไป พร้อมคงไว้ซึ่งความพร้อมใช้งานของผู้เชี่ยวชาญและการสื่อสารที่ถูกต้อง
การทำให้การฝึกฝน Reinforcement Learning มีประสิทธิภาพมากขึ้นนี้ ทำให้ FlexFloor รองรับการพัฒนาและการปรับปรุง LLM และ AI agents ได้รวดเร็วยิ่งขึ้น
ศัพท์ที่ควรรู้
- Reinforcement learning – การเรียนรู้แบบเสริมกำลัง คือวิธีการฝึกโมเดลให้เรียนรู้จากผลตอบรับเพื่อปรับปรุงประสิทธิภาพ
- Large language models (LLM) – คือแบบจำลองภาษาขนาดใหญ่ ซึ่งเป็น AI ที่มีความสามารถในการประมวลผลภาษาธรรมชาติ
- Mixture-of-experts – คือสถาปัตยกรรมโมเดลที่รวมผู้เชี่ยวชาญหลายคนเข้าด้วยกันเพื่อทำงานเฉพาะส่วน
- FlexFloor – คือระบบที่นำเสนอเพื่อปรับปรุงการจัดสรรทรัพยากรให้เกิดประสิทธิภาพสูงสุดระหว่างการสร้างคำตอบ
ที่มา: arxiv.org