MoE routing คือกลไกที่ส่งแต่ละโทเค็นไปยังเครือข่ายผู้เชี่ยวชาญเพียงส่วนย่อย โดย Router จะให้คะแนนผู้เชี่ยวชาญทั้งหมด และเก็บผู้สมัครที่มีคะแนนสูงสุดตามจำนวนที่กำหนด จากนั้นจึงให้น้ำหนักผลลัพธ์ของผู้เชี่ยวชาญที่ถูกเลือกเท่านั้นที่ทำงาน
ตัวอย่างเช่น Mixtral 8x7B ให้แต่ละโทเค็นเข้าถึงพารามิเตอร์ 47B แต่ใช้งานจริงเพียง 13B โดยใช้การคำนวณจากผู้เชี่ยวชาญ 2 ใน 8 คน ในขณะที่ gpt-oss-120b เลือก 4 ใน 128 และ Qwen3-235B-A22B เลือก 8 ใน 128
Switch Transformer แสดงให้เห็นว่าการส่งแต่ละโทเค็นไปยังผู้เชี่ยวชาญเพียง 1 คนยังคงรักษาคุณภาพและลดการคำนวณของ Router ได้ ในขณะที่ Llama 4 Maverick ก็ส่งแต่ละโทเค็นไปยังผู้เชี่ยวชาญที่ถูกกำหนดเส้นทาง 1 คน บวกกับผู้เชี่ยวชาญร่วม (shared expert)
การสูญเสียเสริม (auxiliary loss) มักใช้เพื่อรักษาโหลดของผู้เชี่ยวชาญให้มีความสมดุล
ศัพท์ที่ควรรู้
- MoE (Mixture of Experts) – เป็นกลไกที่ส่งแต่ละโทเค็นไปยังเครือข่ายผู้เชี่ยวชาญเพียงส่วนย่อยเพื่อการประมวลผลเฉพาะทาง
- Router – คือส่วนประกอบที่ให้คะแนนผู้เชี่ยวชาญและตัดสินใจว่าจะส่งโทเค็นไปให้ใครบ้าง
- Top-K – คือการเลือกเฉพาะ K ผู้เชี่ยวชาญที่มีคะแนนสูงสุดเท่านั้นที่จะถูกนำมาใช้ในการคำนวณ
- Sigmoid Gating – คือฟังก์ชันที่ใช้ในการกำหนดน้ำหนักผสม (mixing weights) สำหรับผลลัพธ์จากผู้เชี่ยวชาญที่ถูกเลือก
ที่มา: marktechpost.com