การเปรียบเทียบการกำหนดเส้นทาง MoE ใน 10 โมเดล: DeepSeek, Qwen, Mixtral, Llama 4
ทุกโมเดลที่กล่าวถึงใช้การกำหนดเส้นทางแบบ token-choice ซึ่งหมายความว่าแต่ละโทเค็นจะเลือกผู้เชี่ยวชาญของตนเอง แต่พวกมันมีความแตกต่างกันใน 5 ส่วนประกอบหลัก ได้แก่ จำนวนผู้เชี่ยวชาญ, ผู้เชี่ยวชาญต่อโทเค็น, ผู้เชี่ยวชาญที่ใช้ร่วมกัน, ฟังก์ชันการให้คะแนน และวิธีการปรับสมดุลโหลด
DeepSeek-V3 ให้คะแนนผู้เชี่ยวชาญที่ถูกกำหนดเส้นทาง 256 ตัวด้วยฟังก์ชัน sigmoid และปรับให้เป็นมาตรฐาน โดยมี bias ต่อผู้เชี่ยวชาญแต่ละตัวช่วยในการเลือก Top-8 โดยไม่กระทบน้ำหนักการผสม ผู้เชี่ยวชาญนั่งอยู่ใน 8 กลุ่ม และเราเตอร์จะคงไว้ 4 กลุ่มก่อน ทำให้แต่ละโทเค็นไปถึงโหนดได้สูงสุด 4 โหนด
DeepSeek-V4 เพิ่มผู้เชี่ยวชาญที่กำหนดเส้นทางเป็น 384 แต่ลด Top-k จาก 8 เหลือ 6 โดยฟังก์ชันการให้คะแนนกลายเป็น sqrtsoftplus และ 3 เลเยอร์ MoE แรกใช้ hash routing ซึ่งเป็นการจับคู่โทเค็นกับผู้เชี่ยวชาญแบบคงที่
ในขณะเดียวกัน โมเดล Qwen3.6 และ Llama 4 นั้นละเว้นเรื่อง gating ส่วน gpt-oss และ Llama 4 ก็ละเว้นวิธีการปรับสมดุลโหลดเช่นกัน
ศัพท์ที่ควรรู้
- MoE (Mixture of Experts) – สถาปัตยกรรมโมเดลที่รวมผู้เชี่ยวชาญหลายตัวเข้าด้วยกันเพื่อการประมวลผลเฉพาะทาง
- Token-choice routing – กลไกที่แต่ละโทเค็นเลือกผู้เชี่ยวชาญที่เหมาะสมที่สุดสำหรับตนเอง
- Gating – ฟังก์ชันที่ทำหน้าที่ในการตัดสินใจว่าจะส่งข้อมูลไปยังผู้เชี่ยวชาญใดบ้าง
- Top-k – การเลือกเฉพาะผู้เชี่ยวชาญที่มีคะแนนสูงสุด k ตัวเท่านั้นที่จะถูกนำมาใช้
- Hash routing – การกำหนดแผนที่แบบตายตัวระหว่างโทเค็นกับผู้เชี่ยวชาญ ซึ่งไม่เปลี่ยนแปลงระหว่างการใช้งาน
ที่มา: marktechpost.com