Baidu ได้ปล่อย ERNIE-5.5-Flash-Base ซึ่งเป็นโมเดลพื้นฐานแบบ Open Source โดยไม่ได้มีการปรับแต่งหรือการฝึกฝนหลังการใช้งาน ทำให้ผู้พัฒนาต้องตัดสินใจเองว่าจะนำโมเดลไปใช้ในทิศทางใด โดยคาดว่าจะมีเวอร์ชันที่ผ่านการฝึกฝนเพิ่มเติมตามมา
ERNIE 5.5 ใช้สถาปัตยกรรม Mixture-of-Experts และมี 280 พันล้านพารามิเตอร์ โดยมี 14 พันล้านพารามิเตอร์ทำงานต่ออินพุต โมเดลนี้ผ่านการฝึกฝนด้วยข้อมูลถึง 33.5 ล้านล้านโทเค็น และออกแบบมาเพื่อรองรับบริบทสูงสุดถึงหนึ่งล้านโทเค็นระหว่างการปรับแต่งและการอนุมาน
เมื่อเปรียบเทียบกับ DeepSeek-V4-Flash-Base, Hy3-preview-Base และ MiMo-V2.5-Base ในการทดสอบด้านการให้เหตุผล โค้ด และบริบทขนาดยาว โมเดลนี้สามารถแข่งขันกับโมเดลพื้นฐาน Open Source อื่นๆ ได้ โดยน้ำหนักโมเดลพร้อมใช้งานบน Hugging Face ในรูปแบบ FP8 และ BF16
ศัพท์ที่ควรรู้
- Foundation Model – โมเดลพื้นฐานคือโมเดลขนาดใหญ่ที่ใช้เป็นรากฐานให้ผู้พัฒนาต่อยอดและปรับแต่งต่อไป
- Mixture-of-Experts – เป็นสถาปัตยกรรมที่รวมผู้เชี่ยวชาญย่อยๆ หลายตัวเข้าด้วยกันเพื่อให้โมเดลทำงานได้อย่างมีประสิทธิภาพ
- Parameters – คือตัวแปรภายในของโมเดล ซึ่งบ่งบอกถึงขนาดและความสามารถในการเรียนรู้ของโมเดล
- Tokens – คือหน่วยย่อยของข้อมูลที่โมเดลใช้ในการประมวลผล ซึ่งอาจเป็นคำหรือส่วนหนึ่งของคำ
ที่มา: The Decoder