Baidu ได้เปิดตัว ERNIE 5.5 Flash Base ซึ่งเป็นโมเดลพื้นฐานที่ใช้สถาปัตยกรรม Mixture of Experts (MoE) โดยมีขนาดรวมถึง 280B แต่มีพารามิเตอร์ที่ถูกใช้งานจริง (Active Parameters) เพียง 14B เท่านั้น
การออกแบบนี้บ่งชี้ถึงการเพิ่มประสิทธิภาพในการทำงานของโมเดลขนาดใหญ่ โดยใช้จำนวนพารามิเตอร์ที่จำเป็นต่อการอนุมาน (inference) ที่มีประสิทธิภาพ
ศัพท์ที่ควรรู้
- Baidu – บริษัทเทคโนโลยีจีนที่พัฒนาโมเดล AI นี้
- ERNIE 5.5 Flash Base – ชื่อเฉพาะของโมเดล AI ที่ Baidu เปิดตัว
- MoE – Mixture of Experts คือสถาปัตยกรรมที่รวมหลายโมเดลย่อยเข้าด้วยกันเพื่อเพิ่มประสิทธิภาพ
- 280B – คือขนาดรวมของโมเดล (Total Parameters)
- 14B – คือจำนวนพารามิเตอร์ที่ถูกใช้งานจริงในการอนุมาน (Active Parameters)
ที่มา: marktechpost.com