David Abitbol จาก Revolut ได้อธิบายถึงการเปลี่ยนแปลงนี้ในการประชุม AI Engineer ที่นิวยอร์ก โดยระบุว่าการใช้โมเดลที่ติดตั้งเองเป็นค่าเริ่มต้นนั้นช่วยให้สามารถลดต้นทุนการอนุมาน AI coding ได้ถึงประมาณ 90% เมื่อเทียบกับการพึ่งพาบริการเชิงพาณิชย์อย่าง Claude
โมเดลดังกล่าวมีพารามิเตอร์รวมประมาณ 754 พันล้านตัว (โดยมีการเปิดใช้งาน 40 พันล้านตัวต่อโทเค็นที่สร้าง) และต้องใช้หน่วยความจำ GPU ประมาณ 380 GB สำหรับน้ำหนักโมเดล และอีก 6-26 GB ต่อผู้ใช้เพื่อรักษาบริบท
เพื่อให้สามารถให้บริการ GLM-5.3 ได้ในระดับสเกล จำเป็นต้องใช้ Nvidia B200 GPUs จำนวน 56 ตัว ซึ่งเทียบเท่ากับระบบ DGX B200 ที่มี 8 GPU ถึง 7 ระบบ อย่างไรก็ตาม การปรับแต่งไฮเปอร์พารามิเตอร์, การใช้ NVFP4 quantization, และการปรับปรุงเรื่อง prefill และ decode เป็นปัจจัยสำคัญที่ให้ประสิทธิภาพสูงสุด
ด้วยการปรับปรุงเหล่านี้ Revolut สามารถทำเวลาในการสร้างโทเค็นแรกได้ต่ำกว่า 3 วินาที สำหรับบริบทขนาดประมาณ 256,000 โทเค็น และมีความเร็วในการสร้างประมาณ 200 โทเค็นต่อวินาที ซึ่งเป็นจุดที่เหมาะสมที่สุดสำหรับวิศวกรซอฟต์แวร์ของบริษัท
สำหรับข้อกังวลด้านความเป็นส่วนตัวและความปลอดภัยของโมเดล Open weights ของจีนนั้น Abitbol ระบุว่าหากรันบนทรัพยากรในองค์กรหรือคลาวด์ในภูมิภาค จะไม่มีข้อกังวลดังกล่าว
ศัพท์ที่ควรรู้
- AI coding – การใช้ AI ช่วยในการเขียนโค้ด
- Inference costs – ต้นทุนในการอนุมาน คือค่าใช้จ่ายในการรันโมเดล AI เพื่อให้ได้ผลลัพธ์
- Self-hosted models – โมเดลที่ติดตั้งและรันบนเซิร์ฟเวอร์ขององค์กรเอง ไม่ต้องพึ่งพาภายนอก
- Parameters – พารามิเตอร์ คือค่าตัวเลขจำนวนมหาศาลที่โมเดลใช้ในการเรียนรู้และทำงาน
- Quantization – การปรับลดความละเอียดของข้อมูลเพื่อลดขนาดและเพิ่มประสิทธิภาพในการประมวลผล
ที่มา: The Register