Mistral ได้เผยแพร่ weights ของ Large 4 ให้ดาวน์โหลดเมื่อวันที่ 29 ตุลาคม ต่อจากช่วงพรีวิว API เมื่อวันที่ 6 ตุลาคม
โมเดลนี้มีพารามิเตอร์รวมประมาณ 1.05 ล้านล้านตัว ขณะที่ Mistral ระบุว่ามีพารามิเตอร์ที่ทำงานอยู่ 49 พันล้านตัวต่อโทเค็น ก่อนถึงส่วน embedding และ output layer
สูตรการให้บริการอย่างเป็นทางการระบุว่าต้องใช้ weights ประมาณ 610 GB ในรูปแบบ NVFP4 หรือ 1.06 TB ในรูปแบบ FP8
แม้ว่าราคา API จะอยู่ที่ 0.70 ดอลลาร์ต่อล้านอินพุตโทเค็น และ 2.10 ดอลลาร์ต่อล้านเอาต์พุตโทเค็น แต่การดาวน์โหลด checkpoint นี้คือการตัดสินใจในการควบคุม ไม่ใช่การประหยัดต้นทุนโดยอัตโนมัติ
ศัพท์ที่ควรรู้
- Weights – คือชุดของพารามิเตอร์ที่กำหนดค่าของโมเดล ซึ่งจำเป็นสำหรับการรันโมเดล AI
- API – Application Programming Interface คือส่วนต่อประสานที่ช่วยให้ผู้ใช้สามารถเข้าถึงโมเดลผ่านบริการออนไลน์ของ Mistral
- Parameter – คือตัวแปรทางคณิตศาสตร์จำนวนมากที่โมเดลใช้ในการเรียนรู้และทำงาน
- NVFP4/FP8 – คือรูปแบบการจัดเก็บน้ำหนัก (weights) ที่แตกต่างกัน ซึ่งส่งผลต่อขนาดไฟล์และความแม่นยำในการรันโมเดล
ที่มา: LLM Rumors