การทดลองนี้ใช้ Kimi K3 ซึ่งเป็น Mixture-of-Experts (MoE) model ของ Moonshot AI ที่มี 2.8 ล้านล้านพารามิเตอร์ โดยรันบนโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่นที่สาม ที่มี 40 คอร์ แม้ว่าเวอร์ชันที่ถูก Quantize อย่างหนักจะยังคงต้องการหน่วยความจำหลายร้อยกิกะไบต์ ทำให้การรันโมเดลทั้งหมดในเครื่องของผู้ใช้เป็นเรื่องท้าทายอย่างยิ่ง
Intel Optane Memory รุ่นเก่าทำให้การทดลองนี้เป็นไปได้
แทนที่จะลงทุนกับ DDR4 หรือ GPU ระดับมืออาชีพ ผู้ทดลองเลือกใช้ Intel Optane Persistent Memory 200 Series ซึ่งรู้จักกันในชื่อ Barlow Pass แม้ว่า Intel จะยุติการพัฒนา Optane ไปแล้วในปี 2022 แต่โมดูลมือสองยังคงเป็นทางเลือกที่น่าสนใจสำหรับผู้ที่ทดลองกับงานที่ใช้หน่วยความจำสูง
อุณหภูมิที่ปล่อยจาก Intel Optane เป็นอีกหนึ่งความท้าทายใหญ่
ตามสเปคของ Intel โมดูลแต่ละตัวสามารถทำงานที่ระดับพลังงานสูงถึง 18W โดยเริ่มมีการควบคุมด้วยความร้อนที่ 83°C และปิดระบบป้องกันที่ 85°C เพื่อแก้ไขปัญหานี้ ผู้สร้างได้ติดตั้งพัดลมเป่า (blower fans) เฉพาะ 12W สองตัว ซึ่งช่วยควบคุมอุณหภูมิให้อยู่ในระดับที่ยอมรับได้ การทดลองนี้แสดงให้เห็นว่าฮาร์ดแวร์ระดับองค์กรเก่าสามารถนำมาประยุกต์ใช้กับงาน AI สมัยใหม่ได้อย่างไม่คาดคิด
ศัพท์ที่ควรรู้
- MoE (Mixture-of-Experts) – เป็นสถาปัตยกรรมของโมเดล AI ที่ใช้ผู้เชี่ยวชาญหลายตัวทำงานร่วมกันเพื่อเพิ่มประสิทธิภาพ
- 2.8 trillion-parameter – หมายถึงโมเดล AI มีจำนวนพารามิเตอร์ถึง 2.8 ล้านล้านตัว ซึ่งบ่งบอกถึงขนาดและความซับซ้อนของโมเดล
- Intel Xeon Scalable – คือซีพียูระดับองค์กรของ Intel ที่ถูกนำมาใช้ในการรันงานหนักนี้
- Intel Optane Persistent Memory – คือหน่วยความจำเฉพาะของ Intel ที่ถูกนำมาใช้ทดแทนหน่วยความจำหลักในการรันโมเดล AI
ที่มา: Wccftech