PrismML เปิดเผยโมเดล Bonsai 2 ขนาด 27 พารามิเตอร์ ในสองรุ่น: GGUF ภาษาเดียว 5.95 GB และ MLX แบบมัลติโมดัล 8.60 GB ทั้งคู่ใช้เทคนิค ternary weights (1.58 บิต) แทนการควอนไทซ์ 4 บิตเดิม ทำให้ขนาดเล็กลงมาก ขณะที่ประสิทธิภาพยังคงใกล้เคียงรุ่นเต็ม
การลดน้ำหนักเป็น ternary เปลี่ยนเศรษฐกิจของ AI บนอุปกรณ์ (on-device AI) ให้รันบนฮาร์ดแวร์ระดับผู้บริโภคได้จริง ไม่ต้องพึ่งคลาวด์ ลดค่าใช้จ่ายและปัญหาความเป็นส่วนตัว PrismML เปิดซอร์สโค้ดและน้ำหนักภายใต้ใบอนุญาตเปิด เพื่อให้นักพัฒนานำไปปรับใช้ต่อได้
ศัพท์ที่ควรรู้
- PrismML – บริษัทสตาร์ทอัพที่พัฒนาเทคนิคบีบอัดและเพิ่มประสิทธิภาพโมเดลภาษาขนาดใหญ่เพื่อรันบนอุปกรณ์ปลายทาง
- Bonsai 2 – ชื่อรุ่นของโมเดลภาษาขนาด 27 พารามิเตอร์ที่ PrismML ปล่อยออกมาใหม่
- GGUF – รูปแบบไฟล์มาตรฐานสำหรับเก็บโมเดลภาษาที่บีบอัดแล้ว ใช้รันผ่าน llama.cpp ได้หลายแพลตฟอร์ม
- MLX – เฟรมเวิร์กแมชชีนเลิร์นนิงของ Apple ที่ปรับให้ทำงานเร็วบนชิป Apple Silicon
- ternary weights – น้ำหนักโมเดลที่มีค่าเพียง 3 ระดับ (-1, 0, +1) ใช้พื้นที่เก็บข้อมูลน้อยมากกว่าตัวเลขทศนิยมทั่วไป
- on-device AI – การรันโมเดล AI โดยตรงบนอุปกรณ์ผู้ใช้ (โทรศัพท์, โน้ตบุ๊ก) โดยไม่ส่งข้อมูลขึ้นคลาวด์
ที่มา: LLM Rumors