โปรเจกต์โอเพนซอร์ส Garlic LLM ของ Leonardo Alegría ทำให้ PS4 ที่ถูกเจลเบรคสามารถรันโมเดล AI Qwen3.5-9B ที่มี 9 พันล้านพารามิเตอร์แบบออฟไลน์บน GPU รุ่นปี 2013 ของเครื่องได้
แอปพลิเคชันนี้สื่อสารกับ GPU โดยตรง และโมเดลถูกย่อขนาดเหลือประมาณ 4.5GiB เพื่อให้พอดีกับหน่วยความจำของคอนโซล โดยทำงานได้ที่ความเร็ว 31 ถึง 39 โทเค็นต่อวินาที
โปรเจกต์นี้ต้องอาศัย PS4 ที่ติดตั้ง GoldHEN ซึ่งเป็นโปรแกรมสำหรับคอนโซลที่ถูกเจาะ และ Garlic LLM นั้นดาวน์โหลดฟรีขนาด 5.66GB จาก Hugging Face และสามารถติดตั้งผ่าน Package Installer ของ PS4 ได้ โดยต้องใช้พื้นที่ว่างประมาณ 6GB หรือ 12GB หากคัดลอกลงดิสก์ภายในก่อน
นักพัฒนาได้ทดสอบบนเครื่อง PS4 รุ่นพื้นฐาน/Slim ที่ใช้เฟิร์มแวร์ 11.52
ศัพท์ที่ควรรู้
- PS4 – เครื่องเล่นเกมคอนโซลของ PlayStation รุ่นที่ 4
- Garlic LLM – โปรเจกต์โอเพนซอร์สที่ทำให้สามารถรันโมเดลภาษาขนาดใหญ่บน PS4 ได้
- 9-billion-parameter – โมเดล AI ที่มีพารามิเตอร์ถึง 9 พันล้านตัว ซึ่งบ่งบอกถึงความซับซ้อนของโมเดล
- GPU – หน่วยประมวลผลกราฟิกที่ถูกนำมาใช้ในการประมวลผล AI บนเครื่อง
- GoldHEN – โปรแกรมที่ช่วยให้คอนโซล PS4 ที่ถูกเจาะสามารถทำงานนอกเหนือจากปกติได้
ที่มา: Tom’s Hardware