การรันโมเดลภาษาขนาดเล็กบนอุปกรณ์ (on-device) เช่น Llama 3.2 3B มีข้อได้คือข้อมูลอยู่เครื่อง ทำงานออฟไลน์ และไม่มีค่าใช้จ่ายต่อคำถาม แต่เจอข้อจำกัดด้านความร้อนที่รุนแรงกว่าการช้าลงเพียงอย่างเดียว บนอุปกรณ์ฟลैกชิพ Snapdragon การสร้างข้อความต่อเนื่องทำให้ GPU inference runtime ไม่เสถียร จนกระทั่งครัชหรือค้างหลังจากเพียงไม่กี่คำถามติดต่อกัน
สาเหตุมาจากเครื่องมือปัจจุบัน (OpenCL kernel compilation และ long-prompt prefill บน GPU มือถือ) เกิดขึ้นแม้อุปกรณ์เย็น และรุนแรงที่สุดเมื่อสร้างข้อความยาว ระบบ HybridInfer จึงนำเสนอเป็น thermal-aware reinforcement-learning router สำหรับลำดับชั้นสามระดับ ได้แก่ on-device Llama 3.2 3B, edge Llama 3.1 8B พร้อม retrieval, และ cloud GPT-4o
ระบบใช้หัวท่อนความร้อนของโทรศัพท์และการประมาณความซับซ้อนของคำถามเป็น state แล้วเลือกระดับด้วยนโยบาย Q-learning ที่ฝึกออฟไลน์ ฟังก์ชันรางวัล cân โดยคุณภาพ ต่อ ความล่าช้า ต้นทุน ค่าปรับความร้อน พร้อมโบนัสสำหรับการรันบนอุปกรณ์
จากการทดสอบจริงบน Android 210 คำถาม (พร้อม gold references แช่แข็ง) ระบบที่เรียนรู้ได้คุณภาพสูงกว่าสองวิธี heuristic ที่ปรับด้วยมืออย่างมีนัยสำคัญทางสถิติ (paired Wilcoxon, p < 0.02) ในขณะที่ต้นทุนต่ำที่สุดในเงื่อนไขแบบปรับตัวได้ โหมด always-on-device ให้คุณภาพต่อคำถามเท่าเดิมสำหรับคำถามที่รันได้ แต่ช้ากว่า 3-6 เท่า และล้มเหลวกับคำถามยาว ทำให้การ routing ชนะด้านความเร็ว ความน่าเชื่อถือ และความครอบคลุมมากกว่าคุณภาพ
ศัพท์ที่ควรรู้
- On-device inference – การรันโมเดล AI บนอุปกรณ์ผู้ใช้โดยตรง ไม่ส่งข้อมูลขึ้นเซิร์ฟเวอร์
- Thermal headroom – ช่วงอุณหภูมิที่อุปกรณ์ยังทำงานได้อย่างปลอดภัย ก่อนจะร้อนเกินไปจนต้องลดประสิทธิภาพหรือปิดตัวลง
- Reinforcement learning – เทคนิคฝึก AI ให้เรียนรู้จากการทดลองผิดลองถูก โดยได้รางวัลเมื่อทำถูกและโทษเมื่อทำผิด
- Q-learning – อัลกอริทึม reinforcement learning แบบไม่ต้องรู้โมเดลสิ่งแวดล้อม เรียนรู้ค่าความคุ้มค่า (Q-value) ของแต่ละการกระทำในแต่ละสถานะ
- Tier routing – การตัดสินใจส่งงานไปประมวลผลที่ระดับต่างๆ (อุปกรณ์ ขอบ เครือข่ายคลาวด์) ตามเงื่อนไข
- Snapdragon – ชิปเซ็ตมือถือของ Qualcomm ที่นิยมใช้ในโทรศัพท์ระดับสูง
ที่มา: arxiv.org