HybridInfer: ระบบเลือกระดับประมวลผล LLM แบบคำนึงถึงอุณหภูมิด้วย Reinforcement Learning
นักวิจัยเสนอ HybridInfer ระบบเส้นทางแบบสามระดับ (อุปกรณ์-ขอบ-คลาวด์) ใช้ Q-learning ออฟไลน์ควบคุมด้วยหัวท่อนความร้อนและความซับซ้อนของคำถาม…
edge computing