การอนุมานแบบลำดับชั้นคือการกระจายการคำนวณของ LLM ไปตามลำดับชั้นของอุปกรณ์ ตั้งแต่ฮาร์ดแวร์บนอุปกรณ์ไปจนถึงศูนย์ข้อมูล ซึ่งเป็นแนวทางที่นำเสนอเพื่อการให้บริการที่ถูกกว่า มีความหน่วงต่ำกว่า และเป็นส่วนตัวมากขึ้น
ระบบส่วนใหญ่มักใช้จุดตรวจสอบโมเดลที่ถูกตรึงไว้ และใช้สัญญาณความเชื่อมั่นจากโมเดลที่ติดตั้งไว้ล่วงหน้าในการตัดสินใจว่าจะประมวลผลในเครื่องหรือส่งต่อไปยังส่วนหลังบ้าน
ผู้วิจัยได้ให้เงื่อนไขเชิงปิดสำหรับกรณีที่ไม่มีเกณฑ์ใดๆ บนสัญญาณนั้นทำให้การไล่ระดับแบบลำดับชั้นนั้นคุ้มค่าเมื่อเทียบกับการส่งทุกคำขอไปยังส่วนหลังบ้าน
โดยการจำลองการตัดสินใจเส้นทางเป็นแบบทดสอบไบนารี และแยกต้นทุนระหว่างการประมวลผลในเครื่องกับการส่งต่อผ่านอัตราส่วนต้นทุนสถาปัตยกรรม $\kappa$ พวกเขาได้อนุมานเงื่อนไขความเป็นไปได้ที่ถูกจำกัดด้วยขีดจำกัดล่างที่ไม่มีสัญญาณ และขีดจำกัดบนที่สมบูรณ์ของสัญญาณ
เงื่อนไขนี้ยังถูกแปลงเป็นข้อกำหนดการออกแบบสามประการ และเสนอแนวทางการทำงานร่วมกันของสถาปัตยกรรมและโปรโตคอลในการทดสอบต่อไป
ศัพท์ที่ควรรู้
- Tiered inference – การอนุมานแบบลำดับชั้นคือการกระจายการคำนวณ LLM ไปตามลำดับชั้นของอุปกรณ์ต่างๆ
- Confidence signal – สัญญาณความเชื่อมั่นคือสัญญาณที่โมเดลส่งออกมาเพื่อช่วยในการตัดสินใจว่าจะส่งต่อคำขอหรือไม่
- Backstop – ส่วนหลังบ้านคือส่วนประมวลผลหลักที่รับคำขอทั้งหมดหากการประมวลผลในเครื่องไม่เพียงพอ
- $\kappa$ architecture cost ratio – อัตราส่วนต้นทุนสถาปัตยกรรม $\kappa$ คือตัวแปรที่ใช้ในการเปรียบเทียบต้นทุนระหว่างการประมวลผลในเครื่องและการส่งต่อไปยังส่วนหลังบ้าน
ที่มา: arxiv.org