ระบบปัญญาประดิษฐ์แบบ Agentic ที่ใช้ Large Language Models (LLMs) จะทำงานเป็นไปป์ไลน์อัตโนมัติหลายขั้นตอน ซึ่งเรียกใช้เครื่องมือ ผสานรวมข้อมูล และทำซ้ำจนกว่างานจะเสร็จสิ้นหรือหมดงบประมาณทรัพยากร
ต่างจากเวิร์กโฟลว์แบบดั้งเดิม ปริมาณการคำนวณ แบนด์วิดท์ และความหน่วงแบบ end-to-end ของไปป์ไลน์เหล่านี้จะไม่ทราบ ณ เวลาที่เริ่มทำงาน เนื่องจากมันเกิดขึ้นระหว่างการทำงานจากข้อสังเกตระหว่างกลางและการสุ่มโทเค็น ทำให้เกิดตัวแปรสุ่มแบบหางหนักและหลายรูปแบบ
ปัญหานี้บังคับให้ผู้จัดสรรโครงสร้างพื้นฐานต้องเลือกระหว่างการจัดสรรทรัพยากรน้อยเกินไปซึ่งเสี่ยงต่อการถูกจำกัดระหว่างการทำงาน หรือการจัดสรรมากเกินไปซึ่งสิ้นเปลืองความจุของ Edge หรือ Cloud
ดังนั้น จึงได้มีการกำหนดปัญหานี้เป็น Uncertainty-aware agentic orchestration problem โดยมีเป้าหมายคือการสำรองการจัดสรรการคำนวณและแบนด์วิดท์ ณ เวลาเริ่มต้น เพื่อครอบคลุมความต้องการจริงของไปป์ไลน์ และตรวจสอบว่าไปป์ไลน์สามารถบรรลุเส้นตายได้ตามความน่าจะเป็นที่กำหนด
พวกเขานำเสนอ Conformal Reservation for Orchestration (CRO) ซึ่งเป็นอัลกอริทึมออนไลน์ที่แปลงร่องรอยการทำงานในอดีตไปเป็นข้อจัดสรรทรัพยากร ณ เวลาเริ่มต้น โดยให้การรับประกันการครอบคลุมที่ขึ้นอยู่กับตัวอย่างและเป็นอิสระจากรูปแบบการแจกแจง
การจำลองแสดงให้เห็นว่า CRO เป็นวิธีการเดียวที่ได้รับการประเมินว่าสามารถตอบสนองการครอบคลุมเชิงความน่าจะเป็นเป้าหมายในทุกระดับความเสี่ยง พร้อมทั้งบรรลุการจัดสรรทรัพยากรส่วนเกินต่ำที่สุด ซึ่งลดของเสียของทรัพยากรลงได้เกือบครึ่งเมื่อเทียบกับวิธี Chebyshev-bound baseline
ศัพท์ที่ควรรู้
- Agentic artificial intelligence (AI) – ปัญญาประดิษฐ์ที่สามารถทำงานได้ด้วยตนเองโดยไม่ต้องมีการควบคุมตลอดเวลา
- Large language models (LLMs) – โมเดลภาษาขนาดใหญ่ที่ขับเคลื่อนระบบ AI ให้ทำงานตามคำสั่ง
- Heavy-tailed, multi-modal random variables – ตัวแปรสุ่มที่มีการแจกแจงแบบหางหนักและหลายรูปแบบ ซึ่งบ่งชี้ถึงความผันผวนสูง
- Uncertainty-aware agentic orchestration problem – ปัญหาการจัดสรรทรัพยากรที่ต้องคำนึงถึงความไม่แน่นอนของความต้องการในระบบ AI แบบ Agentic
- Conformal Reservation for Orchestration (CRO) – อัลกอริทึมที่เสนอเพื่อจัดสรรทรัพยากรโดยอาศัยการรับประกันทางสถิติ
ที่มา: arxiv.org