Together Compiler ของ Together AI ใช้ AI agents ในการคอมไพล์ซ้ำอย่างต่อเนื่อง (continual compilation) เพื่อเขียนใหม่ในส่วน forward pass ของโมเดล โดยรับคำสั่งเปิดเซิร์ฟเวอร์, โปรไฟล์การใช้งาน และการตั้งค่าฮาร์ดแวร์เป็นอินพุต
Agent จะเสนอ forward pass ที่เร็วขึ้น และยังมี persistent engine ทำการวัดผลแต่ละครั้ง โค้ดที่ผ่านการทดสอบแล้วจะถูกส่งเข้าสู่ serving engine และหากปริมาณการใช้งานมีการเปลี่ยนแปลง วงจรนี้ก็จะทำงานซ้ำอีกครั้ง
การปรับปรุงนี้ช่วยให้สามารถเอาชนะ InferenceX baselines ได้ถึง 2.6 เท่า
สำหรับผู้ที่สนใจสามารถติดตามโค้ดต้นฉบับได้ที่ GitHub
ศัพท์ที่ควรรู้
- Together Compiler – คือระบบการคอมไพล์อย่างต่อเนื่องที่ Together AI พัฒนาขึ้น
- AI agents – คือตัวแทนปัญญาประดิษฐ์ที่ใช้ในการปรับปรุงโมเดล
- Inference – คือกระบวนการที่โมเดล AI ทำการคาดการณ์หรือให้ผลลัพธ์จากข้อมูลใหม่
- Forward pass – คือการคำนวณที่ข้อมูลไหลผ่านโมเดลจากอินพุตไปยังเอาต์พุต
ที่มา: marktechpost.com