CloudOpsBench เป็นเกณฑ์มาตรฐานโอเพนซอร์สใหม่ที่ใช้วัดว่า AI agents จัดการงาน DevOps ทั่วไปบนคลาวด์ได้ดีเพียงใด ตั้งแต่การแก้ไขบริการ การลบทรัพยากร การจำกัดสิทธิ์ ไปจนถึงการยกเลิกโครงการ
เวอร์ชัน 1.0 ประกอบด้วย 45 งานบน AWS และสร้างโดยวิศวกร DevOps ผู้มีประสบการณ์ แม้แต่โมเดลที่ดีที่สุดก็ยังทำภารกิจเหล่านี้ได้ไม่สมบูรณ์
ตามทีมงานของ Ang Chen ที่ University of Michigan พบว่าปัญหาหลักไม่ใช่การขาดความรู้ แต่คือการให้เหตุผล โดยประมาณ 80% ของความล้มเหลวเกิดจากการที่ agents ประเมินขอบเขตงานผิดพลาด หรือไม่ได้ตรวจสอบบริการที่เกี่ยวข้องทั้งหมด
ประมาณ 20% ของข้อผิดพลาดคือการกระทำที่ผิดพลาด ซึ่งบางครั้งอาจส่งผลกระทบที่แก้ไขไม่ได้ต่อโครงสร้างพื้นฐาน
โครงการนี้เปิดบน GitHub ภายใต้ใบอนุญาต Apache 2.0 และมีแผนขยายไปยัง GCP, Azure และ OCI ต่อไป
ศัพท์ที่ควรรู้
- CloudOpsBench – เป็นเกณฑ์มาตรฐานโอเพนซอร์สใหม่สำหรับวัดความสามารถของ AI agents ในการทำงาน DevOps บนคลาวด์
- DevOps tasks – งานปฏิบัติการที่เกี่ยวข้องกับการพัฒนาและการดำเนินงานของระบบซอฟต์แวร์ในคลาวด์
- Reasoning – ความสามารถในการให้เหตุผล ซึ่งเป็นจุดอ่อนหลักของ AI ในการทำงานเหล่านี้
- AWS – หนึ่งในผู้ให้บริการคลาวด์หลักที่ใช้ในการทดสอบเวอร์ชัน 1.0
ที่มา: The Decoder