Google ได้เปิดซอร์สโค้ด AQuA (Ambient Quality Agent) ซึ่งเป็น Reference Implementation ที่วิเคราะห์เซสชันของ AI agent ที่ใช้งานจริง เพื่อตรวจสอบรูปแบบความล้มเหลวที่เกิดขึ้นซ้ำๆ และสืบสวนหาสาเหตุรากฐานเทียบกับ Source Revision ที่ติดตั้งใช้งานอยู่
เครื่องมือนี้มุ่งเป้าไปที่การถดถอยของคุณภาพที่เงียบหายไป ซึ่งการตรวจสอบโครงสร้างพื้นฐานแบบเดิมอาจมองข้าม เช่น agent เพิกเฉยต่อความต้องการของผู้ใช้ หรือข้ามการเรียกใช้เครื่องมือที่จำเป็นในขณะที่ยังคงส่งคืนการตอบกลับว่าสำเร็จ
AQuA ทำงานควบคู่ไปกับ agent ใน Google Cloud โดยอยู่นอกเส้นทางการร้องขอ (request path) และอ่าน Telemetry จาก Cloud Trace, Cloud Logging หรือ BigQuery โดยจะสุ่มตัวอย่างสูงสุด 1,000 เซสชันล่าสุดต่อการรัน และประมวลผลผ่าน 5 ขั้นตอน ได้แก่ การสุ่มตัวอย่าง การตรวจสอบ การจัดกลุ่มข้อค้นพบ การยืนยันกลุ่มตัวอย่าง และการติดตามปัญหา
นักพัฒนาสามารถกำหนดเกณฑ์คุณภาพเฉพาะโดเมนผ่านไฟล์ goal.md และเพิ่มเมตริกที่กำหนดได้ ระบบวินิจฉัยของ Agent จะระบุโค้ดหรือคำสั่งที่เกี่ยวข้อง พร้อมอ้างอิงช่วงไฟล์และบรรทัด และเสนอการเปลี่ยนแปลงเมื่อสาเหตุอยู่ใน Repository
หลังจากมีการตรวจสอบ พบว่ามี 3 กลุ่มที่ไม่รองรับถูกปฏิเสธ โดยเหลือ 6 ปัญหาที่ได้รับการยืนยัน ซึ่ง 2 ปัญหาเกี่ยวข้องกับการข้ามการตรวจสอบความพร้อมของที่นั่งและการสูญเสียความต้องการอาหารมังสวิรัติของผู้เดินทางระหว่างการมอบหมายงาน หลังจากนักพัฒนาแก้ไข Prompt และเล่นเซสชันซ้ำ ปัญหาการข้ามการเลือกที่นั่งลดลงจาก 15 เหลือ 2 และการละเลยความต้องการด้านอาหารลดจาก 7 เหลือ 0
ศัพท์ที่ควรรู้
- Ambient Quality Agent (AQuA) – เครื่องมือที่วิเคราะห์เซสชันของ AI agent ที่ใช้งานจริงเพื่อค้นหาข้อบกพร่อง
- Production AI Agent – คือ AI agent ที่กำลังทำงานและให้บริการแก่ผู้ใช้ในสภาพแวดล้อมจริง
- Telemetry – ข้อมูลการทำงานที่ถูกส่งจากระบบที่กำลังทำงานอยู่ เพื่อนำมาวิเคราะห์
- Cloud Trace / Cloud Logging / BigQuery – บริการของ Google Cloud ที่ใช้เก็บและอ่านข้อมูลการทำงานของระบบ
ที่มา: infoq.com