การเฝ้าระวังควรเริ่มต้นจากคุณภาพ ต้นทุน และความหน่วง เนื่องจากสัญญาณเตือนด้านคุณภาพและโทเค็นถูกตรวจพบใน 38% ของ Agent ในขณะที่ Error ถูกพบเพียงประมาณ 1% เท่านั้น
เราคุ้นเคยกับซอฟต์แวร์แบบดั้งเดิมที่มักจะล้มเหลวอย่างชัดเจน เช่น การโยน Exception หรือการตอบกลับด้วยรหัส 500 แต่ AI Agent นั้นทำงานต่างออกไป พวกมันสามารถให้คำตอบที่ดูดีและมีโครงสร้าง ในขณะที่ความถูกต้องลดลงเรื่อยๆ หรือใช้ทรัพยากรมากขึ้นโดยไม่มี Error แจ้ง ซึ่งอาจสร้างความเสียหายต่อ Production Environment ได้
ศัพท์ที่ควรรู้
- AI Agent – คือโปรแกรมปัญญาประดิษฐ์ที่ถูกออกแบบมาให้ทำงานเฉพาะอย่าง
- Silent Drift – คือการที่โมเดลค่อยๆ ผิดพลาดหรือเบี่ยงเบนไปจากความถูกต้องโดยไม่มีการแจ้งเตือนชัดเจน
- Token – คือหน่วยข้อมูลที่ใช้ในการประมวลผลของโมเดลภาษา ซึ่งส่งผลต่อต้นทุนและการทำงาน
- Latency – คือความหน่วงหรือระยะเวลาที่ใช้ในการประมวลผลและให้ผลลัพธ์
ที่มา: towardsdatascience.com