Datadog ได้ขยายแพลตฟอร์ม Agent Observability ด้วยฟีเจอร์ Online Experiments ซึ่งช่วยให้ทีมวิศวกรรมสามารถเปรียบเทียบ AI agent เวอร์ชันต่างๆ กับทราฟฟิกการใช้งานจริงใน Production แทนที่จะต้องพึ่งพาชุดข้อมูลการประเมินที่กำหนดไว้ล่วงหน้าเท่านั้น
ฟีเจอร์นี้รวมคะแนนการประเมินของ agent เข้ากับการวัดการทำงานจริง เช่น latency, การใช้ token, ต้นทุนการทำงาน และข้อผิดพลาด ซึ่งช่วยให้ทีมสามารถยืนยันได้ว่าการเปลี่ยนแปลงโมเดล, prompt, กลยุทธ์การดึงข้อมูล หรือเครื่องมือต่างๆ นั้นช่วยปรับปรุง agent ได้จริง
เพื่อลดอิทธิพลจากความแตกต่างของคำขอจากผู้ใช้ ทีมสามารถเปรียบเทียบเวอร์ชันควบคุมกับเวอร์ชันที่ปรับปรุงโดยการกระจายทราฟฟิกการใช้งานจริงระหว่างสองเวอร์ชันแบบสุ่ม ซึ่งให้มุมมองที่สมจริงมากขึ้นว่า agent ทำงานอย่างไรภายใต้ภาระงานจริง
ในการทดลองดังกล่าว มีการเปรียบเทียบ GPT-5.6 Luna กับ GPT-6 Luna โดยแบ่งทราฟฟิกการใช้งานอย่างเท่ากัน และมีการใช้ LLM-based evaluator ให้คะแนนคุณภาพการตรวจสอบตั้งแต่หนึ่งถึงห้า โดยพบว่าโมเดลใหม่มีแนวโน้มเพิ่มระยะเวลาการทำงานและข้อผิดพลาดของเวิร์กโฟลว์ แม้ว่าช่วงความเชื่อมั่นจะกว้างเกินกว่าจะสรุปการถดถอยได้อย่างชัดเจนก็ตาม
เครื่องมืออย่าง LangSmith และ Langfuse ให้ความสามารถในการติดตามและประเมิน agent ในขณะที่แพลตฟอร์มทดลองอย่าง LaunchDarkly รองรับการเปิดตัวฟีเจอร์แบบควบคุม
ศัพท์ที่ควรรู้
- Agent Observability – การสังเกตการณ์ Agent คือการตรวจสอบว่า AI Agent ทำงานอย่างไรในระบบจริง
- Online Experiments – คือการทดลองแบบออนไลน์ที่เปรียบเทียบเวอร์ชันต่างๆ ของ Agent กับทราฟฟิกใช้งานจริง
- Latency – คือความหน่วงของระบบ ซึ่งวัดจากเวลาที่ใช้ในการตอบสนองของ Agent
- Token consumption – คือการวัดปริมาณการใช้ Token ซึ่งเกี่ยวข้องกับต้นทุนการทำงานของโมเดล
- Feature Flags – คือกลไกที่ช่วยให้วิศวกรสามารถเปิดตัวการเปลี่ยนแปลงให้กับผู้ใช้กลุ่มเล็กๆ ก่อนการใช้งานในวงกว้าง
ที่มา: infoq.com