METR (Model Evaluation & Threat Research) เปิดตัวเมตริก Time Horizon เพื่อวัดระดับความสามารถของ AI Agent โดยใช้เวลาที่มนุษย์ใช้ทำงานเป็นเกณฑ์ ไม่ใช่การวัดว่า AI ทำงานต่อเนื่องได้นานแค่ไหน ค่า 50% reliability หมายถึงโอกาสครึ่งหนึ่งที่ Agent จะทำสำเร็จในเวลาที่กำหนด
ผู้เขียนชี้แจงว่าค่านี้ไม่ได้บ่งชี้ว่า AI จะทำงานอัตโนมัติได้ตลอดช่วงเวลาดังกล่าว แต่เป็นการเปรียบเทียบความยากของงานกับมาตรฐานมนุษย์ ทำให้องค์กรเข้าใจขอบเขตความสามารถจริงก่อนนำไปใช้งานจริง
บทความแนะนำให้ทีมวิศวกรรมออกแบบ Business Acceptance Test ที่สอดคล้องกับระดับความน่าเชื่อถือที่องค์กรยอมรับได้ โดยคำนึงถึงความไม่แน่นอนและการติดตามผลในระยะยาว
ศัพท์ที่ควรรู้
- METR (Model Evaluation & Threat Research) – องค์กรวิจัยที่พัฒนาเกณฑ์วัดประสิทธิภาพและความปลอดภัยของโมเดล AI
- Time Horizon – เมตริกที่แปลงความยากของงานเป็นหน่วยเวลาตามมาตรฐานมนุษย์ ใช้เปรียบเทียบความสามารถ AI Agent
- Reliability (ความน่าเชื่อถือ) – โอกาสเปอร์เซ็นต์ที่ AI Agent จะทำภารกิจสำเร็จภายใน Time Horizon ที่กำหนด
- Business Acceptance Test – การทดสอบยอมรับทางธุรกิจ เพื่อตัดสินใจว่า AI พร้อมใช้งานจริงหรือยังตามเกณฑ์องค์กร
- AI Agent – โปรแกรม AI ที่สามารถวางแผน ใช้เครื่องมือ และดำเนินการหลายขั้นตอนเพื่อบรรลุเป้าหมายด้วยตัวเอง
ที่มา: LLM Rumors