ในระบบภาษาแบบ Multi-agent มักมีการเพิ่มผู้ตรวจสอบเข้ามาเพื่อปรับปรุงการตัดสินใจของ Agent ต้นทาง แต่ผู้ตรวจสอบสามารถทั้งแก้ไขข้อผิดพลาดและแทนที่การตัดสินใจที่ถูกต้องไปแล้วได้ด้วยเช่นกัน เราจึงศึกษาปัญหานี้ในเชิงเขตอำนาจทางสถาบันว่า เมื่อใดที่คำแนะนำของผู้ตรวจสอบจะมีผลผูกพัน
เราเปรียบเทียบการให้อำนาจยกเลิกที่กว้าง กับการใช้ evidence gate ที่อนุญาตให้แทนที่ได้ก็ต่อเมื่อผู้ตรวจสอบสามารถสร้างบันทึกที่ถูกต้องของการละเมิดข้อจำกัดและทำการแก้ไขที่สอดคล้อง
จากการทดสอบกับโมเดล open-weight สองตัว พบว่า gate ดังกล่าวช่วยลดการบิดเบือนข้อเสนอที่ถูกต้องได้อย่างมาก ขณะที่การออกแบบอินเทอร์เฟซและการทำงานของผู้ตรวจสอบเป็นตัวกำหนดขอบเขตการแก้ไขและการบิดเบือนทั้งหมด
ศัพท์ที่ควรรู้
- Multi-agent language-model systems – ระบบที่ใช้แบบจำลองภาษาหลายตัวทำงานร่วมกัน
- Reviewer – ผู้ตรวจสอบที่ทำหน้าที่ทบทวนและให้ข้อเสนอแนะต่อ Agent ต้นทาง
- Evidence gate – กลไกที่กำหนดเงื่อนไขว่าการแทรกแซงของผู้ตรวจสอบนั้นมีหลักฐานสนับสนุนเพียงพอที่จะมีผลผูกพัน
- Override authority – อำนาจในการยกเลิกหรือแทนที่การตัดสินใจของระบบก่อนหน้า
ที่มา: arxiv.org