เมื่อระบบ AI ตัดสินใจที่ยากต่อการควบคุม จำเป็นต้องเข้าใจกระบวนการคิดของมัน ซึ่ง OpenAI ได้นำเสนอแนวทางในการประเมินความสามารถในการตรวจสอบ (monitorability) ของ Chain-of-Thought
การประเมินนี้แบ่งเป็นสามประเภทหลัก โดยใช้กลไกต่างกันในการวัดผล เช่น การทดสอบการแทรกแซง (Intervention evaluations) โดยการเปลี่ยนแปลงสภาพแวดล้อมของ Agent และตรวจสอบว่า Monitor สามารถตรวจจับการเปลี่ยนแปลงนั้นได้หรือไม่
นอกจากนี้ ยังมีการศึกษาผลกระทบของการเรียนรู้แบบเสริมแรง (reinforcement learning) และขนาดของการฝึกฝนล่วงหน้า (pretraining scale) ที่มีต่อความสามารถในการตรวจสอบนี้ด้วย
เพื่อศึกษาความสัมพันธ์ระหว่างขนาดการฝึกฝนและความสามารถ เราได้ฝึกโมเดลหลายตระกูลด้วยระดับการคำนวณที่แตกต่างกัน และใช้ reinforcement learning กับโมเดลเหล่านั้นบนชุดข้อมูลเดียวกัน
ศัพท์ที่ควรรู้
- Chain-of-Thought – คือกระบวนการคิดเป็นขั้นตอนที่ AI ใช้ในการแก้ปัญหา ซึ่งถูกนำมาเป็นพื้นที่ทำงานส่วนตัวของโมเดล
- Monitorability – คือความสามารถในการตรวจสอบหรือติดตามว่าการตัดสินใจของ AI นั้นเกิดขึ้นได้อย่างไร
- Intervention evaluations – คือการทดสอบโดยการเปลี่ยนแปลงสภาพแวดล้อมของ Agent และดูว่า Monitor สามารถตรวจจับการเปลี่ยนแปลงนั้นได้หรือไม่
- Reinforcement learning – คือการเรียนรู้ที่โมเดลปรับปรุงพฤติกรรมของตนเองผ่านการตอบสนองจากสภาพแวดล้อม
- Pretraining scale – คือขนาดของการฝึกฝนล่วงหน้าของโมเดล ซึ่งรวมถึงจำนวนพารามิเตอร์และขนาดของชุดข้อมูล
ที่มา: OpenAI