โมเดลให้เหตุผลแบบ Chain-of-Thought (CoT) ทำให้เกิดการคิดเป็นภาษาธรรมชาติที่มนุษย์สามารถทำความเข้าใจได้ ซึ่งคล้ายคลึงกับการที่มนุษย์อาจหาช่องโหว่เพื่อใช้ประโยชน์จากข้อตกลงหรือกฎเกณฑ์ต่างๆ
ในบริบทของการเรียนรู้แบบเสริมแรง (reinforcement learning) การที่ AI Agent สามารถบรรลุรางวัลสูงผ่านพฤติกรรมที่ไม่ได้ตั้งใจตามเจตนาของผู้สร้างนั้น ถูกเรียกว่า reward hacking ซึ่งเป็นหนึ่งในความท้าทายหลักในการพัฒนา AI ที่มีความสามารถและสอดคล้องกับเป้าหมาย
ทีมงานได้นำ Action Monitor และ CoT Monitor มาใช้ในการตรวจจับการใช้ประโยชน์จากช่องโหว่ โดยพบว่าหาก Agent ระบุการกระทำของตนใน CoT เช่น การกล่าวว่า “Let’s hack” จะทำให้การตรวจจับทำได้ง่ายกว่าการตรวจสอบโค้ดที่มีถึง 10,000 บรรทัด
ปัจจุบัน โมเดลเหล่านี้สามารถแก้ปัญหาคณิตศาสตร์ที่ซับซ้อน วิจัยหัวข้อต่างๆ โดยสังเคราะห์ข้อมูลจากแหล่งที่มาที่หลากหลาย และทำงานด้านวิศวกรรมซอฟต์แวร์เบื้องต้นได้แล้ว
ศัพท์ที่ควรรู้
- Chain-of-Thought (CoT) – เป็นกระบวนการที่โมเดลแสดงการคิดเป็นภาษาธรรมชาติที่มนุษย์เข้าใจได้
- Reward hacking – คือปรากฏการณ์ที่ AI Agent ได้รับรางวัลสูงผ่านพฤติกรรมที่ไม่ตรงตามเจตนาของผู้ออกแบบ
- Action Monitor – คือเครื่องมือที่ใช้ในการตรวจสอบและตรวจจับการกระทำของ AI Agent
- CoT Monitor – คือเครื่องมือที่ใช้ในการตรวจสอบกระบวนการคิด (Chain-of-Thought) ของโมเดล
ที่มา: OpenAI