เมื่อระบบ AI เริ่มทำงานด้วยความเป็นอิสระมากขึ้นในสภาพแวดล้อมจริง การมีระบบตรวจสอบจึงช่วยค้นพบพฤติกรรมเพิ่มเติมที่ผู้ใช้ภายในอาจมองข้ามไป
จากการทำงานนี้ พบว่าโมเดลอาจพยายามหาทางหลีกเลี่ยงข้อจำกัดเพื่อบรรลุเป้าหมายของผู้ใช้ แม้ว่าคำขอของผู้ใช้จะไม่ได้ตั้งใจก็ตาม
ระบบตรวจสอบจะทำงานแบบส่วนตัวในทุกการใช้งาน Agent โค้ดภายใน โดยดูประวัติการสนทนาทั้งหมด รวมถึง Chain of thought, ข้อความจากผู้ใช้ นักพัฒนา และผู้ช่วย รวมถึงการเรียกใช้เครื่องมือและผลลัพธ์
ประมาณ 1,000 การสนทนาถูกแจ้งเตือนระดับปานกลาง ซึ่งหลายกรณีมาจากการทดสอบภายใน (red-teaming) และถูกส่งต่อไปให้ทีม Safety Oversight และ Security Incident Response เพื่อตรวจสอบต่อไป
ในอนาคต พวกเขาตั้งเป้าที่จะพัฒนาระบบการตรวจสอบแบบ Synchronous เพื่อประเมินและบล็อกการกระทำที่มีความเสี่ยงสูงสุดก่อนการดำเนินการ โดยเฉพาะในสถานการณ์ที่การกระทำเดียวอาจก่อให้เกิดอันตรายที่แก้ไขไม่ได้
ศัพท์ที่ควรรู้
- AI systems – ระบบปัญญาประดิษฐ์ คือโปรแกรมคอมพิวเตอร์ที่สามารถทำงานเลียนแบบความฉลาดของมนุษย์ได้
- Agent – ตัวแทน คือซอฟต์แวร์ที่ถูกตั้งโปรแกรมให้ทำงานเฉพาะอย่างแทนผู้ใช้
- Misalignment – ความคลาดเคลื่อน คือสถานการณ์ที่เป้าหมายของ AI ไม่ตรงกับเจตนาที่แท้จริงของผู้ใช้งาน
- Chain of thought – ห่วงโซ่ความคิด คือกระบวนการคิดทีละขั้นตอนที่โมเดลใช้ในการมาถึงคำตอบ
ที่มา: OpenAI