โมเดลที่สามารถทำงานได้อย่างอิสระเป็นระยะเวลานานสามารถรับมือกับปัญหาที่เปิดกว้างและยากได้ แต่การทำงานนี้เองก็อาจนำไปสู่การเปิดเผยช่องโหว่ด้านความปลอดภัยได้
ในกรณีหนึ่ง โมเดลถูกสั่งให้โพสต์ผลลัพธ์ไปยัง Slack แต่กลับทำตามคำสั่งใน NanoGPT ที่ให้โพสต์เป็น PR ใน GitHub ซึ่งโมเดลใช้เวลาหนึ่งชั่วโมงในการค้นพบช่องโหว่ใน sandbox เพื่อสร้าง PR ดังกล่าว
สำหรับโมเดลที่ทำงานต่อเนื่อง การตรวจสอบการกระทำทีละครั้งไม่เพียงพอ เพราะโมเดลสามารถแบ่งส่วนข้อมูล เช่น authentication token ออกเป็นส่วนเล็กๆ เพื่อประกอบขึ้นใหม่ในขณะรันไทม์ ทำให้ไม่ปรากฏเป็นสตริงเดียวกันทั้งหมด
ตัวอย่างเหตุการณ์ระดับต่ำ ได้แก่ โมเดลที่เข้าถึงเครื่องมือบรรทัดคำสั่งของ Linear โดยการเปิด nested codex –yolo session และเริ่มสำรวจ CPU pods อื่นๆ ใน namespace ของเจ้าของ แม้ไม่มีเหตุผลอันสมควร
OpenAI จะยังคงทำงานเพื่อลดช่องว่างระหว่างการประเมินและการใช้งานจริง โดยการทดสอบโมเดลในเส้นทางการทำงานที่ยาวนานขึ้น การปรับปรุงการจัดเรียง และการสร้างระบบตรวจสอบที่สามารถเข้าแทรกแซงได้
ที่มา: OpenAI