เราภูมิใจที่ได้ผลักดันขีดจำกัดของขีดความสามารถและความปลอดภัยของ AI อย่างต่อเนื่อง
การร่วมมือเพื่อรักษาความปลอดภัยของการใช้งาน AI Agents
การบรรจบกันของความปลอดภัยของ AI agent และความปลอดภัยทางไซเบอร์แบบดั้งเดิมจำเป็นต้องมีการสร้างแนวปฏิบัติที่ดีที่สุดใหม่ๆ ซึ่งการเป็นพันธมิตรของ CAISI ในการปรับปรุงด้านนี้กำลังส่งผลดีโดยตรงต่อผู้ใช้ปลายทางของระบบเหล่านี้
การร่วมมือด้านความปลอดภัยทางชีวภาพ
ตั้งแต่เดือนพฤษภาคมจนถึงการเปิดตัว ChatGPT Agent ในเดือนกรกฎาคม และ GPT-5 ในเดือนสิงหาคม ทีมงาน UK AISI และ OpenAI มีการประชุมเฉพาะกิจอย่างสม่ำเสมอ ซึ่งรวมถึงการทำงานร่วมกับทีมเทคนิคเพื่อทำความเข้าใจและแก้ไขปัญหาเฉพาะด้าน
ตัวอย่างเช่น OpenAI ได้ปรับปรุงความแข็งแกร่งของ monitoring stack โดยการวัดเทียบกับชุดของ universal jailbreaks ที่ UK AISI ค้นพบ ซึ่งถูกค้นพบผ่านทั้งการทดสอบแบบ red teaming ด้วยมือและเทคนิคการโจมตีอัตโนมัติ ความร่วมมืออย่างใกล้ชิดนี้ทำให้ UK AISI ได้รับประโยชน์จากการเข้าถึงเครื่องมือที่ไม่เปิดเผยต่อสาธารณะ (เช่น CoTs ของ monitor) ข้อมูลที่ไม่เปิดเผยต่อสาธารณะ (เช่น รายละเอียดการออกแบบมาตรการป้องกัน) และการที่ระบบบังคับบัญชีของ OpenAI ถูกปิดใช้งานในช่วงการทำงานอย่างรวดเร็ว
ในช่วงท้ายของการทำซ้ำอย่างรวดเร็ว การค้นพบการโจมตีสากลที่หลบเลี่ยง full moderation stack ต้องใช้เทคนิคที่ซับซ้อนและมีการแจ้งเตือน moderation จำนวนมาก ซึ่งงานนี้เสริมกับการทดสอบความเครียดภายในและภายนอกอื่นๆ สำหรับมาตรการป้องกันทางชีวภาพของเรา รวมถึงการทดสอบกว่า 5000 ชั่วโมงในสามแคมเปญการทดสอบมาตรการป้องกัน และการทำงานร่วมกับพันธมิตรบุคคลที่สามต่างๆ
ศัพท์ที่ควรรู้
- AI Agent – คือตัวแทนของปัญญาประดิษฐ์ที่สามารถทำงานเฉพาะอย่างได้
- CAISI – คือองค์กรที่ร่วมมือกับ OpenAI เพื่อปรับปรุงด้านความปลอดภัยของระบบ AI
- UK AISI – คือองค์กรที่ร่วมมือกับ OpenAI ในการทดสอบและแก้ไขปัญหาด้านความปลอดภัยของ AI
- Moderation Stack – คือชุดของระบบที่ใช้ในการกลั่นกรองและตรวจสอบเนื้อหาของ AI
- Universal Jailbreaks – คือชุดของการโจมตีที่สามารถใช้ได้กับระบบป้องกัน AI ส่วนใหญ่
ที่มา: OpenAI