ในช่วงหลายสัปดาห์ที่ผ่านมา มีสองพัฒนาการที่เน้นย้ำถึงความเสี่ยงที่เพิ่มขึ้นของระบบ AI ที่มีความสามารถสูง นั่นคือเหตุการณ์กับ OpenAI-Hugging Face และหลักฐานเบื้องต้นว่าโมเดล Astra ที่กำลังจะเปิดตัวอาจถึงเกณฑ์ความสามารถด้านไซเบอร์ที่สำคัญภายใต้กรอบการเตรียมพร้อมของเรา
Securing our research environments
เราได้กู้คืนเส้นทางการรันโค้ดที่จำกัดและปลอดภัยกลับมาอย่างรวดเร็ว และได้ปรับเปลี่ยนสภาพแวดล้อมเพื่อกำจัดบริการที่มีช่องโหว่ และปรับปรุงขอบเขตด้านความปลอดภัยและความน่าเชื่อถือ
Expanding chain-of-thought monitoring
การตรวจสอบของเรามุ่งเน้นไปที่การติดตั้งใช้งานโมเดลขั้นสูงและการฝึกฝน RL โดยใช้โมเดลขั้นสูง ซึ่งถือเป็นภาระงานที่มีความเสี่ยงสูงสุด เนื่องจากสามารถรวมความสามารถของโมเดลเข้ากับการเข้าถึงเครื่องมือ ระบบที่ละเอียดอ่อน และเครือข่ายต่างๆ
ระบบตรวจสอบใหม่นี้เป็นแบบหลายขั้นตอน โดยเริ่มต้นด้วย activation classifiers ที่ตรวจสอบกิจกรรมภายในของโมเดล และส่งต่อข้อกังวลไปยังนักสืบอัตโนมัติที่มีความซับซ้อนสูงขึ้น
Advancing alignment research
งานวิจัยนี้รวมถึงการปรับปรุง reward models เพื่อตรวจจับและยับยั้งพฤติกรรมที่ไม่ปลอดภัยในทุกงานและสภาพแวดล้อม การฝึกโมเดลให้มีความซื่อสัตย์เกี่ยวกับขีดจำกัดของตน และการลดพฤติกรรมที่ใช้ประโยชน์จากจุดอ่อนในการให้รางวัลหรือการกำกับดูแล
ศัพท์ที่ควรรู้
- AI – ปัญญาประดิษฐ์ คือระบบคอมพิวเตอร์ที่จำลองความฉลาดของมนุษย์
- Critical cybersecurity capability – ความสามารถด้านไซเบอร์ที่สำคัญ หมายถึงระดับความสามารถที่อาจถูกใช้ในทางที่ผิดด้านความปลอดภัย
- Activation classifiers – ตัวจำแนกการทำงานภายใน คือเครื่องมือที่ตรวจสอบกิจกรรมภายในของโมเดล AI ในระหว่างการทำงาน
- Alignment research – การวิจัยเพื่อจัดแนว คือการวิจัยเพื่อให้แน่ใจว่า AI จะทำงานตามเจตนาและมีความปลอดภัย
ที่มา: OpenAI