OpenAI บริหารจัดการความเสี่ยงของ AI ขั้นสูง ตั้งแต่การฝึกฝนจนถึงการใช้งาน

ระหว่างการวิจัย: กักกันโมเดลในสภาพแวดล้อมจำลอง

เพื่อการแทรกแซงที่รวดเร็วและเชื่อถือได้ เราได้สร้าง Control Room ซึ่งเป็นระบบกลางที่ติดตามภาระงานการวิจัย และสามารถหยุดเอาต์พุตของโมเดลได้ภายใน 35 วินาทีหลังได้รับคำสั่งยุติงาน

งานวิจัยบางอย่างต้องการการตั้งค่าที่ทะเยอทะยานกว่าปกติ เช่น การใช้ทีมงานขนาด 10,000 agents เพื่อแก้ปัญหา Navier Stokes

การตอบสนองต่อเหตุการณ์และการเปิดเผยข้อมูล

เมื่อตรวจพบความล้มเหลวในชั้นความปลอดภัยใดๆ เราต้องการสอบสวน จัดการ และหากเหมาะสม จึงจะเปิดเผยความล้มเหลวนั้นสู่ภายนอก

มีการปรับปรุง Model Spec ให้มี 5 ค่านิยมหลัก เพื่อชี้นำการตัดสินใจ พฤติกรรม และการเคารพการกำกับดูแลของมนุษย์

นอกจากนี้ ยังมีการศึกษาช่องว่างระหว่างการประเมินความปลอดภัยและการทำงานจริง และการใช้ Auto-review เพื่อให้ Agent ทำงานได้โดยอัตโนมัติแต่ยังคงป้องกันการกระทำที่เป็นอันตราย

งานวิจัยยังแสดงให้เห็นถึงการเร่งความเร็วในการวิจัยผ่านการใช้ coding agents ที่มีความซับซ้อนมากขึ้น

ศัพท์ที่ควรรู้

  • Frontier models – โมเดลขั้นสูงที่มีความสามารถสูงและก้าวหน้าอย่างรวดเร็ว
  • Control Room – ระบบกลางที่ใช้ติดตามและควบคุมการทำงานของโมเดลระหว่างการวิจัย
  • Sandboxed environments – สภาพแวดล้อมจำลองที่ใช้ทดสอบและควบคุมโมเดลเพื่อจำกัดขอบเขตความเสี่ยง
  • Model Spec – ข้อกำหนดของโมเดลที่อัปเดตเพื่อชี้นำการตัดสินใจและพฤติกรรมของ AI
  • Coding agents – ตัวแทน AI ที่สามารถทำงานด้านการเขียนโค้ดและช่วยในการวิจัย

ที่มา: OpenAI

Leave a Comment