การประเมินจากบุคคลที่สามที่เชื่อถือได้มีบทบาทสำคัญในการเสริมสร้างระบบนิเวศด้านความปลอดภัยของ AI
การเลือก ‘harness’ หรือสภาพแวดล้อมการทดสอบที่เหมาะสมมีความสำคัญอย่างยิ่งต่อผลลัพธ์ที่ได้ ตัวอย่างเช่น ในการประเมิน GPT-5.5 ของ UK AISI พบว่ามีการใช้ jailbreak ที่สามารถกระตุ้นเนื้อหาที่ละเมิดได้จากคำสั่งที่เป็นอันตราย
เมื่อ METR ขยายชุดงานและย้ายโครงสร้างพื้นฐานการประเมินจาก Vivaria ไปยัง Inspect พวกเขาได้รายงานการเปลี่ยนแปลงและทำการประเมินโมเดลใหม่ภายใต้การตั้งค่าใหม่
ในการประเมินเหล่านี้ พวกเขาเตือนให้ระวังปัจจัยต่างๆ ที่อาจบิดเบือนผลลัพธ์ เช่น ground truth ที่ไม่ถูกต้อง หรือสภาพแวดล้อมที่เปิดเผยทางลัด เช่น ไฟล์คำตอบที่ซ่อนอยู่
OpenAI กำลังขอให้ผู้ประเมินใช้ Codex เป็นพื้นฐานร่วมในการทดสอบ เพื่อให้การทดสอบรันผ่านอินเทอร์เฟซแบบ agentic เดียวกันที่ผู้ใช้อาจต้องพึ่งพา
ศัพท์ที่ควรรู้
- Third party evaluations – การประเมินโดยบุคคลที่สาม ซึ่งคือการตรวจสอบความปลอดภัยจากภายนอก
- Harness – สภาพแวดล้อมการทดสอบที่ใช้ในการวัดขีดความสามารถของโมเดล
- GPT-5.5 – โมเดลภาษาขนาดใหญ่ของ OpenAI ที่ถูกนำมาใช้ในการทดสอบ
- Codex – เครื่องมือที่ใช้ในการสร้าง harness เพื่อเสริมประสิทธิภาพการโจมตีโมเดล
- Ground truth – ข้อมูลจริงหรือคำตอบที่ถูกต้องที่ใช้ในการเปรียบเทียบผลลัพธ์
ที่มา: OpenAI