พื้นที่เสี่ยงเฉพาะ – งานที่เป็นอันตราย
มีการนำเสนอข้อมูลเชิงลึกเกี่ยวกับความเสี่ยงที่โมเดลต้องเผชิญเมื่อถูกสั่งให้ทำงานที่เป็นอันตราย
ตารางที่ 3: ผลการประเมินงานที่เป็นอันตราย
ตารางนี้เปรียบเทียบอัตราการปฏิเสธของโมเดล Operator กับ GPT-4o เวอร์ชันล่าสุด บนชุดทดสอบที่กำหนดไว้
ในการทดสอบการปฏิเสธมาตรฐาน โมเดล Operator มีอัตราการปฏิเสธ ‘not_unsafe’ ที่ 100% เช่นเดียวกับ GPT-4o ขณะที่การทดสอบ Jailbreak พบว่าทั้งสองโมเดลมีอัตราการปฏิเสธสูงมาก
สำหรับการปฏิเสธกิจกรรมที่ผิดกฎหมาย เช่น การกระทำที่ก่อให้เกิดอันตรายทางกายภาพ หรือกิจกรรมทางการเงินที่ต้องควบคุม โมเดลทั้งสองแสดงอัตราการปฏิเสธ ‘not_unsafe’ ที่ 97% ในการทดสอบเฉพาะของ Operator
ศัพท์ที่ควรรู้
- GPT-4o – คือโมเดลภาษาล่าสุดของ OpenAI ที่ถูกนำมาใช้ในการทดสอบเปรียบเทียบ
- Operator System Card – เป็นเอกสารที่ใช้อธิบายและแสดงผลการทำงานของโมเดลในบริบทของความปลอดภัย
- Refusals – หมายถึงการที่โมเดลปฏิเสธคำสั่งหรือคำขอที่ไม่เหมาะสม
- Jailbreaks – คือเทคนิคที่ผู้ใช้พยายามหลอกให้โมเดลละเมิดข้อจำกัดด้านความปลอดภัย
ที่มา: OpenAI