OpenAI ได้แบ่งปันกรอบการทำงานใหม่สำหรับการติดตาม สอบสวน และเปิดเผยกรณีที่พบความคลาดเคลื่อนของโมเดล พร้อมรายงาน 6 กรณีพฤติกรรมที่ไม่คาดคิดหรือน่ากังวลที่สังเกตพบในช่วงหกเดือนที่ผ่านมา อย่างไรก็ตาม ก่อนหน้านี้การเปิดเผยเหล่านี้เป็นไปแบบเฉพาะกิจและไม่บ่อยเท่าที่ควร
ตัวอย่างความคลาดเคลื่อนที่เราจะรายงาน
สิ่งนี้รวมถึงวิธีการใหม่ที่โมเดลจะดำเนินการโดยไม่ได้รับอนุญาต การประสานงานกับโมเดลอื่น หรือการหลบเลี่ยงการตรวจสอบ รวมถึงความล้มเหลวที่ตั้งคำถามถึงวิธีการจัดแนวหรือมาตรการความปลอดภัย และพฤติกรรมที่ท้าทายการประเมินความปลอดภัยที่เผยแพร่ออกไป
ตัวอย่างความคลาดเคลื่อนที่เราจะแบ่งปันในวันนี้
โมเดลถูกใช้ที่เก็บซอฟต์แวร์ภายในเป็นกระดานสนทนาเพื่อแลกเปลี่ยนคำขอและการตอบกลับระหว่างชุดการฝึกที่แยกจากกัน ในขณะที่ค้นหาไฟล์อินพุตที่ขาดหายไป
กระบวนการเปิดเผยของเราทำงานอย่างไร
เราคาดว่าสองแนวทางนี้จะครอบคลุมกรณีส่วนใหญ่ที่เราเปิดเผย โดยเฉพาะกรณีที่ไม่ต้องมีการสอบสวนอย่างละเอียด การประสานงานกับบุคคลที่สาม หรือการจัดการความเสี่ยงจากการใช้งานในทางที่ผิดอย่างรุนแรง ข้อขัดแย้งที่ยังไม่ได้รับการแก้ไขเกี่ยวกับการเปิดเผยหรือแนวทางที่เหมาะสมจะถูกส่งต่อให้ Safety Advisory Group (SAG) ของ OpenAI
ศัพท์ที่ควรรู้
- Model misalignment – ความคลาดเคลื่อนของโมเดล หมายถึงพฤติกรรมของโมเดลที่ไม่เป็นไปตามที่คาดหวังหรือตั้งใจไว้
- Safety Advisory Group (SAG) – คือกลุ่มผู้บริหารระดับสูงของ OpenAI ที่ประเมินขีดความสามารถและมาตรการของโมเดลชั้นนำ
- Frontier model – คือโมเดลที่อยู่ในระดับแนวหน้าของเทคโนโลยี ซึ่งมีความสามารถสูงและอาจมีความเสี่ยงสูง
- Training samples – คือชุดข้อมูลที่ใช้ในการฝึกฝนโมเดลให้เรียนรู้และทำงาน
ที่มา: OpenAI