การนำระบบ AI ที่มีความสามารถสูงมาใช้งานจริงได้ช่วยเพิ่มความเข้าใจของเราเกี่ยวกับประเด็นด้านความปลอดภัยและการนำไปใช้ในทางที่ผิดได้มากกว่าที่การวิจัยเพียงอย่างเดียวจะทำได้
การนำโมเดลภาษาไปใช้ผ่าน API มักปรากฏในรูปแบบที่แตกต่างจากที่เรากังวลมาก่อน เราได้ระบุถึงข้อจำกัดในการประเมินโมเดลภาษาที่มีอยู่ และกำลังแก้ไขปัญหานี้ด้วยการสร้างเกณฑ์มาตรฐานและตัวจำแนกใหม่
การวิจัยด้านความปลอดภัยพื้นฐานมีประโยชน์อย่างมากต่อการใช้งานเชิงพาณิชย์ของระบบ AI ในปัจจุบัน
ข้อจำกัดของชุดข้อมูลที่มีอยู่
ข้อจำกัดของชุดข้อมูลในมุมมองของผู้ปฏิบัติงานที่ต้องการประเมินความปลอดภัยของผลลัพธ์โมเดลภาษาอย่างรอบด้าน มีดังนี้:
- การมุ่งเน้นที่แคบเกินไป เช่น การวัดอคติทางเพศตามอาชีพ
- การมุ่งเน้นที่กว้างเกินไป เช่น การวัดทั้งหมดภายใต้คำว่า “ความเป็นพิษ” (toxicity)
- แนวโน้มที่จะละเลยรายละเอียดเฉพาะและการใช้งานจริง
- การไม่วัดมิติการสร้างภาษาของโมเดล (เช่น การใช้แบบปรนัย)
- พรอมต์ที่แตกต่างจากที่ใช้ในกรณีการใช้งานจริง
- การไม่จับมิติความปลอดภัยที่สำคัญในทางปฏิบัติ หรือประเภทของผลลัพธ์ที่สัมพันธ์กับการนำไปใช้ในทางที่ผิด เช่น เนื้อหาเกี่ยวกับเรื่องเพศ
ศัพท์ที่ควรรู้
- API-based language model misuse – การนำโมเดลภาษาไปใช้ในทางที่ผิดผ่าน API คือการนำไปใช้งานในรูปแบบที่แตกต่างจากการใช้งานทั่วไป
- Toxicity – ความเป็นพิษคือการที่ผลลัพธ์ของ AI มีเนื้อหาที่เป็นอันตรายหรือรุนแรง
- Generative dimension – มิติการสร้างคือความสามารถของโมเดลในการสร้างข้อความขึ้นใหม่ ไม่ใช่แค่การเลือกคำตอบ
ที่มา: OpenAI