เราใช้เฉพาะ Prompt ที่ส่งผ่าน Playground กับ InstructGPT เวอร์ชันก่อนหน้าซึ่งเปิดตัวในเดือนมกราคม 2021 โดยผู้ตรวจสอบที่เป็นมนุษย์ของเราจะลบข้อมูลที่สามารถระบุตัวตนส่วนบุคคลออกจาก Prompt ทั้งหมดก่อนนำเข้าชุดข้อมูลการฝึก
เรายังวัดมิติอื่น ๆ ของเอาต์พุตที่เป็นอันตรายใน API Distribution ด้วย เช่น เนื้อหาทางเพศหรือความรุนแรง การดูหมิ่นกลุ่มบุคคล หรือการส่งเสริมการใช้ในทางที่ผิด และพบว่า InstructGPT ไม่ได้ดีขึ้นอย่างมีนัยสำคัญจาก GPT-3 ในด้านเหล่านี้
ผู้ตรวจสอบเหล่านี้มาจาก Scale AI และ Upwork เช่นเดียวกับผู้ตรวจสอบชุดฝึก แต่พวกเขาไม่ได้ผ่านการทดสอบคัดกรอง
เราขอขอบคุณผู้ร่วมเขียนบทความและทีมงานทุกคนที่ให้ข้อเสนอแนะ รวมถึงทีม Comms สำหรับคำแนะนำและความช่วยเหลือด้วย
ศัพท์ที่ควรรู้
- InstructGPT – โมเดลภาษาที่ถูกปรับแต่งให้ทำตามคำสั่งของผู้ใช้
- Playground – เครื่องมือที่ใช้ส่ง Prompt ไปยังโมเดลก่อนการฝึกฝน
- API distribution – การแจกแจงของเอาต์พุตที่ออกมาจากโมเดลผ่าน Application Programming Interface
- GPT-3 – โมเดลภาษาพื้นฐานของ OpenAI ที่ใช้เป็นเกณฑ์เปรียบเทียบ
ที่มา: OpenAI