เราต้องการให้แน่ใจว่าระบบ AI ในอนาคตที่ทำงานยากๆ นั้นยังคงสอดคล้องกับเจตนาของมนุษย์ แม้ว่างานวิจัยก่อนหน้าหลายชิ้นจะใช้การประเมินของมนุษย์เป็นสัญญาณในการฝึกฝนโมเดลภาษา แต่การที่มนุษย์จะประเมินงานที่ยากมากๆ นั้นเป็นเรื่องยาก เช่น การหาข้อบกพร่องทั้งหมดในโค้ดเบส หรือข้อผิดพลาดเชิงข้อเท็จจริงในเรียงความยาวๆ
ดังนั้น เพื่อบรรเทาปัญหานี้ เราจึงต้องการฝึกผู้ช่วย AI ที่ช่วยให้มนุษย์สามารถให้ข้อเสนอแนะในงานที่ยากได้ โดยผู้ช่วยเหล่านี้ควรชี้ให้เห็นข้อบกพร่อง ช่วยให้มนุษย์เข้าใจสิ่งที่เกิดขึ้น และตอบคำถามของพวกเขา
ตัวอย่างเช่น ในงานสรุปหนังสือ การอ่านทั้งเล่มเป็นเรื่องใหญ่ แต่เมื่อมีมนุษย์ช่วยสรุปเป็นบท พวกเขาก็จะประเมินบทสรุปของหนังสือได้ง่ายขึ้น
เพื่อพิสูจน์แนวคิด เราได้ใช้การเรียนรู้แบบมีผู้สอน (supervised learning) ในการฝึกโมเดลภาษาให้เขียนบทวิจารณ์สำหรับบทสรุปหัวข้อต่างๆ จากเรื่องสั้น บทความ Wikipedia และข้อความอื่นๆ บนอินเทอร์เน็ต เพื่อช่วยผู้ประเมินที่เป็นมนุษย์และศึกษาคุณสมบัติการปรับขนาดของการเขียนบทวิจารณ์
ศัพท์ที่ควรรู้
- Aligning language models – การปรับโมเดลภาษาให้สอดคล้องกับเจตนาของมนุษย์
- Supervised learning – การเรียนรู้แบบมีผู้สอน คือการฝึก AI โดยใช้ข้อมูลที่มีคำตอบที่ถูกต้องอยู่แล้ว
- Codebase – ชุดของโค้ดทั้งหมดที่ใช้ในการพัฒนาซอฟต์แวร์
ที่มา: OpenAI