เราได้ทำการ fine-tune โมเดลภาษา GPT-2 ที่มี 774 ล้านพารามิเตอร์ โดยใช้ feedback จากมนุษย์สำหรับงานต่างๆ และประสบความสำเร็จในการจับคู่ความชอบของผู้ติดป้ายกำกับภายนอก แม้ว่าความชอบเหล่านั้นอาจไม่ตรงกับของเราเสมอไป
สำหรับงานสรุปความ โมเดลที่ฝึกด้วยการเปรียบเทียบ 60,000 ครั้ง สามารถเรียนรู้ที่จะคัดลอกประโยคทั้งหมดจากอินพุตและข้ามส่วนนำที่ไม่เกี่ยวข้อง ซึ่งเป็นวิธีที่ง่ายในการรับรองความถูกต้องของบทสรุป แต่ก็อาจใช้ประโยชน์จากข้อเท็จจริงที่ว่าผู้ติดป้ายกำกับอาศัยการคาดคะเนแบบง่ายๆ
เรายังต้องมีการเก็บข้อมูลออนไลน์ ซึ่งตัวอย่างที่แสดงให้มนุษย์เห็นจะถูกรวบรวมตลอดการฝึกตามการเปลี่ยนแปลงของนโยบาย หรือกลยุทธ์การเก็บข้อมูลแบบออฟไลน์ที่แสดงเฉพาะตัวอย่างจากโมเดล GPT-2 พื้นฐานที่ทำงานได้ไม่ดี
การเก็บข้อมูลออนไลน์นั้นยาก
เราเชื่อว่าจุดตรงกลางระหว่างการเก็บข้อมูลแบบออฟไลน์และออนไลน์คือการเก็บข้อมูลแบบเป็นชุด (batched data collection) โดยการสลับระหว่างการรวบรวมข้อมูลจำนวนมาก (ที่มีความหน่วงสูง) และการฝึกบนข้อมูลที่รวบรวมได้
งานที่คลุมเครือทำให้การติดป้ายกำกับยาก
มนุษย์คนเดียวอาจมีความเข้าใจที่ชัดเจนว่าตัวอย่างที่กำหนดนั้นถูกต้องตามหลักไวยากรณ์ ไม่ซ้ำซ้อน หรือจับประเด็นสำคัญได้ แต่การเปรียบเทียบสรุปสองฉบับมักต้องมีการชั่งน้ำหนักข้อบกพร่องที่แตกต่างกันอย่างอัตวิสัย
มองไปข้างหน้า
ในด้านความสามารถ การเรียนรู้แบบเสริมแรง (reinforcement learning) ช่วยให้เราสามารถแก้ไขข้อผิดพลาดที่การเรียนรู้แบบมีผู้สอน (supervised learning) อาจมองข้ามไปได้ แต่ RL ที่มีฟังก์ชันรางวัลเชิงโปรแกรมอาจส่งผลเสียต่อคุณภาพของโมเดล
ในด้านความปลอดภัย การเรียนรู้รางวัลสำหรับภาษาช่วยให้สามารถนำเกณฑ์สำคัญ เช่น “อย่าโกหก” มาใช้ระหว่างการฝึก และเป็นก้าวไปสู่วิธีการด้านความปลอดภัยที่ปรับขนาดได้ เช่น การโต้วาทีและการขยายเสียง
ศัพท์ที่ควรรู้
- GPT-2 – โมเดลภาษาที่ถูกนำมาใช้ในการ fine-tune โดยมี 774 ล้านพารามิเตอร์
- Fine-tuning – กระบวนการปรับแต่งโมเดล AI ที่มีอยู่แล้วให้ทำงานเฉพาะทางมากขึ้น
- Summarization – งานที่โมเดลต้องย่อข้อความยาวๆ ให้เหลือใจความสำคัญ
- Reinforcement Learning – การเรียนรู้ที่โมเดลปรับปรุงตัวเองผ่านการให้และรับรางวัลจากการกระทำ
ที่มา: OpenAI