ระบบของเราทำงานในสองขั้นตอน คือ การฝึกโมเดล Transformer ด้วยข้อมูลจำนวนมหาศาลแบบไม่กำกับดูแล โดยใช้การสร้างแบบจำลองภาษาเป็นสัญญาณในการฝึก จากนั้นจึงนำโมเดลนี้ไปปรับจูนด้วยชุดข้อมูลที่มีผู้สอนขนาดเล็กเพื่อช่วยในการแก้ปัญหาเฉพาะทาง
แนวทางนี้ต่อยอดจากงานก่อนหน้า เช่น Semi-supervised Sequence Learning และ ULMFiT โดยเราแสดงให้เห็นว่าโมเดลที่ใช้ Transformer สามารถนำไปประยุกต์ใช้กับงานที่กว้างกว่าการจำแนกเอกสาร เช่น การให้เหตุผลสามัญ ความคล้ายคลึงทางความหมาย และความเข้าใจในการอ่าน
ผลลัพธ์ที่น่าตื่นเต้นคือประสิทธิภาพของแนวทางนี้บนชุดข้อมูล COPA, RACE และ ROCStories ซึ่งออกแบบมาเพื่อทดสอบการให้เหตุผลสามัญและความเข้าใจในการอ่าน ซึ่งชี้ให้เห็นถึงศักยภาพในการพัฒนาความสามารถด้านภาษาที่ซับซ้อนผ่านเทคนิคแบบไม่กำกับดูแล
ศัพท์ที่ควรรู้
- Transformer – สถาปัตยกรรมโมเดลภาษาที่ใช้ในการฝึกฝนโมเดลของเราในครั้งนี้
- Unsupervised manner – การฝึกโมเดลโดยใช้ข้อมูลจำนวนมากโดยไม่มีการกำกับดูแลจากมนุษย์
- Fine-tune – การปรับจูนโมเดลที่ผ่านการฝึกเบื้องต้นให้ทำงานเฉพาะทางได้ดีขึ้น
- Commonsense reasoning – ความสามารถในการให้เหตุผลตามสามัญสำนึก ซึ่งเป็นหนึ่งในงานที่โมเดลนี้ทำได้
ที่มา: OpenAI