โดยปกติแล้ว โมเดลภาษาจะถูกฝึกฝนครั้งเดียวแล้วจึงถูกนำไปใช้งาน และการปรับปรุงใดๆ ต้องอาศัยการฝึกฝนใหม่ หรือการคำนวณเพิ่มเติมระหว่างการอนุมาน (inference) ซึ่งจะหายไปเมื่อสิ้นสุดงาน
เราตั้งคำถามว่าโมเดลสามารถเขียนทับน้ำหนักของตัวเองเพื่อทำให้ดีขึ้นได้หรือไม่ และพบว่ามันทำได้ด้วยการให้เหตุผลของตัวเอง โดยไม่ใช้ gradient หรือการฝึกฝน เราเรียกว่า ‘self-rewriting’
ด้วยน้ำหนักที่กำหนด คำตอบที่มีการให้เกรด และความสามารถในการรันตัวเอง โมเดลขนาด 27B สามารถวินิจฉัยความล้มเหลวและแก้ไขน้ำหนักเบื้องหลังได้ ซึ่งการแก้ไขนี้ทำให้มีความแม่นยำสูงกว่าเดิมถึง 6.6 คะแนนในโจทย์ 490 ข้อที่ไม่เคยเห็นมาก่อน
ความสามารถนี้ปรากฏขึ้นเมื่อมีขนาดใหญ่ โดยโมเดลขนาด 2B ไม่ทำการแก้ไข ขณะที่โมเดลขนาด 4B และ 9B เกิดการทำลายตัวเอง แต่โมเดล 27B สามารถทำงานได้เหมือนมนุษย์ โดยเปรียบเทียบสถานะภายใน (hidden states) ของคำตอบที่เสร็จสมบูรณ์และคำตอบที่หมดโทเค็น
ดังนั้น โมเดลจึงไม่จำเป็นต้องแยกการฝึกฝนออกจากการอนุมาน การปรับปรุงโมเดลภาษาอาจมาจากการสนทนามากกว่าการรันการฝึกฝน
ศัพท์ที่ควรรู้
- Language models – โมเดลภาษาคือแบบจำลองทางคอมพิวเตอร์ที่ถูกฝึกฝนมาเพื่อประมวลผลภาษาธรรมชาติ
- Weights – น้ำหนักคือพารามิเตอร์ภายในของโมเดลที่กำหนดความรู้และความสัมพันธ์ระหว่างข้อมูล
- Gradients – Gradient คือค่าที่ใช้ในการคำนวณเพื่อบอกทิศทางการปรับปรุงโมเดลระหว่างการฝึกฝน
- Inference – การอนุมานคือกระบวนการที่โมเดลนำไปใช้งานจริงเพื่อสร้างผลลัพธ์หรือคำตอบ
- Self-rewriting – การเขียนทับตัวเองคือความสามารถของโมเดลในการแก้ไขโค้ดหรือน้ำหนักของตัวเองเพื่อปรับปรุงประสิทธิภาพ
ที่มา: arxiv.org