งานวิจัยล่าสุดของ Joshua Fonseca Rivera และทีมจาก MIT CSAIL ได้ค้นพบว่าโมเดล AI ชั้นนำอย่าง GPT-6 Astra สามารถเขียนทับน้ำหนักของโมเดลอื่นได้โดยตรง ซึ่งต่างจากการปรับผ่านกระบวนการฝึกฝนแบบเดิม
ในการสาธิตนี้ ทีมนักวิจัยได้ให้ GPT-6 Astra แก้ไขน้ำหนักของ Qwen3.5-0.8B เพื่อเพิ่มความสามารถด้านคณิตศาสตร์ โดยมีการเปลี่ยนแปลงน้ำหนักเพียง 0.016% แต่สามารถลดรอบการให้เหตุผลและเพิ่มประสิทธิภาพคณิตศาสตร์ได้ถึงหกเท่าบนเกณฑ์มาตรฐาน MATH-500 และเพิ่มคะแนนการทำตามคำสั่งบน IFEval ประมาณสามเท่า
นักวิจัยเชื่อว่าเทคนิคนี้มีศักยภาพในการปรับปรุงโมเดลโดยหลีกเลี่ยงปัญหา Catastrophic Forgetting ที่อาจเกิดขึ้นเมื่อมีการปรับปรุงความรู้ใหม่ๆ และจะช่วยให้เกิดการประเมินมาตรฐานสำหรับ Weight-Space Programming ในอนาคต
ศัพท์ที่ควรรู้
- Neural network – โครงข่ายประสาทเทียมคือโครงสร้างที่ใช้ในการประมวลผลของ AI ซึ่งประกอบด้วยเซลล์ประสาทที่เชื่อมต่อกัน
- Weights – น้ำหนักคือค่าตัวเลขที่กำหนดระหว่างการเชื่อมต่อของเซลล์ประสาท ซึ่งเป็นตัวกำหนดความแรงของสัญญาณที่ส่งผ่าน
- Frontier LLMs – โมเดลภาษาขนาดใหญ่ระดับแนวหน้าคือ AI ที่มีความก้าวหน้าสูงและมีความสามารถในการเรียนรู้ที่ซับซ้อน
- Catastrophic forgetting – การหลงลืมแบบหายนะคือปรากฏการณ์ที่โมเดล AI ลืมความรู้เก่าอย่างฉับพลันเมื่อถูกสอนข้อมูลใหม่
ที่มา: The Register