กระบวนการฝึกแบบดั้งเดิมที่ต้องใช้การปรับค่าทางคณิตศาสตร์ทีละขั้นตอนไม่จำเป็นอีกต่อไป แทนที่จะต้องฝึกโมเดล AI ใหม่ทั้งหมด โมเดลภาษาทำหน้าที่เหมือนช่างเครื่องที่ปรับปุ่มควบคุมแต่ละตัวของโมเดล
Astra สามารถระบุรูปแบบของโมเดลต่างๆ ได้จากการสังเกตตัวเลขดิบของโมเดล และยังสามารถสร้างน้ำหนักสำหรับโมเดลที่ใช้เล่นเกมคอมพิวเตอร์ได้โดยอ้างอิงจากกฎและซอร์สโค้ดเท่านั้น
ในการทดลองนี้ Astra สามารถแก้ไขปัญหาการวนซ้ำของโมเดลที่พบใน Qwen ได้ โดยลดการตอบสนองที่ถึงขีดจำกัดของข้อความลงจาก 93% เหลือเพียงหนึ่งในสาม แม้ว่าทักษะใหม่ที่โมเดลขาดไปจะไม่สามารถเพิ่มได้ด้วยการเขียนทับน้ำหนักแต่ละตัวก็ตาม
ผู้วิจัยมองว่าศักยภาพของแนวทางนี้อยู่ที่การตรวจสอบความปลอดภัยโดยตรงบนน้ำหนักโมเดล หรือการเปลี่ยนแปลงพฤติกรรมเป้าหมายโดยไม่ต้องฝึกใหม่ซึ่งมีค่าใช้จ่ายสูง
ศัพท์ที่ควรรู้
- Weight-Space Programming – เป็นวิธีการที่โมเดลภาษาปรับแต่งโมเดล AI โดยการปรับค่าตัวเลขภายในโมเดลโดยตรง
- Astra – คือโมเดลภาษาที่ถูกนำมาใช้ในการทดลองนี้ ซึ่งมีความสามารถในการวิเคราะห์และปรับแต่งโมเดลอื่น
- Qwen – คือโมเดล AI ที่ถูกนำมาทดสอบและพบปัญหาการวนซ้ำของข้อความ
ที่มา: The Decoder