นักวิจัยจาก MIT CSAIL รายงานว่า GPT-6 Astra สามารถอ่านและแก้ไขน้ำหนักดิบของโครงข่ายประสาทเทียมได้ ซึ่งเป็นสิ่งที่แตกต่างจากการปรับปรุงแบบดั้งเดิมที่ใช้ตัวปรับค่าเชิงสัญลักษณ์ขนาดเล็ก
ในการทดสอบกับ Gemma 3 270M พบว่า Astra ไม่สามารถปรับปรุงโมเดลได้มากนัก เนื่องจากข้อผิดพลาดของ Gemma นั้นเป็นเรื่องของเลขคณิตและพีชคณิตพื้นฐาน
ผู้เขียนได้เปิดเผยบันทึกทั้งหมดบน GitHub และเสนอเกณฑ์มาตรฐานใหม่ เพื่อเปลี่ยนสิ่งที่ดูเหมือนเป็น ‘เวทมนตร์ดำ’ ให้เป็นวินัยทางวิศวกรรมที่ทำซ้ำได้
ในส่วนของ Agent นั้น งานนี้เพิ่มน้ำหนักเข้าไปในสิ่งที่โมเดลสามารถอ่านและเปลี่ยนแปลงได้ และยังชี้ให้เห็นถึงความสามารถในการตีความโมเดลด้วยเช่นกัน
ในส่วนของ Q3 พบว่า Astra สามารถเขียนเครือข่ายเกม MinAtar เป็นข้อความในคำตอบเดียว ซึ่งเอาชนะเครือข่ายที่ฝึกด้วย PPO ในเกม Breakout, Seaquest และ Asterix รวมถึงเครือข่าย Go ที่มีน้ำหนัก 1.48 ล้านตัว
ศัพท์ที่ควรรู้
- Neural Network – โครงข่ายประสาทเทียมคือแบบจำลองทางคณิตศาสตร์ที่เลียนแบบการทำงานของสมอง ซึ่งใช้ในการประมวลผลข้อมูลของ AI
- Weights – น้ำหนักคือค่าตัวเลขภายในโมเดลที่กำหนดความแข็งแกร่งของสัญญาณระหว่างโหนดต่างๆ ในโครงข่ายประสาทเทียม
- GPT-6 Astra – คือโมเดลภาษาขนาดใหญ่ที่ถูกนำมาทดสอบในงานวิจัยนี้ ซึ่งแสดงความสามารถในการจัดการกับโครงข่ายประสาทเทียม
- Inductive Biases – คือสมมติฐานหรือข้อสันนิษฐานพื้นฐานที่ถูกฝังอยู่ในโมเดลตั้งแต่เริ่มต้น ซึ่งช่วยให้โมเดลเรียนรู้ได้เร็วขึ้น
ที่มา: cellcog.ai