แม้ว่าคำอธิบายส่วนใหญ่ที่ทำได้จะยังได้คะแนนไม่สูงนัก แต่ทีมวิจัยเชื่อว่าสามารถใช้เทคนิค ML เพื่อพัฒนาความสามารถในการสร้างคำอธิบายให้ดีขึ้นได้ ตัวอย่างเช่น พวกเขาพบว่าสามารถเพิ่มคะแนนได้ด้วยการให้ GPT-4 สร้างตัวอย่างโต้แย้งและปรับปรุงคำอธิบายตามการกระตุ้นของเซลล์ประสาท หรือการใช้โมเดลที่ใหญ่กว่าในการให้คำอธิบาย
การปรับเปลี่ยนสถาปัตยกรรมของโมเดลที่ถูกอธิบาย หรือการฝึกโมเดลด้วยฟังก์ชันการกระตุ้นที่แตกต่างกัน ก็ช่วยเพิ่มคะแนนคำอธิบายได้เช่นกัน
ล่าสุดได้มีการเปิดเผยชุดข้อมูลและเครื่องมือแสดงภาพสำหรับคำอธิบายของเซลล์ประสาททั้ง 307,200 ตัวใน GPT-2 ที่เขียนโดย GPT-4 พร้อมทั้งโค้ดสำหรับการให้คะแนน โดยหวังว่าชุมชนวิจัยจะนำไปพัฒนาเทคนิคใหม่ๆ สำหรับการสร้างคำอธิบายที่มีคุณภาพสูงขึ้นต่อไป
พวกเขาพบเซลล์ประสาทกว่า 1,000 ตัวที่มีคำอธิบายและได้คะแนนอย่างน้อย 0.8 ซึ่งบ่งชี้ว่า GPT-4 อธิบายพฤติกรรมการกระตุ้นสูงสุดของเซลล์ประสาทนั้นๆ ได้มากที่สุด
ศัพท์ที่ควรรู้
- Language models – โมเดลภาษาคือ AI ที่ถูกฝึกมาเพื่อประมวลผลและสร้างข้อความ
- Neuron – เซลล์ประสาทในบริบทนี้คือหน่วยการประมวลผลพื้นฐานภายในโมเดล AI
- GPT-4 – คือโมเดลภาษาขนาดใหญ่ที่ถูกนำมาใช้เป็นเครื่องมือในการปรับปรุงคำอธิบาย
- Counterexamples – คือตัวอย่างที่ถูกนำมาใช้เพื่อทดสอบและปรับปรุงความถูกต้องของคำอธิบาย
ที่มา: OpenAI