Neural network เป็นระบบที่ขับเคลื่อน AI ที่มีความสามารถสูงในปัจจุบัน แต่การทำความเข้าใจการทำงานของมันยังคงเป็นเรื่องยาก
เรามองการตีความอย่างไร
การตีความช่วยให้สามารถกำกับดูแลและตรวจจับสัญญาณเตือนล่วงหน้าของพฤติกรรมที่ไม่ปลอดภัยหรือการทำงานที่ผิดพลาดได้ เรามองว่างานของเราเป็นส่วนเสริมสำหรับการวิเคราะห์ภายหลังของเครือข่ายที่มีความหนาแน่นสูง
แนวทางใหม่: การเรียนรู้โมเดลแบบ Sparse
เซลล์ประสาทส่วนใหญ่ดูเหมือนจะทำงานหลายอย่าง ซึ่งทำให้ยากต่อการทำความเข้าใจ แต่หากเราฝึกเครือข่ายประสาทที่แยกส่วนและมีเซลล์ประสาทจำนวนมาก แต่แต่ละเซลล์ประสาทมีการเชื่อมต่อเพียงไม่กี่สิบ การปรับเปลี่ยนเล็กน้อยคือการบังคับให้ค่าน้ำหนักส่วนใหญ่ของโมเดลเป็นศูนย์
การประเมินการตีความ
วงจรนี้ใช้เพียงห้าช่องทางคงเหลือ (residual channels) และเซลล์ประสาท MLP สองตัวในเลเยอร์ 0 โมเดลสามารถเข้ารหัสเครื่องหมายคำพูดและใช้การดำเนินการ Attention เพื่อค้นหาคำพูดก่อนหน้าและทำนายคำปิดที่ถูกต้อง
ที่มา: OpenAI