OpenAI ได้พัฒนา Sparse Transformer ซึ่งเป็นโครงข่ายประสาทเทียมเชิงลึกที่สร้างสถิติใหม่ในการทำนายองค์ประกอบถัดไปในลำดับข้อมูล ไม่ว่าจะเป็นข้อความ รูปภาพ หรือเสียง
ใน Transformer แบบดั้งเดิม ทุกองค์ประกอบเอาต์พุตจะเชื่อมต่อกับทุกองค์ประกอบอินพุตผ่านกระบวนการที่เรียกว่า Attention ซึ่งการใช้งานหน่วยความจำสำหรับ Attention matrix ใน Transformer นั้นขึ้นอยู่กับจำนวนเลเยอร์ ทำให้การฝึกเครือข่ายมีความลึกมากขึ้นอย่างมาก
สำหรับ Sparse Transformer นั้น มีการนำเสนอ Fixed attention ซึ่งจะให้ความสนใจกับคอลัมน์คงที่และองค์ประกอบหลังจากคอลัมน์ล่าสุด ซึ่งมีประโยชน์เมื่อข้อมูลไม่สามารถจัดอยู่ในโครงสร้างสองมิติได้ เช่น ข้อความ
โมเดลเหล่านี้ได้รับการฝึกฝนโดยใช้ Maximum Likelihood objective ซึ่งช่วยให้ครอบคลุมทุกโหมดของข้อมูล แทนที่จะเพิ่มความเที่ยวด้านในส่วนเล็กๆ ของข้อมูล
เพื่ออำนวยความสะดวกในการทดลองใช้งาน จึงได้มีการนำเสนอ Block-sparse kernels ที่ช่วยให้การดำเนินการเหล่านี้บน GPU เป็นไปอย่างมีประสิทธิภาพ
ที่มา: OpenAI