บทความเสนอสถาปัตยกรรม Masked Language Model ใหม่ที่แทนที่กลไก Attention ด้วยชุดโมดูลผสมข้อมูลแบบ Autoencoder สามระดับ ได้แก่ ระดับบริเวณใกล้เคียง ระดับลำดับทั้งหมด และระดับข้ามหัว Attention แต่ละโมดูลบีบอัดและสร้างคืนข้อมูลผ่าน bottleneck ที่ความกว้างเป็นไฮเปอร์พารามิเตอร์
สำหรับตำแหน่งที่ถูกปิดบัง (masked) ใช้กระบวนการปรับปรุงแบบซ้ำสองขั้นตอน คือ ขั้นดึง (pulling) ที่ดึงการแทนค่าเข้าสู่ค่าเฉลี่ยถ่วงน้ำหนักของเพื่อนบ้าน และขั้นแก้ไข (correcting) ที่ฉายผลลัพธ์กลับสู่ manifold ที่เรียนรู้ไว้ผ่าน Autoencoder
ทดสอบการฝึกก่อน (pretrain) บนชุดข้อมูล C4 พบว่าสถาปัตยกรรมนี้บรรลุสัดส่วนประสิทธิภาพที่สำคัญของ Attention ในขณะที่ใช้ FLOPs น้อยลงประมาณ 1.9 เท่า เมื่อเทียบกับ BERT และ TinyBERT ที่มีพารามิเตอร์เท่ากัน
โมเดลเทียบเท่า BERT และ TinyBERT ในกลุ่มโทเค็นที่หายากที่สุด (rarest-token frequency bucket) โดยใช้ตารางการฝึกที่คำนึงถึงความถี่ (frequency-aware training schedule) ซึ่งสุ่มโทเค็นหายากบ่อยกว่าการสุ่มแบบสม่ำเสมอ
ประวัติการส่งบทความ
บทความเวอร์ชันแรกถูกส่งขึ้น arXiv เมื่อวันที่ 9 กันยายน 2569 เวลา 14:33 น. UTC โดย Narges Mokhtari
ศัพท์ที่ควรรู้
- Masked Language Modeling (MLM) – เทคนิคการฝึกโมเดลภาษาที่ปิดบังบางคำในประโยคแล้วให้โมเดลทายคำที่หายไป
- Autoencoder – โครงข่ายประสาทที่บีบอัดข้อมูลเข้าสู่ขนาดเล็กกว่า (bottleneck) แล้วค่อยสร้างคืนข้อมูลเดิม
- Attention mechanism – กลไกที่ช่วยให้โมเดลจับความสัมพันธ์ระหว่างคำต่างๆ ในประโยคได้
- FLOPs – หน่วยวัดปริมาณการคำนวณจุดทศนิยม (Floating Point Operations) ใช้เปรียบเทียบความเร็วโมเดล
- Frequency-aware training – วิธีการฝึกที่ปรับความถี่ในการสุ่มตัวอย่าง ให้ตัวอย่างที่หายากโอกาสถูกเลือกมากกว่าปกติ
- Manifold projection – การฉายข้อมูลกลับสู่พื้นผิวข้อมูลที่เรียนรู้ไว้ เพื่อรักษาคุณสมบัติเดิม
ที่มา: arxiv.org