[ลือ] สถาปัตยกรรม Autoencoder แทน Attention ลด FLOPs 1.9 เท่า ใน Masked Language Modeling
นักวิจัยเสนอสถาปัตยกรรมใหม่แทน Attention ด้วย Autoencoder ทำให้ประหยัดการคำนวณ 1.9 เท่า แต่ให้ประสิทธิภาพใกล้เคียง BERT
MLM
นักวิจัยเสนอสถาปัตยกรรมใหม่แทน Attention ด้วย Autoencoder ทำให้ประหยัดการคำนวณ 1.9 เท่า แต่ให้ประสิทธิภาพใกล้เคียง BERT