BERT

[ลือ] สถาปัตยกรรม Autoencoder แทน Attention ลด FLOPs 1.9 เท่า ใน Masked Language Modeling

by

นักวิจัยเสนอสถาปัตยกรรมใหม่แทน Attention ด้วย Autoencoder ทำให้ประหยัดการคำนวณ 1.9 เท่า แต่ให้ประสิทธิภาพใกล้เคียง BERT

การศึกษากระบวนการตรวจจับข้อความ AI ใน BERT ด้วย RAID

by

วิจัยพบเซลล์ประสาทใน BERT ที่สำคัญต่อการตรวจจับข้อความ AI อยู่ไม่เกิน 1% ของทั้งหมด และสามารถใช้ได้กับโมเดลหลายประเภทโดยไม่ต้องระบุเซลล์ใหม่