AI‑generated text detectors มีความแม่นยำสูงบน benchmark แต่การทำงานภายในยังไม่ชัดเจน งานวิจัยนี้ตรวจสอบเซลล์ประสาทใน frozen BERT‑base‑uncased encoder โดยใช้ RAID benchmark กับ 6 โมเดล (base และ instruction‑tuned) ใช้ L1‑to‑L2 sparse‑probing protocol ของ Gurnee et al. (2023) บน 9,216 CLS hidden‑state dimensions (12 layers × 768) พบเซลล์ประสาทที่สม่ำเสมอ <1% ต่อโมเดล ซึ่งเมื่อใช้ probe เฉพาะเซลล์นี้ยังคงความแม่นยำสูงเกือบเต็มที่
การ patching การกระตุ้นแบบ bidirectional ยืนยันความสำคัญเชิงสาเหตุ เซลล์นี้ทำให้ผลการทำนายเปลี่ยนแปลงมากกว่าชุดสุ่มขนาดเท่า ๆ กันหนึ่งลำดับความสำคัญ การ mean‑ablating เซลล์เดียวกันทำให้ความแม่นยำยังคงอยู่ แสดงว่าข้อมูลสัญญาณกระจายอย่างซ้ำซ้อน การวิเคราะห์ cross‑generator แสดงโครงสร้าง bipartite: instruction‑tuned generators มี 30‑36% ของเซลล์ประสาทในชั้นสุดท้ายของ BERT ในขณะที่ base generators ต่ำกว่า 14% สอดคล้องกับลักษณะ layer‑12 หลังการฝึกสอน
การประเมิน leave‑one‑family‑out แสดงว่าเซลล์ที่เลือกยังคง 86‑94% ของความแม่นยำเต็มรูปแบบบน families ที่ไม่เคยเห็นมาก่อน ทำให้ detector สามารถทำงานบน subspace เล็ก ๆ ได้โดยไม่ต้องระบุเซลล์ใหม่ต่อโมเดลแต่ละตัว งานได้รับการยอมรับใน EMNLP 2026 (Main Conference) หัวข้อ: Computation and Language (cs.CL) และ Artificial Intelligence (cs.AI)
Submission history
เอกสารส่งครั้งแรกเมื่อ 8 กันยายน 2026 เวลา 17:52 UTC โดย Paweł Blicharz
ศัพท์ที่ควรรู้
- BERT – โมเดลภาษาแบบ transformer ที่ใช้ฝึกล่วงหน้าบนชุดข้อมูลใหญ่
- RAID – benchmark สำหรับทดสอบการตรวจจับข้อความที่สร้างโดย AI
- L1‑to‑L2 sparse‑probing protocol – วิธีการค้นหาเซลล์ประสาทที่สำคัญโดยใช้การกรองแบบ sparse
- CLS hidden‑state dimensions – มิติของสถานะซ่อนในชั้น CLS ของ BERT (12 ชั้น × 768 มิติ)
- activation patching – การแก้ไขค่าการกระตุ้นของเซลล์ประสาทเพื่อทดสอบผลกระทบต่อผลลัพธ์
ที่มา: arxiv.org