การศึกษาการติดตามความรู้และการให้เหตุผลใน LLM

การประเมิน LLMs ในปัจจุบันมักรายงานผลในระดับชุดข้อมูลหรือระดับงาน ซึ่งบอกได้เพียงว่าโมเดลทำได้ถึงระดับใด แต่ไม่ได้ให้ข้อมูลเชิงลึกเกี่ยวกับกระบวนการภายในที่นำไปสู่ผลลัพธ์นั้น

เราเสนอเฟรมเวิร์กที่เน้นงานเพื่ออธิบายกระบวนการภายในที่ถูกกระตุ้นโดย benchmark โดยผสมผสานสัญญาณจาก attention, activation และการวัดจาก representation

การทดสอบของเราครอบคลุม 16 LLMs บน 24 benchmarks และทำการวิเคราะห์สถานะภายในของโมเดลตัวแทน พบความแตกต่างที่เป็นระบบในการประมวลผลระหว่างงานที่เน้นความรู้และงานที่เน้นการให้เหตุผล

เราเปลี่ยนการประเมินจากการถามว่าโมเดลได้คะแนนเท่าไหร่ ไปสู่การอธิบายรูปแบบการประมวลผลที่สัมพันธ์กับคะแนนนั้น ซึ่งอาจสนับสนุนการเลือก benchmark และการตัดสินใจเลือกโมเดลที่ตรงจุดมากขึ้น

โค้ดของงานวิจัยนี้ได้ถูกเปิดเผยโค้ดซอร์สแล้ว

Submission history

งานวิจัยนี้ถูกส่งเข้ามาโดย Yang Wang เมื่อวันที่ 12 พฤศจิกายน 2026 เวลา 19:39:00 UTC

ศัพท์ที่ควรรู้

  • LLMs – โมเดลภาษาขนาดใหญ่ (Large Language Models) คือ AI ที่ใช้ในการประมวลผลภาษาธรรมชาติ
  • Attention-based signals – สัญญาณที่อิงจากกลไกความสนใจ (Attention) ใช้บ่งชี้ว่าส่วนใดของข้อมูลที่โมเดลให้ความสำคัญ
  • Activation-based signals – สัญญาณที่อิงจากการกระตุ้น (Activation) บ่งบอกถึงการทำงานของเซลล์ประสาทภายในโมเดล
  • Representation-based measures – การวัดที่อิงจากตัวแทน (Representation) คือการวัดรูปแบบข้อมูลที่โมเดลได้เข้ารหัสไว้

ที่มา: arxiv.org

Leave a Comment