การประเมิน LLMs ในปัจจุบันมักรายงานผลในระดับชุดข้อมูลหรือระดับงาน ซึ่งบอกได้เพียงว่าโมเดลทำได้ถึงระดับใด แต่ไม่ได้ให้ข้อมูลเชิงลึกเกี่ยวกับกระบวนการภายในที่นำไปสู่ผลลัพธ์นั้น
เราเสนอเฟรมเวิร์กที่เน้นงานเพื่ออธิบายกระบวนการภายในที่ถูกกระตุ้นโดย benchmark โดยผสมผสานสัญญาณจาก attention, activation และการวัดจาก representation
การทดสอบของเราครอบคลุม 16 LLMs บน 24 benchmarks และทำการวิเคราะห์สถานะภายในของโมเดลตัวแทน พบความแตกต่างที่เป็นระบบในการประมวลผลระหว่างงานที่เน้นความรู้และงานที่เน้นการให้เหตุผล
เราเปลี่ยนการประเมินจากการถามว่าโมเดลได้คะแนนเท่าไหร่ ไปสู่การอธิบายรูปแบบการประมวลผลที่สัมพันธ์กับคะแนนนั้น ซึ่งอาจสนับสนุนการเลือก benchmark และการตัดสินใจเลือกโมเดลที่ตรงจุดมากขึ้น
โค้ดของงานวิจัยนี้ได้ถูกเปิดเผยโค้ดซอร์สแล้ว
Submission history
งานวิจัยนี้ถูกส่งเข้ามาโดย Yang Wang เมื่อวันที่ 12 พฤศจิกายน 2026 เวลา 19:39:00 UTC
ศัพท์ที่ควรรู้
- LLMs – โมเดลภาษาขนาดใหญ่ (Large Language Models) คือ AI ที่ใช้ในการประมวลผลภาษาธรรมชาติ
- Attention-based signals – สัญญาณที่อิงจากกลไกความสนใจ (Attention) ใช้บ่งชี้ว่าส่วนใดของข้อมูลที่โมเดลให้ความสำคัญ
- Activation-based signals – สัญญาณที่อิงจากการกระตุ้น (Activation) บ่งบอกถึงการทำงานของเซลล์ประสาทภายในโมเดล
- Representation-based measures – การวัดที่อิงจากตัวแทน (Representation) คือการวัดรูปแบบข้อมูลที่โมเดลได้เข้ารหัสไว้
ที่มา: arxiv.org