Small Language Models (SLMs) ถูกนำไปใช้บนฮาร์ดแวร์ระดับผู้บริโภคมากขึ้น แต่ความสามารถในการคงข้อมูลในบริบทที่ยาวนานยังไม่เป็นที่เข้าใจอย่างถ่องแท้ เกณฑ์มาตรฐานที่มีอยู่มักเน้นการเรียกคืนข้อมูล ซึ่งให้ข้อมูลจำกัดว่าการเรียกคืนที่ประสบความสำเร็จนั้นสะท้อนถึงการรักษาความจำในบริบทที่ครอบคลุมหรือไม่
เพื่อแก้ไขข้อจำกัดนี้ งานวิจัยนี้ได้นำเสนอ Simple Retrieval-Reconstruction Memory (SRRM) ซึ่งเป็นเกณฑ์มาตรฐานที่เบาและทำซ้ำได้ครบถ้วน เพื่อประเมินการเรียกคืนเป้าหมายและการสร้างข้อมูลใหม่ของข้อมูลร่วมกัน นอกจากนี้ยังเสนอ Memory Preservation Ratio (MPR) ซึ่งเป็นตัวชี้วัดระดับเกณฑ์มาตรฐานที่วัดความสัมพันธ์ระหว่างประสิทธิภาพการเรียกคืนและการสร้างใหม่
SRRM ถูกทดสอบกับชุดข้อมูลสังเคราะห์บนโมเดล Qwen2.5 สามขนาด (0.5B, 1.5B และ 3B พารามิเตอร์) ในช่วงโหลดบริบทตั้งแต่ 10 ถึง 100 ข้อความเชิงข้อเท็จจริง ผลการทดลองแสดงว่าประสิทธิภาพการสร้างใหม่เสื่อมสภาพเร็วกว่าความแม่นยำในการเรียกคืนเมื่อบริบทเพิ่มขึ้น
ในบรรดาโมเดลที่ถูกประเมิน Qwen2.5-1.5B ให้ความแม่นยำในการเรียกคืน (86.7%) ประสิทธิภาพการสร้างใหม่ (45.7%) และ MPR (0.53) สูงสุด ซึ่งเหนือกว่า Qwen2.5-3B ที่มีขนาดใหญ่กว่า (72.2%, 18.5%, และ 0.26 ตามลำดับ) สิ่งนี้แสดงให้เห็นว่าจำนวนพารามิเตอร์ที่เพิ่มขึ้นไม่ได้นำไปสู่การรักษาความจำในบริบทที่ยาวนานที่ดีขึ้นเสมอไป
โดยรวมแล้ว SRRM เป็นเกณฑ์มาตรฐานที่สามารถทำซ้ำและขยายได้สำหรับการประเมินความจำในบริบทที่ยาวนานอย่างเป็นระบบ พร้อมทั้งเผยให้เห็นพฤติกรรมความจำที่เสริมกันซึ่งถูกซ่อนอยู่ภายใต้กรอบการประเมินที่อาศัยเพียงการเรียกคืนข้อมูล
ศัพท์ที่ควรรู้
- Small Language Models (SLMs) – โมเดลภาษาขนาดเล็กที่ถูกนำไปใช้งานบนอุปกรณ์ทั่วไปในปัจจุบัน
- Retrieval-Reconstruction Memory (SRRM) – เกณฑ์มาตรฐานที่ใช้วัดความสามารถของโมเดลในการเรียกคืนและสร้างข้อมูลจากบริบทที่ยาวนาน
- Memory Preservation Ratio (MPR) – ตัวชี้วัดที่ใช้วัดความสัมพันธ์ระหว่างประสิทธิภาพการเรียกคืนและการสร้างข้อมูลใหม่
- Qwen2.5 – โมเดลภาษาที่ถูกนำมาทดสอบในงานวิจัยนี้
ที่มา: arxiv.org