ระบบหน่วยความจำของ LLM มักจะลบข้อเท็จจริงที่ถูกจัดว่าเป็นข้อมูลเก่า (stale) แต่การกรองที่เข้มงวดนี้อาจลดความแม่นยำในขั้นตอนต่อไป หากการลบนั้นไปกระทบต่อข้อเท็จจริงที่สำคัญต่อการตอบคำถาม
การแทรกแซงที่ควบคุมได้ในสามโมเดล แสดงให้เห็นว่าการตัดสินใจลบข้อมูลที่ผิดพลาด (false-drop) ทำให้เกิดการสูญเสียความแม่นยำ ในขณะที่การตัดสินใจเก็บข้อมูลที่ผิดพลาด (false-keep) นั้นส่งผลกระทบน้อยกว่า
ในการทดสอบกับชุดข้อมูลที่คงที่ การตั้งค่าเกต (gate) ที่ตรงกับการใช้งานจริงสามารถให้ความแม่นยำ 0.655 เทียบกับ 0.641 สำหรับการลบแบบคงที่ และ 0.662 สำหรับการเลือกโดยออราเคิลที่รับข้อมูลจากการทดสอบ
ผู้เขียนแนะนำว่าการลบข้อมูลควรถูกพิจารณาตามต้นทุน โดยควรตรวจสอบความเสี่ยงของการลบข้อมูลสำคัญต่อการตอบคำถามบนชุดข้อมูลที่ตรงกัน หรือคงไว้โดยไม่ตัดสินใจลบหากไม่สามารถตรวจสอบได้
ศัพท์ที่ควรรู้
- LLM – คือแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการประมวลผลและสร้างข้อความ
- Resolver Errors – คือข้อผิดพลาดที่เกิดขึ้นในขั้นตอนการแก้ไขหรือหาคำตอบของระบบ
- Stale Facts – คือข้อเท็จจริงที่ถูกระบบจัดว่าเป็นข้อมูลเก่าและอาจถูกลบไป
- False-drop vs False-keep – คือการตัดสินใจผิดพลาดว่าจะลบหรือเก็บข้อมูลไว้ ซึ่งส่งผลต่อผลลัพธ์
ที่มา: arxiv.org