เมื่อไหร่ที่ LLM Agent ควรจะลืม การกรองหน่วยความจำเมื่อเกิดข้อผิดพลาดของ Query-Critical Resolver

ระบบหน่วยความจำของ LLM มักจะลบข้อเท็จจริงที่ถูกจัดว่าเป็นข้อมูลเก่า (stale) แต่การกรองที่เข้มงวดนี้อาจลดความแม่นยำในขั้นตอนต่อไป หากการลบนั้นไปกระทบต่อข้อเท็จจริงที่สำคัญต่อการตอบคำถาม

การแทรกแซงที่ควบคุมได้ในสามโมเดล แสดงให้เห็นว่าการตัดสินใจลบข้อมูลที่ผิดพลาด (false-drop) ทำให้เกิดการสูญเสียความแม่นยำ ในขณะที่การตัดสินใจเก็บข้อมูลที่ผิดพลาด (false-keep) นั้นส่งผลกระทบน้อยกว่า

ในการทดสอบกับชุดข้อมูลที่คงที่ การตั้งค่าเกต (gate) ที่ตรงกับการใช้งานจริงสามารถให้ความแม่นยำ 0.655 เทียบกับ 0.641 สำหรับการลบแบบคงที่ และ 0.662 สำหรับการเลือกโดยออราเคิลที่รับข้อมูลจากการทดสอบ

ผู้เขียนแนะนำว่าการลบข้อมูลควรถูกพิจารณาตามต้นทุน โดยควรตรวจสอบความเสี่ยงของการลบข้อมูลสำคัญต่อการตอบคำถามบนชุดข้อมูลที่ตรงกัน หรือคงไว้โดยไม่ตัดสินใจลบหากไม่สามารถตรวจสอบได้

ศัพท์ที่ควรรู้

  • LLM – คือแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการประมวลผลและสร้างข้อความ
  • Resolver Errors – คือข้อผิดพลาดที่เกิดขึ้นในขั้นตอนการแก้ไขหรือหาคำตอบของระบบ
  • Stale Facts – คือข้อเท็จจริงที่ถูกระบบจัดว่าเป็นข้อมูลเก่าและอาจถูกลบไป
  • False-drop vs False-keep – คือการตัดสินใจผิดพลาดว่าจะลบหรือเก็บข้อมูลไว้ ซึ่งส่งผลต่อผลลัพธ์

ที่มา: arxiv.org

Leave a Comment