Memorilla memory system ที่มาจาก Stanford สามารถป้อนข้อมูลให้กับ Qwen3-8B ที่ถูกแช่แข็ง โดยใช้เพียง 16 memory tokens และทำคะแนนได้เหนือกว่าการใช้บริบทเต็มใน FactKG ที่ 84.33% เทียบกับ 80.43%
Memorilla คือโมดูลหน่วยความจำที่เปลี่ยนชุดเอกสารให้เป็น 16 vectors สำหรับ LLM ที่ถูกแช่แข็ง ซึ่งงานนี้มาจากกลุ่ม SNAP ของ Jure Leskovec และมีผู้ร่วมเขียนจาก Toronto, Penn และ MIT
ในขณะที่ LLM ที่ถูกแช่แข็งจะใช้ได้เฉพาะสิ่งที่อยู่ใน context window เท่านั้น และการ Prompt ด้วยบริบทเต็มจะเติบโตช้าลงเมื่อประวัติยาวขึ้น แต่ Memorilla เลือกเส้นทางที่สาม คือการเรียนรู้ว่าคำถามแต่ละข้อต้องการอะไรจากคลังข้อมูลทั้งหมด
มีเพียงโมดูลหน่วยความจำเท่านั้นที่ได้รับการฝึกฝน โดยใช้ 194,123,776 พารามิเตอร์สำหรับ 8B decoder และการฝึกฝนรวมใช้เวลาประมาณ 19 ชั่วโมงบน 4 H100 GPUs
ศัพท์ที่ควรรู้
- Frozen LLM – คือแบบจำลองภาษาขนาดใหญ่ที่ถูกตรึงไว้ ไม่สามารถปรับเปลี่ยนน้ำหนักระหว่างการใช้งานได้
- Memory Module – คือโมดูลหน่วยความจำที่ทำหน้าที่แปลงข้อมูลจำนวนมากให้เป็นรูปแบบที่ LLM เข้าใจได้
- Context Window – คือขีดจำกัดของข้อมูลที่ LLM สามารถรับรู้และประมวลผลได้ในการป้อนครั้งเดียว
- FactKG – คือชุดข้อมูลทดสอบที่ใช้ในการวัดประสิทธิภาพของระบบการเรียกคืนข้อมูล
ที่มา: marktechpost.com