LLM ท้องถิ่นทำได้ดีกับตำราเรียน แต่มีปัญหาเมื่อเจอเปเปอร์วิจัยใหม่

ผู้เขียนได้ทดสอบระบบผู้ช่วยศึกษาที่ทำงานบนเครื่องของตนเอง โดยใช้ GPU ขนาด 16 GB และสามารถตอบคำถามเกี่ยวกับไฟล์ PDF ที่ผู้ใช้ใส่เข้าไป พร้อมทั้งมีการอ้างอิงหน้า ซึ่งเป็นสิ่งที่ต้องการสำหรับการใช้งานส่วนตัว เช่น การอ่านตำราเรียนฟิสิกส์อนุภาค หรือเปเปอร์ในสาขาของตนเอง

ระบบนี้ทำงานโดยไม่มีการอัปโหลดข้อมูลหรือต้องมีการสมัครสมาชิก ทำให้มั่นใจได้ว่าคำตอบที่ได้นั้นมาจากแหล่งข้อมูลที่ระบุอย่างชัดเจน

แต่ผลการวัดที่ได้นั้นน่าสนใจ คือเมื่อทดสอบกับตำราเรียน โมเดลทำคะแนนได้ดีถึง 12-20/20 แต่เมื่อนำเสนอเปเปอร์ที่ตีพิมพ์ในปีปัจจุบัน โมเดลกลับทำคะแนนได้เพียง 0-9/15 ซึ่งเป็นข้อจำกัดที่พบในการใช้โมเดลขนาดเล็กในสภาพแวดล้อมแบบ Local

ศัพท์ที่ควรรู้

  • Local LLMs – โมเดลภาษาขนาดเล็กที่ทำงานบนเครื่องคอมพิวเตอร์ของผู้ใช้เองโดยไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอก
  • RAG – Retrieval-Augmented Generation เป็นเทคนิคที่ช่วยให้ LLM สามารถดึงข้อมูลจากเอกสารเฉพาะเพื่อใช้ในการตอบคำถาม
  • GPU – หน่วยประมวลผลกราฟิกที่ถูกนำมาใช้ในการเร่งการประมวลผลของโมเดล AI
  • Page citations – การอ้างอิงถึงหน้าที่เฉพาะเจาะจงในเอกสารต้นฉบับที่โมเดลใช้ในการตอบคำถาม

ที่มา: towardsdatascience.com

Leave a Comment