ผู้เขียนได้ทดสอบระบบผู้ช่วยศึกษาที่ทำงานบนเครื่องของตนเอง โดยใช้ GPU ขนาด 16 GB และสามารถตอบคำถามเกี่ยวกับไฟล์ PDF ที่ผู้ใช้ใส่เข้าไป พร้อมทั้งมีการอ้างอิงหน้า ซึ่งเป็นสิ่งที่ต้องการสำหรับการใช้งานส่วนตัว เช่น การอ่านตำราเรียนฟิสิกส์อนุภาค หรือเปเปอร์ในสาขาของตนเอง
ระบบนี้ทำงานโดยไม่มีการอัปโหลดข้อมูลหรือต้องมีการสมัครสมาชิก ทำให้มั่นใจได้ว่าคำตอบที่ได้นั้นมาจากแหล่งข้อมูลที่ระบุอย่างชัดเจน
แต่ผลการวัดที่ได้นั้นน่าสนใจ คือเมื่อทดสอบกับตำราเรียน โมเดลทำคะแนนได้ดีถึง 12-20/20 แต่เมื่อนำเสนอเปเปอร์ที่ตีพิมพ์ในปีปัจจุบัน โมเดลกลับทำคะแนนได้เพียง 0-9/15 ซึ่งเป็นข้อจำกัดที่พบในการใช้โมเดลขนาดเล็กในสภาพแวดล้อมแบบ Local
ศัพท์ที่ควรรู้
- Local LLMs – โมเดลภาษาขนาดเล็กที่ทำงานบนเครื่องคอมพิวเตอร์ของผู้ใช้เองโดยไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอก
- RAG – Retrieval-Augmented Generation เป็นเทคนิคที่ช่วยให้ LLM สามารถดึงข้อมูลจากเอกสารเฉพาะเพื่อใช้ในการตอบคำถาม
- GPU – หน่วยประมวลผลกราฟิกที่ถูกนำมาใช้ในการเร่งการประมวลผลของโมเดล AI
- Page citations – การอ้างอิงถึงหน้าที่เฉพาะเจาะจงในเอกสารต้นฉบับที่โมเดลใช้ในการตอบคำถาม
ที่มา: towardsdatascience.com