GPT ขนาดเล็กที่ถูกทดสอบสามารถจดจำข้อเท็จจริงทุกอย่างที่ป้อนให้ แต่กลับไม่สามารถตอบคำถามใดๆ ที่ต้องใช้ข้อเท็จจริงสองอย่างประกอบกันได้
เมื่อทดสอบโดยใช้การแก้ไขจากเปเปอร์ล่าสุด พบว่ามันช่วยได้เพียงครึ่งเดียวเท่านั้น หากสั่งให้โมเดลตอบคำถามที่ต้องใช้การอนุมานสองขั้นตอน เช่น “ใครคือคู่สมรสของผู้แสดงเพลง Imagine?” โมเดลจะทำได้ดีหากสามารถแสดงวิธีคิดออกมาได้
Balesni, Korbak และ Evans ได้ทำการทดสอบโดยการปรับจูนโมเดลด้วยข้อเท็จจริงที่ถูกสร้างขึ้นเอง เพื่อให้คำตอบไม่มาจากทางลัดที่จำมาครึ่งๆ กลางๆ
เมื่อข้อเท็จจริงทั้งสองปรากฏในเอกสารเดียวกัน โมเดลสามารถเชื่อมโยงได้ แต่หากเรียนรู้จากเอกสารที่แยกกัน ความแม่นยำจะตกลงสู่ระดับการคาดเดา ซึ่งพวกเขาเรียกว่า Two-Hop Curse
ที่มา: towardsdatascience.com
ศัพท์ที่ควรรู้
- GPT – คือแบบจำลองภาษาขนาดใหญ่ที่ถูกทดสอบในงานวิจัยนี้ Fine-tune – คือการปรับจูนโมเดลให้เรียนรู้จากข้อมูลเฉพาะที่ต้องการ Two-Hop Curse – คือปรากฏการณ์ที่โมเดลไม่สามารถเชื่อมโยงข้อมูลสองส่วนที่เรียนรู้แยกกันได้