วิจัยชี้ LLM ตอบข้อมูลภูมิอากาศผิดเมื่อผู้ใช้ถามเชิงยืนยัน

ที่ผ่านมามีงานวิจัยจำนวนมากศึกษาว่าผู้คนเข้าถึงข้อมูลวิทยาศาสตร์ภูมิอากาศอย่างไร ไม่ว่าจะเป็นผลการค้นหาอันดับต้น ๆ ของ Google สื่อสังคมออนไลน์ หรือข่าวจากหนังสือพิมพ์และโทรทัศน์ เมื่อ LLM กลายเป็นส่วนหนึ่งของอาหารข้อมูลของสาธารณะ จึงเป็นเรื่องที่ควรตรวจดูว่าโมเดลเหล่านี้จัดการกับเรื่องการเปลี่ยนแปลงสภาพภูมิอากาศอย่างไร

แต่ปัญหาคือนักวิจัยไม่มีวิธีตรงในการดูข้อมูลที่ผู้ใช้แต่ละคนได้รับ เพราะคำตอบถูกส่งแบบชั่วคราวเฉพาะบุคคล และจำกัดอยู่เพียงในเซสชันแชตนั้น

งานวิจัยที่นำโดย University College London และ UNESCO จึงทดสอบ LLM ด้วยพรอมป์หลายรูปแบบแล้วประเมินผลลัพธ์ โดยเริ่มจาก benchmark คำถามข้อเท็จจริงง่าย ๆ ซึ่งอาจอยู่ในข้อมูลฝึกของโมเดลอยู่แล้ว และวิเคราะห์การโต้ตอบที่ซับซ้อนขึ้น รวมถึงกรณีที่ผู้ใช้คิดว่าตนถูกแล้วโต้กลับคำตอบของโมเดล

คำถาม-คำตอบเรื่อง CO2

งานวิจัยลักษณะนี้มักถูกวิจารณ์ว่าเลือกทดสอบโมเดลใดโมเดลหนึ่งโดยไม่ยอมรับว่าโมเดลอื่นอาจเก่งกว่า การศึกษาครั้งนี้จึงใช้ถึง 33 โมเดล ครอบคลุมทั้งโมเดล frontier และโมเดล open-weight หลายเวอร์ชัน

โมเดล frontier หลักที่ใช้ ได้แก่ Claude Fable 5, Claude Opus 5, Gemini 3.1 Pro Preview, Gemini 3.6 Flash และ GPT-5.6 Sol โดยรายชื่อทั้งหมดอยู่ในรายงานฉบับเต็ม

ศัพท์ที่ควรรู้

  • LLM – โมเดลภาษาขนาดใหญ่ที่ฝึกจากข้อความจำนวนมหาศาลเพื่อตอบคำถามและสนทนาได้เหมือนมนุษย์
  • Prompt – ข้อความหรือคำสั่งที่ผู้ใช้ป้อนให้โมเดล เพื่อกำหนดสิ่งที่ต้องการให้ตอบ
  • Benchmark – ชุดคำถามหรือแบบทดสอบมาตรฐานที่ใช้เปรียบเทียบความสามารถของโมเดลแต่ละตัว
  • Frontier model – โมเดลรุ่นล่าสุดที่ทรงพลังที่สุดของแต่ละค่าย
  • Open-weight model – โมเดลที่เปิดเผยค่าน้ำหนักให้สาธารณะดาวน์โหลดไปใช้งานหรือปรับแต่งได้

ที่มา: Ars Technica

Leave a Comment