เมื่อถูกถามถึงหัวข้อวิทยานิพนธ์ของ Adam Tauman Kalai โมเดลแชทบอทที่ใช้งานกันอย่างแพร่หลายได้ให้คำตอบที่แตกต่างกันถึงสามครั้ง แต่ไม่มีคำตอบใดถูกต้องเลย
ตาม Model Spec ของเรา การแสดงความไม่แน่นอนหรือขอให้ชี้แจงนั้นดีกว่าการให้ข้อมูลที่มั่นใจแต่ผิดพลาด ตัวอย่าง SimpleQA แสดงให้เห็นว่าโมเดลเก่าอย่าง o4-mini มีอัตราการปฏิเสธคำตอบ (Abstention rate) สูงถึง 52% ขณะที่อัตราความถูกต้องอยู่ที่ 22%
ในแง่ของความถูกต้อง โมเดลเก่าทำงานได้ดีกว่าเล็กน้อย แต่การคาดเดาเมื่อไม่แน่นอนจะช่วยเพิ่มความแม่นยำ แต่ก็เพิ่มข้อผิดพลาดและอาการ Hallucination ด้วย
อาการ Hallucination เกิดจากการที่โมเดลเห็นแต่ตัวอย่างภาษาที่ไหลลื่นและต้องประมาณการการกระจายตัวโดยรวม ซึ่งทำให้ยากที่จะแยกแยะระหว่างข้อความที่ถูกต้องและไม่ถูกต้องเมื่อไม่มีตัวอย่างที่ระบุว่าเป็นสิ่งที่ไม่ถูกต้อง
ที่มา: OpenAI