ตรวจสอบเครื่องตรวจจับอาการหลอนใน LLM ขนาดเล็กบนอุปกรณ์จริง

การตรวจจับอาการหลอนใน Large Language Models (LLM) ส่วนใหญ่มักถูกประเมินจากโมเดลวิจัยขนาด 7B-70B ที่มีงบประมาณการสุ่มตัวอย่างและป้ายกำกับความถูกต้องแบบตรงกันหรือ ROUGE เท่านั้น แต่โมเดลขนาดเล็กที่ผู้ใช้งานจริงนำไปใช้บนอุปกรณ์ เช่น Phi-3-mini, Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct และ Gemma-2-2B-Instruct ซึ่งมักใช้ความแม่นยำ 4-bit นั้นอยู่นอกฐานข้อมูลหลักนี้

เรานำเสนอการตรวจสอบด้วยหนึ่ง GPU สำหรับเครื่องตรวจจับสี่ชนิด ครอบคลุมสามกระบวนทัศน์ คือ การปรับเทียบระยะขอบโทเค็นตามขนาด, การใช้ n-gram ทางคำศัพท์เป็นพื้นฐาน, และสองวิธีที่ใช้การสุ่มตัวอย่าง (Semantic Entropy และ SelfCheckGPT-NLI) บนโมเดลสองโมเดลขนาดเล็ก (Llama-3.2-3B-Instruct และ Qwen2.5-3B-Instruct) ที่โหลดด้วยการควอนไทซ์ 4-bit NF4 บน Colab T4 GPU โดยทดสอบกับ TriviaQA

การถ่ายโอนการจัดอันดับข้ามโมเดลนั้นทำได้ไม่ดี โดยค่า Spearman rho คือ -0.80 และ Kendall tau-b คือ -0.667 ซึ่งหมายความว่าการจัดอันดับของเครื่องตรวจจับนั้นกลับกันระหว่างสองโมเดล และเครื่องตรวจจับพื้นฐานทางคำศัพท์นั้นไม่แตกต่างจากเครื่องตรวจจับที่ใช้การสุ่มตัวอย่างในทางสถิติภายใต้ช่วงความเชื่อมั่น 95 เปอร์เซ็นต์

ในฐานะที่เป็นการมีส่วนร่วมเชิงระเบียบวิธี เราแสดงให้เห็นว่าตัวติดฉลากมาตรฐานสำหรับ TruthfulQA-Generation ให้ค่า AUROC ใกล้เคียงการคาดเดา (0.46-0.59) สำหรับทั้งสี่ตัวตรวจจับบนทั้งสองโมเดล ซึ่งเป็นความล้มเหลวของตัวติดฉลาก ไม่ใช่ตัวตรวจจับ เนื่องจากตัวตรวจจับเดียวกันนั้นให้ค่า AUROC 0.69-0.89 บน TriviaQA ภายใต้ไปป์ไลน์เดียวกัน

ศัพท์ที่ควรรู้

  • Hallucination – อาการหลอนคือการที่ LLM สร้างข้อมูลที่ไม่ถูกต้องหรือไม่มีอยู่จริง
  • Quantized – การลดความแม่นยำของโมเดล เช่น การลดเหลือ 4-bit เพื่อให้รันบนอุปกรณ์ที่มีทรัพยากรจำกัด
  • AUROC – Area Under the Receiver Operating Characteristic curve คือค่าที่ใช้วัดประสิทธิภาพของตัวตรวจจับ
  • Spearman rho และ Kendall tau-b – คือค่าทางสถิติที่ใช้วัดความสัมพันธ์ระหว่างการจัดอันดับของเครื่องตรวจจับ

ที่มา: arxiv.org

Leave a Comment