การศึกษาจาก arXiv:2609.30290 เปิดเผยว่าไปป์ไลน์ Text-to-SQL แบบ production มักใช้ LLM-as-judge โดยไม่ได้วัดความสอดคล้องกับผู้แปลงข้อมูลมนุษย์ จนพบว่า gpt-4o-mini ที่ปรับใช้อยู่ ตรงกับมาตรฐานทองคำของผู้เขียนสองคนได้เพียง Cohen’s kappa = 0.04 บนชุดข้อมูลที่เน้นข้อขัดแย้ง และ 0.42 บนการตรวจสุ่มแบบปกติ โดยเกินร้อยละ 77.1 ของกรณีที่มนุษย์ตัดสินว่า FAITHFUL
สาเหตุหลักคือกลไกที่เรียกว่า GRADE-HALLUCINATION การเปลี่ยนมาใช้ Qwen3.6-27B แบบ self-hosted ให้ kappa = 0.72 ใกล้เคียง Claude Opus 4.7 ที่ 0.71 แต่ต้นทุนต่อการเรียกต่ำกว่าประมาณ 1/300 การรวมโมเดลไม่ช่วยฟรี: การจับคู่ judge อ่อนกับ judge แข็งทำให้ความสอดคล้องลดลง ในขณะที่ judge แข็งสามตัวภายใต้กฎ unanimous routing ให้ kappa = 0.79 ที่ครอบคลุมอัตโนมัติ 89.7%
นำสูตรตรวจสอบเดียวกันไปใช้กับโดเมน BIRD-financial แบบ out-of-domain พบว่าสามารถจับปัญหาที่เป็นไปได้ใน gold SQL ที่ผู้เชี่ยวชาญเขียนได้ 25.5% ภายใต้โปรโตคอลการแปลงข้อมูลเดียวกัน โค้ดและการลงทะเบียนล่วงหน้าประกาศเผยแพร่พร้อมกัน
ประวัติการส่งบทความ
ส่งครั้งแรกเมื่อ 9 กันยายน 2569 เวลา 20:17 น. UTC โดย Haowei Liu ขนาดไฟล์ 111 KB
ศัพท์ที่ควรรู้
- LLM-as-Judge – วิธีใช้โมเดลภาษาขนาดใหญ่เป็นผู้ตัดสินคุณภาพผลลัพธ์แทนมนุษย์
- Text-to-SQL – เทคนิคแปลงคำถามภาษาธรรมชาติเป็นคำสั่ง SQL สำหรับฐานข้อมูล
- Cohen’s kappa – ตัวเลขสถิติวัดความเห็นพร้อมกันระหว่างผู้ตัดสินสองฝ่าย โดยคำนึงถึงโอกาสสุ่ม
- GRADE-HALLUCINATION – กลไกข้อผิดพลาดที่ judge สร้างเหตุผลปลอมเพื่อให้คะแนนผิดพลาด
- BIRD-financial – ชุดข้อมูลมาตรฐานสำหรับทดสอบ Text-to-SQL ในโดเมนการเงิน
- Qwen3.6-27B – โมเดลภาษาขนาด 27 พารามิเตอร์ของ Alibaba ที่รันบนเซิร์ฟเวอร์ตัวเองได้
ที่มา: arxiv.org