การค้นพบสาเหตุ (Causal discovery) ซึ่งคือความสามารถในการแยกแยะปัจจัยขับเคลื่อนที่แท้จริงของระบบนั้น เป็นพื้นฐานสำคัญของการวิจัยทางวิทยาศาสตร์ แต่ LLMs ถูกนำมาใช้เป็นทางเลือกในการอนุมานเชิงสาเหตุ แม้จะมีภาษาที่คล่องแคล่ว แต่ LLMs มักอาศัยการจดจำรูปแบบผิวเผินมากกว่าตรรกะเชิงสาเหตุที่แท้จริง
ในงานวิจัยนี้ ผู้นำเสนอเฟรมเวิร์กการทดสอบอย่างเป็นระบบใน 6 มิติ ได้แก่ ขนาดโมเดล ความซับซ้อนของกราฟเชิงสาเหตุ กลยุทธ์การแจ้ง (prompting strategy) คุณภาพของ Metadata คุณภาพข้อมูล และความไวต่อความไม่แน่นอน
ผลการศึกษาพบ “อคติมองโลกในแง่ดี” อย่างมีนัยสำคัญใน LLMs โดยโมเดลมีแนวโน้มที่จะประเมินความเชื่อมโยงเชิงสาเหตุสูงเกินไป ทำให้ความแม่นยำต่ำในทุกด้าน
นอกจากนี้ การวัดผลแบบดั้งเดิมอาจทำให้เกิดภาพลวงตา เพราะคะแนนสูงสุดมักเกิดขึ้นเมื่อมีการละเลยความไม่แน่นอนในการอนุมาน แต่เมื่อรวมความไม่แน่นอนเข้าไป ประสิทธิภาพที่แท้จริงของความน่าเชื่อถือเชิงสาเหตุจะปรากฏชัดเจน
แม้ว่าการเพิ่มขนาดโมเดลจะช่วยให้ผลลัพธ์ดีขึ้น แต่ก็พบว่าการปรับปรุงเหล่านี้เปราะบาง และประสิทธิภาพจะเสื่อมถอยอย่างรวดเร็วเมื่อคุณภาพของ Metadata ลดลง
ศัพท์ที่ควรรู้
- Causal Inference – การอนุมานเชิงสาเหตุคือการพยายามทำความเข้าใจว่าเหตุการณ์หนึ่งส่งผลกระทบต่ออีกเหตุการณ์หนึ่งอย่างไร
- LLMs – คือแบบจำลองภาษาขนาดใหญ่ที่สามารถประมวลผลและสร้างข้อความที่ซับซ้อนได้
- Causal Discovery – คือกระบวนการค้นหาว่าปัจจัยใดบ้างที่เป็นต้นตอหรือตัวขับเคลื่อนที่แท้จริงของระบบ
- Prompting Strategy – คือวิธีการหรือรูปแบบการป้อนคำสั่ง (prompt) เข้าไปในโมเดลเพื่อให้ได้ผลลัพธ์ที่ต้องการ
- Metadata – คือข้อมูลเกี่ยวกับข้อมูล ซึ่งช่วยให้โมเดลเข้าใจบริบทและคุณภาพของข้อมูลที่กำลังประมวลผล
ที่มา: arxiv.org