ในการทดสอบเกี่ยวกับเกมโชว์ Monty Hall ซึ่งมีประตู 3 บาน โดยมีรถอยู่หลังประตูหนึ่ง และแพะอยู่หลังอีกสองประตู ผู้เข้าร่วมเลือกประตูที่ 1 และพิธีกรซึ่งทราบตำแหน่งรถ ได้เปิดประตูที่ 3 และเผยให้เห็นแพะ ก่อนจะถามว่าต้องการเปลี่ยนไปประตูที่ 2 หรือไม่
แม้จะมีการให้เหตุผลแบบทีละขั้นตอน แต่โมเดล AI ทั้งหมดก็ให้คำตอบที่ใกล้เคียงกับความแม่นยำ 33% โดยหนึ่งในโมเดลได้อ้างถึงกฎของพิธีกรอย่างถูกต้องก่อนที่จะไม่นำมาใช้ในการตัดสินใจครั้งสุดท้าย
ศัพท์ที่ควรรู้
- Monty Hall Problem – เป็นเกมโชว์คลาสสิกที่มี 3 ประตูและต้องตัดสินใจว่าจะเปลี่ยนประตูที่เลือกหรือไม่
- LLMs – คือแบบจำลองภาษาขนาดใหญ่ (Large Language Models) ที่ถูกนำมาทดสอบในสถานการณ์นี้
- Host’s Rule – คือกฎที่พิธีกรใช้ในการเปิดประตูและให้ข้อมูลเพิ่มเติมแก่ผู้เล่น
ที่มา: towardsdatascience.com