Large language models (LLMs) กำลังถูกนำมาใช้ในงานด้านวิศวกรรมนิวเคลียร์ที่ต้องใช้ความรู้สูงและมีความสำคัญต่อความปลอดภัย แต่เกณฑ์มาตรฐานที่มีอยู่เดิมมักมีเนื้อหาจำกัด หรือเน้นเพียงความถูกต้องของคำตอบโดยไม่ได้ประเมินคุณภาพของการให้เหตุผลอย่างเป็นระบบ
งานวิจัยนี้จึงนำเสนอ NEBench R1 ซึ่งเป็นเกณฑ์มาตรฐานที่เน้นการให้เหตุผล ประกอบด้วยคำถามปรนัยที่ไม่ซ้ำกัน 7,546 ข้อ ที่มาจากข้อสอบใบอนุญาตของ U.S. Nuclear Regulatory Commission (NRC) ครอบคลุม 18 สถานที่ติดตั้งโรงไฟฟ้านิวเคลียร์
มีการประเมิน LLMs จำนวน 6 รุ่น โดยมีความแม่นยำโดยรวมอยู่ระหว่าง 34.0% ถึง 73.9% ซึ่งแบ่งเป็น 3 ระดับประสิทธิภาพที่แตกต่างกัน
การประเมินคุณภาพการให้เหตุผลโดย LLM Judge พบว่า แม้ว่าการตอบจะแสดงความเข้าใจในปัญหาได้ดี แต่กลับได้คะแนนต่ำในด้านความถูกต้องของข้อเท็จจริงและขั้นตอน รวมถึงการวิเคราะห์ตัวลวง ซึ่งบ่งชี้ว่าคำตอบที่ถูกต้องไม่ได้ถูกสนับสนุนด้วยคำอธิบายทางเทคนิคที่หนักแน่นเสมอไป
นอกจากนี้ การติดตามการให้เหตุผลที่ยาวนานกลับสัมพันธ์กับความแม่นยำที่ต่ำลงในทั้งสองโมเดลชั้นนำ ซึ่งอาจบ่งชี้ว่าความยาวของการให้เหตุผลสะท้อนถึงความยากของคำถามมากกว่าประสิทธิภาพในการแก้ปัญหา
NEBench R1 จึงเป็นรากฐานสำหรับการประเมินทั้งความแม่นยำของคำตอบและคุณภาพของการให้เหตุผล เพื่อประเมินความสามารถและระดับความน่าเชื่อถือของ LLMs ในวิศวกรรมนิวเคลียร์
ศัพท์ที่ควรรู้
- LLMs – คือ Large language models ซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการประมวลผลและสร้างข้อความ
- NEBench R1 – คือเกณฑ์มาตรฐานที่เน้นการให้เหตุผล ซึ่งถูกสร้างขึ้นเพื่อทดสอบความรู้เฉพาะทางในโดเมนนิวเคลียร์
- U.S. Nuclear Regulatory Commission (NRC) – คือคณะกรรมการกำกับดูแลด้านนิวเคลียร์ของสหรัฐอเมริกา ซึ่งเป็นแหล่งที่มาของคำถามทดสอบ
- Reasoning – คือกระบวนการให้เหตุผล ซึ่งหมายถึงการใช้ตรรกะเพื่อมาถึงข้อสรุปจากข้อมูลที่มีอยู่
ที่มา: arxiv.org