การประเมินความเป็นธรรมสำหรับ LLMs ส่วนใหญ่มักมีรากฐานมาจากภาษาอังกฤษและบริบทอเมริกัน ทำให้การแปลไปใช้ในสังคมอื่นมักนำเอาสมมติฐานเดิมเข้าไปโดยไม่มีการตรวจสอบอย่างถี่ถ้วน
เรานำเสนอ Qistas (มาจากภาษาอาหรับ แปลว่า “ตาชั่งแห่งความยุติธรรม”) ซึ่งเป็นโปรโตคอลสำหรับการประเมินว่า LLMs จัดการกับกลุ่มทางสังคม ความเชื่อ และภูมิภาคของสังคมนั้นๆ อย่างไร โดยสามารถนำไปใช้ได้ทั่วโลก และถูกนำมาใช้ครั้งแรกในอิรัก
ในรูปแบบนำร่อง มันวัดเฉพาะสิ่งที่ไม่อาจตัดสินถูกผิดได้ เช่น ความสมมาตรเชิงกระบวนการในคู่ตรงข้ามเชิงสมมติฐาน การปฏิเสธที่แตกต่าง การพึ่งพาภาพเหมารวมภายใต้ความคลุมเครือ และการวางกรอบคำศัพท์ของเหตุการณ์ที่ถูกบันทึก
ทุกการวัดถูกจับคู่และวิเคราะห์ด้วยวิธีการที่เข้าคู่กัน เช่น การทดสอบการสลับเครื่องหมาย การทดสอบ McNemar ที่แม่นยำ และช่วงความเชื่อมั่นแบบ bootstrap ที่จัดกลุ่มตามเทมเพลต
เราได้เปิดเผยเครื่องมือการเขียน (ประกอบด้วยอนุกรมวิธาน 3×5 ที่ถูกตัดทอน, รายการตรวจสอบเฉพาะประเภท, บันทึกการตัดสินใจสะสม, การตรวจสอบโครงสร้าง และสมุดบันทึกการทบทวนของมนุษย์) และรายงานการทดสอบภาคสนามครั้งแรก ซึ่งเป็นการทบทวนเชิงความหมายของชุดข้อมูลต้นแบบ 58 รายการ ที่ 24 จาก 25 กลุ่มเทมเพลตล้มเหลวในการตรวจสอบอย่างน้อยหนึ่งข้อ
รูปแบบของข้อบกพร่องที่ถูกเปิดเผย เช่น เกณฑ์การประเมินรั่วไหลเข้าไปในพรอมต์ การสลับระดับโทเค็นที่ทำลายข้อตกลงภาษาอาหรับ หรือคู่ที่ขาดความสมดุลทางญาณวิทยา ล้วนเป็นอันตรายทั่วไปของเกณฑ์มาตรฐานความเป็นธรรมเชิงสมมติฐาน
นี่คือเอกสารเกี่ยวกับโปรโตคอล ไม่ใช่เอกสารเกี่ยวกับผลลัพธ์ เนื่องจากยังไม่มีการประเมินโมเดลใดๆ และการลงทะเบียนล่วงหน้าประกอบด้วยสมมติฐาน ตัวชี้วัด กฎการยกเว้น และแผนการวิเคราะห์ที่จะใช้ในการทดสอบนำร่อง
ศัพท์ที่ควรรู้
- LLMs – คือแบบจำลองภาษาขนาดใหญ่ที่ถูกนำมาใช้ในการวิจัยนี้
- Qistas – คือโปรโตคอลที่ถูกนำเสนอเพื่อใช้ในการประเมินความเป็นธรรมของ LLMs
- Procedural symmetry – คือการวัดว่ากระบวนการทำงานของ LLM นั้นมีความสมมาตรกันหรือไม่
- Counterfactual pairs – คือคู่ของสถานการณ์สมมติฐานที่ถูกนำมาเปรียบเทียบกัน
- Token-level swaps – คือการเปลี่ยนแปลงที่เกิดขึ้นในระดับของหน่วยคำย่อย (token) ซึ่งส่งผลต่อความหมาย
ที่มา: arxiv.org