การวัดความถูกต้องเป็นเรื่องซับซ้อน เนื่องจากแบบจำลองภาษาอาจสร้างข้อความยาวที่มีข้อกล่าวอ้างทางข้อเท็จจริงมากมาย ดังนั้น SimpleQA จึงมุ่งเน้นไปที่คำถามสั้นๆ ที่ต้องการข้อเท็จจริง ซึ่งช่วยให้การวัดความถูกต้องทำได้ง่ายขึ้นมาก
คำตอบอ้างอิงจากแหล่งข้อมูลของ AI Trainer สองรายที่เป็นอิสระ และคำถามถูกออกแบบมาเพื่อให้การให้คะแนนทำได้ง่าย
SimpleQA ครอบคลุมหัวข้อกว้างขวาง ตั้งแต่วิทยาศาสตร์ เทคโนโลยี ไปจนถึงรายการทีวีและวิดีโอเกม เพื่อเป็นความท้าทายสำหรับ Frontier Models เช่น GPT-4o ซึ่งได้คะแนนต่ำกว่า 40% ในการทดสอบ
แต่ละคำถามต้องผ่านเกณฑ์ที่เข้มงวด เช่น ต้องมีคำตอบเดียวที่ไม่อาจโต้แย้งได้ และต้องกระตุ้นให้เกิดอาการหลอน (hallucination) ใน GPT-4o หรือ GPT-3.5 ด้วย
เพื่อยืนยันคุณภาพสูงสุด มี AI Trainer รายที่สามเข้ามาตอบคำถามตัวอย่าง 1,000 ข้อ และพบว่าอัตราความผิดพลาดโดยธรรมชาติของชุดข้อมูลนี้อยู่ที่ประมาณ 3%
ที่มา: OpenAI