OpenAI มุ่งมั่นที่จะทำให้ AGI เป็นประโยชน์ต่อมวลมนุษยชาติ โดยตระหนักว่าผู้คนทั่วโลกส่วนใหญ่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาหลัก แต่ benchmark เดิมที่มีอยู่ไม่สามารถวัดศักยภาพด้านภาษาที่แท้จริงได้
IndQA จึงถูกสร้างขึ้นเพื่อตอบโจทย์นี้ โดยครอบคลุมหัวข้อที่เกี่ยวข้องกับวัฒนธรรมอินเดีย เช่น สถาปัตยกรรม ศิลปะ ประวัติศาสตร์ กฎหมาย และอื่นๆ และมีข้อสอบต้นฉบับในภาษาท้องถิ่นอินเดีย พร้อมคำแปลภาษาอังกฤษสำหรับการตรวจสอบ
ชุดทดสอบนี้แตกต่างจาก MMMLU และ MGSM ตรงที่เน้นโจทย์ที่ต้องใช้การให้เหตุผลเชิงวัฒนธรรมอย่างลึกซึ้ง และรองรับภาษาต่างๆ เช่น เบงกาลี ฮินดี และทมิฬ
OpenAI เชื่อว่าการสร้าง benchmark ลักษณะนี้จะช่วยให้ห้องปฏิบัติการวิจัย AI เข้าใจข้อจำกัดของโมเดลในปัจจุบัน และเป็นแนวทางสำหรับการพัฒนาในอนาคต
ศัพท์ที่ควรรู้
- AGI – คือปัญญาประดิษฐ์ทั่วไป (Artificial General Intelligence) ที่มีศักยภาพเทียบเท่าหรือเหนือกว่ามนุษย์
- MMMLU – คือหนึ่งใน benchmark การวัดความสามารถทางภาษาที่มีอยู่เดิม ซึ่ง IndQA ถูกสร้างขึ้นมาเพื่อเสริมจุดอ่อนของมัน
- IndQA – คือชุดทดสอบใหม่ที่ออกแบบมาเพื่อวัดความเข้าใจในบริบททางวัฒนธรรมของอินเดีย
ที่มา: OpenAI