GDPx เป็นเกณฑ์มาตรฐานที่ครอบคลุมโดเมนที่มีมูลค่าสูงสุดสำหรับปัญญาประดิษฐ์ระดับแนวหน้า ซึ่งเผยให้เห็นถึงข้อบกพร่องในการทำงานของโมเดลในหลายมิติ
ตัวอย่างเช่น โมเดลอาจให้น้ำหนักกับแหล่งข้อมูลตามความชัดเจนของตัวเลข แทนที่จะพิจารณาว่าเอกสารใดมีความน่าเชื่อถือมากกว่า หรืออาจคำนวณถูกต้องแต่ละเลยนัยยะรอง เช่น ข้อผูกพันตามเงื่อนไข หรือภาษีที่เกิดขึ้นจากการชำระเงิน
ข้อผิดพลาดเหล่านี้มีสาเหตุหลักจากการที่โมเดลไม่สามารถสังเคราะห์เอกสารนำเข้าที่แตกต่างกันได้ ไม่สามารถคาดการณ์วิธีที่คู่กรณีจะหลีกเลี่ยงมาตรการป้องกันของลูกค้า หรือการให้น้ำหนักกับอีเมลของลูกค้าจนแทนที่ข้อตกลงที่ลงนามแล้ว
ในการทดสอบ พบว่า 13 ใน 20 ครั้ง โมเดลมองข้ามว่าผู้ถือหุ้นรายอื่นมีอำนาจลงคะแนนเสียงมากพอที่จะลบล้างการคุ้มครองของลูกค้า และ 20 ใน 20 ครั้ง โมเดลล้มเหลวในการป้องกันการที่บริษัทใช้บริษัทย่อยเพื่อหลีกเลี่ยงข้อกำหนดดังกล่าว
การทำงานเชิงปริมาณของ Third Moment นั้นนำโดย Jeffrey Yan ร่วมกับทีมงานผู้เชี่ยวชาญด้านการเงินจาก Jane Street และ Hudson River Trading
ศัพท์ที่ควรรู้
- GDPx – เป็นเกณฑ์มาตรฐานที่ใช้ในการวัดขีดความสามารถของโมเดล AI ขั้นสูง
- Frontier intelligence – หมายถึงปัญญาประดิษฐ์ระดับแนวหน้าที่มีความสามารถสูงที่สุดในปัจจุบัน
- Contingent obligation – คือภาระผูกพันที่อาจเกิดขึ้นและขึ้นอยู่กับเงื่อนไขบางประการ
- Accrual basis – คือวิธีการทางบัญชีที่รับรู้รายได้และค่าใช้จ่ายตามช่วงเวลา ไม่ใช่ตามการรับเงินสด
ที่มา: newsletter.semianalysis.com