เราได้สร้างการประเมินที่สะท้อนการใช้งานในโลกแห่งความเป็นจริง ซึ่งเป็นสถานการณ์ที่มีความแตกต่างหลากหลายและเปิดกว้าง เพื่อทดสอบและฝึกฝนโมเดลให้สามารถรับมือกับอคติที่อาจปรากฏ ทั้งในรูปแบบที่ชัดเจนและละเอียดอ่อน
เราได้สร้างชุดคำสั่งที่เป็นตัวแทน โดยมีกรณีทดสอบที่ท้าทายมากขึ้น ซึ่งรวมถึงการใช้ภาษาที่มีขั้วและการวางกรอบที่ยั่วยุ เพื่อประเมินประสิทธิภาพเมื่อการรักษาความเป็นกลางเป็นเรื่องยากที่สุด
เราได้รวมเอาแกนการประเมินทั้งห้าเข้าไว้ในชุดคำสั่งโดยละเอียดสำหรับ LLM grader ซึ่งเป็นโมเดลที่ทำหน้าที่ประเมินผลลัพธ์ของโมเดลอื่น (ในกรณีนี้คือ GPT-5 thinking) เทียบกับเกณฑ์อคติของเรา
ผลการทดสอบแสดงให้เห็นว่าโมเดล GPT-5 มีอคติน้อยกว่าโมเดลก่อนหน้า (GPT-4o และ o3) ทั้งในแง่ของประสิทธิภาพโดยรวม และมีความทนทานมากกว่าเมื่อต้องเผชิญกับคำสั่งที่ท้าทายและมีอคติสูง
เราจะยังคงลงทุนในการปรับปรุงอย่างต่อเนื่องในเดือนข้างหน้า และหวังว่าจะแบ่งปันผลลัพธ์ เพื่อช่วยให้เกิดความชัดเจนในแนวทางของเราและสนับสนุนความพยายามของอุตสาหกรรมในการก้าวหน้าด้านความเป็นกลางของ AI
ศัพท์ที่ควรรู้
- LLM – คือโมเดลภาษาขนาดใหญ่ที่ใช้ในการประมวลผลภาษาธรรมชาติ
- Adversarial prompts – คือชุดคำสั่งที่ออกแบบมาเพื่อท้าทายและทดสอบขีดจำกัดของโมเดล
- GPT-5, GPT-4o, o3 – คือชื่อโมเดล AI ที่แตกต่างกันของ OpenAI ที่ถูกนำมาเปรียบเทียบในการทดสอบ
- LLM grader – คือโมเดล AI ที่ถูกใช้ทำหน้าที่เป็นผู้ประเมินผลลัพธ์ของโมเดลอื่น
ที่มา: OpenAI