o1-mini โดดเด่นด้าน STEM โดยเฉพาะคณิตศาสตร์และการเขียนโค้ด ซึ่งในการแข่งขัน AIME คณิตศาสตร์ระดับมัธยมปลาย o1-mini ทำคะแนนได้ใกล้เคียงกับ o1 ในขณะที่ต้นทุนต่ำกว่าอย่างมาก และทำได้ดีกว่า o1-preview
ในด้านการให้เหตุผลเชิงวิชาการ เช่น GPQA (วิทยาศาสตร์) และ MATH-500 นั้น o1-mini สามารถทำผลงานได้เหนือกว่า GPT-4o ในบางกรณี แต่ยังคงด้อยกว่าในด้านความรู้โลกกว้างเมื่อเทียบกับ GPT-4o ในงานอย่าง MMLU
ในด้านความปลอดภัย o1-mini แสดงอัตราการปฏิเสธคำสั่งที่เป็นอันตรายได้สูงถึง 99% ในการใช้งานมาตรฐาน และมีอัตราการปฏิเสธที่สูงกว่าเมื่อเผชิญกับสถานการณ์ที่ท้าทาย เช่น การเจาะระบบ (jailbreaks)
สำหรับผู้ใช้ ChatGPT Plus, Team, Enterprise และ Edu สามารถเลือกใช้ o1-mini แทน o1-preview ได้ ซึ่งจะมาพร้อมกับข้อจำกัดในการใช้งานที่สูงขึ้นและ Latency ที่ต่ำกว่า
ศัพท์ที่ควรรู้
- o1-mini – คือโมเดลใหม่ที่เน้นการให้เหตุผลและมีประสิทธิภาพด้านต้นทุน
- STEM – หมายถึงสาขาวิทยาศาสตร์ เทคโนโลยี วิศวกรรมศาสตร์ และคณิตศาสตร์
- AIME – คือการแข่งขันคณิตศาสตร์ระดับมัธยมปลายที่ใช้ในการประเมินประสิทธิภาพโมเดล
- GPQA – คือหนึ่งในแบบทดสอบทางวิชาการที่ใช้ประเมินความสามารถในการให้เหตุผลของโมเดล
- Latency – หมายถึงความหน่วงในการตอบสนองของโมเดล
ที่มา: OpenAI