นักวิจัยได้ทดสอบข้อกล่าวอ้างเกี่ยวกับจุดอ่อนของโมเดล เช่น การนับตัวอักษรในคำว่า “strawberry” หรือการคำนวณในระบบตัวเลขที่ไม่คุ้นเคย ซึ่งพบว่าข้อผิดพลาดเหล่านี้อาจมีผลลัพธ์ที่ “ถูกต้อง” และเป็นเป้าหมายในการฝึกฝนสำหรับนักพัฒนา
ในส่วนของข้อค้นพบด้านการให้เหตุผลทั้งเก้าข้อนั้นได้จางหายไปแล้ว ขณะที่เรื่องการประจบสอพลอ การหลอกลวง และพฤติกรรมเชิงกลยุทธ์ยังคงพบข้อค้นพบที่คงอยู่หรือแข็งแกร่งขึ้น
สำหรับคำถามแบบสองขั้นตอน (two-hop questions) โมเดล Claude Sonnet 5.5 ยังคงผิดพลาดประมาณ 10 เปอร์เซ็นต์ แม้ว่าจะตอบคำถามแต่ละส่วนได้อย่างถูกต้องก็ตาม
นักวิจัยชี้ให้เห็นถึงช่องว่างระหว่างโมเดล แม้แต่ในรุ่นเดียวกัน ซึ่งสอดคล้องกับมุมมองของ Andrej Karpathy ที่ว่าโมเดลที่มีอยู่ปัจจุบันเป็นเพียงตัวอย่างเบื้องต้นของศักยภาพในอนาคตเท่านั้น
ศัพท์ที่ควรรู้
- Large Language Models (LLM) – โมเดลภาษาขนาดใหญ่ คือ AI ที่ถูกฝึกฝนให้เข้าใจและสร้างข้อความของมนุษย์ Two-hop questions – คำถามที่ต้องใช้ความรู้สองส่วนประกอบกันเพื่อหาคำตอบเดียว Context – บริบท หรือข้อมูลที่ป้อนให้กับโมเดลเพื่อใช้ในการตอบคำถาม Sycophancy – การแสดงความเห็นที่เห็นด้วยกับผู้มีอำนาจหรือผู้ที่ถูกถาม เพื่อให้เป็นที่พอใจ Andrej Karpathy – ผู้ร่วมก่อตั้ง OpenAI ที่ปัจจุบันเข้าร่วมกับ Anthropic และให้ความเห็นเกี่ยวกับ AI
ที่มา: The Decoder