นักทดสอบซอฟต์แวร์ได้ทำการทดสอบ Skill ทั้งหมด 6 ครั้ง บนโมเดล Haiku, Sonnet และ Opus โดยพบว่าคำอธิบายที่ “เร่งเร้า” นั้นเพิ่มคะแนนการเรียกใช้เพียง 5 คะแนนเท่านั้น และคำขอที่เกือบจะเข้าข่ายก็ไม่เคยกระตุ้น Skill เลย
หนึ่งในพรอมต์ที่ทดสอบคือการสั่งให้ Claude Code “Write pytest tests for this Python function, with a fixture for the sample data” ซึ่ง Skill ที่เกี่ยวข้องมีคำอธิบายว่าใช้เมื่อเขียน Python tests และระบุถึง pytest กับ fixtures การรันพรอมต์นี้ 18 ครั้ง (อย่างละ 3 ครั้ง ต่อโมเดล ทั้งแบบเดิมและแบบปรับปรุง) พบว่า Sonnet เริ่มเขียนไฟล์ทดสอบในทั้ง 6 ครั้ง, Opus บันทึกไฟล์ใน 5 ใน 5 ครั้ง และ Haiku แสดงโฟลเดอร์เปล่าและตรวจสอบ pytest ใน 5 ครั้ง
Claude Code ไม่ได้รายงานเมื่อพลาดการเรียกใช้ ดังนั้นจึงต้องตรวจสอบ Transcript เพื่อดูการเรียก Skill สำหรับผู้ที่สนใจ Anthropic’s skill-creator skill แนะนำว่า Claude มีแนวโน้มที่จะ “undertrigger” Skills และควรทำให้คำอธิบาย “เร่งเร้า” มากขึ้น
การวัดผลบางอย่าง เช่น ของ Vercel ที่พบว่า Next.js documentation skill ไม่ถูกเรียกใช้ใน 56% ของกรณีนั้นมีอยู่ แต่ยังไม่พบการเปรียบเทียบหลายโมเดลที่มีการควบคุมกรณีเกือบพลาดการเรียกใช้
ศัพท์ที่ควรรู้
- Skill – ความสามารถเฉพาะที่โมเดลถูกฝึกมาให้ทำ เช่น การเขียนโค้ด หรือการแปลภาษา
- Haiku, Sonnet, Opus – โมเดลภาษาของ Anthropic ที่มีขนาดและความสามารถแตกต่างกัน
- pytest – เฟรมเวิร์กยอดนิยมสำหรับการทดสอบโค้ดในภาษา Python
- Fixture – ข้อมูลหรือสภาพแวดล้อมที่ถูกเตรียมไว้ล่วงหน้าเพื่อให้การทดสอบทำงานได้อย่างถูกต้อง
ที่มา: towardsdatascience.com