Clef เป็นโมเดลที่ผ่านการฝึกฝนต่อยอดมาจาก Qwen3.8-27B ส่วน Clef-flash นั้นใช้ Qwen3.5-9B เป็นฐานในการพัฒนา
ในการเปรียบเทียบประสิทธิภาพ พบว่า BANKING77 macro-F1 ของ Clef อยู่ที่ 94.2 เทียบกับ 79.7 ของ Jev แต่ความแม่นยำ GPQA Diamond อยู่ที่ 48.0 เทียบกับ 78.3
สำหรับ Flash card นั้นรายงานความแม่นยำกรณีเฉพาะอยู่ที่ 97.7 บนเครื่องจำลอง และ 65.6 ในการทำ MCQ เมื่อเทียบกับ 52.3 และ 81.0 ของ Jev
ผลการทดสอบเหล่านี้เป็นข้อมูลที่ผู้ขายดำเนินการและเฉพาะสำหรับงานนั้นๆ โดยมีเอกสารอ้างอิงจาก Cloudflare ที่เปิดเผยรายละเอียดการฝึกฝนและสถาปัตยกรรมของโมเดล
ศัพท์ที่ควรรู้
- Qwen3.8-27B – คือโมเดลพื้นฐานที่ใช้ในการฝึกฝนต่อยอดของ Clef
- Clef-flash – คือเวอร์ชันของ Clef ที่ใช้ Qwen3.5-9B เป็นพื้นฐาน
- macro-F1 – คือหนึ่งในตัวชี้วัดประสิทธิภาพที่ใช้ในการเปรียบเทียบโมเดล
- GPQA Diamond accuracy – คือการวัดความแม่นยำในงานเฉพาะทางที่ใช้ในการเปรียบเทียบ
ที่มา: LLM Rumors