Benchmarks ที่สร้างจาก model hubs มักรวมข้อมูลการโต้ตอบ, knowledge graphs (KGs) และเอกสารประกอบ แต่ไฟล์ที่เผยแพร่ออกมาไม่ได้รับประกันว่าสิ่งเหล่านี้อ้างถึงวัตถุเดียวกัน
ผู้วิจัยได้นำเสนอการตรวจสอบ HuggingBench (SIGIR 2025) ซึ่งเป็นเกณฑ์มาตรฐานสำหรับการแนะนำทรัพยากรของ Hugging Face โดยใช้การตรวจสอบข้อมูล, การจำลองวิธีการแนะนำทั้งสิบเอ็ดวิธี และการทดลองควบคุมด้วยสามเมล็ดพันธุ์การฝึกฝน
ในการทดสอบกับ KGs ภายนอกสามในสี่ชุด พบว่าไฟล์ผ่านการตรวจสอบคีย์และช่วง แต่ละเมิดข้อจำกัดเรื่องเอกลักษณ์ของรายการใน KG ซึ่งการแก้ไขส่วนนี้ช่วยปรับปรุงทุกวิธีที่ใช้ KG ได้อย่างมาก
นอกจากนี้ การกำหนดงบประมาณการฝึกฝนที่จำกัดก็ส่งผลกระทบอย่างมาก โดยพบว่าการขยายงบประมาณช่วยปรับปรุงประสิทธิภาพของหลายชุดการตั้งค่าที่ถูกทดสอบ
ผู้วิจัยได้เผยแพร่ไฟล์ที่ได้รับการแก้ไข, แผนที่, ตัวตรวจสอบ และบันทึก เพื่อเป็นแนวทางในการรักษาเอกลักษณ์และความเป็นมาของ Artifacts ใน benchmarks และ model lakes
ศัพท์ที่ควรรู้
- Model Hubs – แหล่งรวมโมเดลที่รวบรวมข้อมูลต่างๆ เช่น ข้อมูลการโต้ตอบ และ knowledge graphs
- Knowledge Graphs (KGs) – โครงสร้างข้อมูลที่เชื่อมโยงเอนทิตีต่างๆ เข้าด้วยกันเพื่อแสดงความสัมพันธ์
- Recall@10 – ตัวชี้วัดประสิทธิภาพที่วัดว่าระบบแนะนำได้ถูกต้องติดอันดับ 10 ในกี่ครั้ง
- Training Seeds – ค่าเริ่มต้นที่ใช้ในการเริ่มต้นกระบวนการฝึกฝนโมเดล ซึ่งส่งผลต่อผลลัพธ์
- Artifacts – ผลผลิตหรือชิ้นงานที่เกิดขึ้นจากกระบวนการสร้างโมเดลหรือการทดสอบ
ที่มา: arxiv.org