เราได้เปิดตัว Parameter Golf เพื่อให้การสนับสนุนและมีส่วนร่วมกับชุมชนวิจัย Machine Learning ในการสำรวจปัญหา Machine Learning ใหม่ที่มีข้อจำกัดสูง
ผู้เข้าร่วมต้องลด loss ที่ถูกกันไว้ (held-out loss) บนชุดข้อมูล FineWeb โดยต้องอยู่ภายใต้ข้อจำกัดของ artifact ที่ 16 MB ซึ่งรวมทั้งน้ำหนักโมเดลและโค้ดการฝึก และมีงบประมาณการฝึกเพียง 10 นาที บนเครื่อง 8×H100s
ผลงานระดับสูงสุด
การส่งครั้งแรกที่ใช้ GPTQ-lite ได้สำเร็จนำไปสู่การประเมินที่ดีขึ้น โดยมีผู้เข้าร่วมหลายรายนำเสนอเทคนิคที่แตกต่างกัน เช่น การใช้ GPTQ เต็มรูปแบบ, การฝึก LoRA แบบ per-document, การสอบเทียบ GPTQ ด้วยตนเอง, การนำเสนอ XSA, SmearGate และ BigramHash, และ mini depth recurrence
อนาคตคืออะไร?
Parameter Golf ได้รวบรวมข้อเสนอที่มีความแข็งแกร่งและสร้างสรรค์ทางเทคนิคหลากหลาย ทำให้เราเห็นภาพชัดเจนขึ้นว่าการแข่งขันวิจัยแบบเปิดอาจเปลี่ยนแปลงไปอย่างไร เมื่อ AI Agents มีความสามารถและถูกใช้งานอย่างแพร่หลาย
ที่มา: OpenAI