เราขอแนะนำ Dory1.0-4B ซึ่งเป็นโมเดลภาษาขนาด 4 พันล้านพารามิเตอร์ ที่มีโครงสร้างแบบ Looped (latent-recurrent) และมีความลึกแบบยืดหยุ่น (elastic depth) โดยจุดตรวจสอบเดียวสามารถให้บริการภายใต้งบประมาณการอนุมานที่แตกต่างกันได้
Dory1.0-4B สร้างขึ้นบน backbone ของ normalized Transformer (nGPT) ที่มีเลเยอร์แบบ sliding-window และ full-attention สลับกัน โดยแบ่งเป็นส่วนอินพุต ส่วนวนซ้ำร่วม และส่วนเอาต์พุต ซึ่งส่วนวนซ้ำนี้สามารถนำมาใช้ซ้ำได้หลายครั้งระหว่างการอนุมาน
เราได้ฝึกฝน Dory1.0-4B ด้วยข้อมูล 6 ล้านล้านโทเค็น โดยในช่วงแรก 4.5 ล้านล้านโทเค็นใช้ NVFP4 และต่อด้วยการปรับแต่งด้วย SFT และ RLVR ที่มีหลักสูตรตามความยากของปัญหา
การเพิ่มจำนวนรอบการวนซ้ำช่วยเพิ่มความแม่นยำ โดยเฉพาะในงานโค้ดดิ้ง เอเจนต์ และบริบทที่ยาว และเมื่อมีการวนซ้ำสองรอบขึ้นไป โมเดลนี้ทำผลงานได้ดีกว่าโมเดลที่ใหญ่กว่าหลายรุ่น และยังช่วยให้ใช้โทเค็นน้อยลงในการทำงานแบบ agentic ด้วยการแคชเฉพาะจากรอบล่าสุด
เราได้เปิดเผย checkpoints ที่ผ่านการควอนไทซ์ในรูปแบบ BF16, MXFP8, NVFP4 และ GGUF ให้สาธารณะใช้งานแล้ว
ศัพท์ที่ควรรู้
- Looped (latent-recurrent) – โครงสร้างที่ใช้การวนซ้ำในพื้นที่แฝงเพื่อปรับปรุงการอนุมานของโมเดล
- Elastic depth – ความสามารถของโมเดลในการปรับความลึกในการประมวลผลให้เข้ากับงบประมาณการอนุมานที่แตกต่างกัน
- Normalized Transformer (nGPT) – สถาปัตยกรรมพื้นฐานของโมเดลที่ใช้ในการประมวลผลข้อมูล
- SFT (Supervised Fine-Tuning) – กระบวนการปรับแต่งโมเดลโดยใช้ข้อมูลที่มีการกำกับดูแล
- RLVR (Reinforcement Learning with Verifiable Rewards) – เทคนิคการเรียนรู้แบบเสริมกำลังที่ใช้รางวัลที่ตรวจสอบได้เพื่อปรับปรุงโมเดล
ที่มา: arxiv.org