กลุ่ม EUROPA ซึ่งประกอบด้วย Domyn และ Fraunhofer IAIS และ IIS ได้รับเลือกให้ทำงานกับโมเดล Mixture-of-Experts (MoE) ของยุโรปที่มีพารามิเตอร์อย่างน้อย 400B และรองรับ 24 ภาษาทางการของ EU ในโพสต์นี้ พวกเขาได้อธิบายถึงวิธีการขยายการฝึกฝนไปสู่ MoE ขนาด 1T บน JUPITER ซึ่งเป็นซูเปอร์คอมพิวเตอร์ EuroHPC ที่ตั้งอยู่ที่ Forschungszentrum Jülich พิสูจน์ว่าโครงสร้างพื้นฐานสาธารณะสามารถรองรับสเกลระดับแนวหน้าได้จริง
เครื่องจักรและข้อจำกัด
การฝึกฝนนี้ใช้ประโยชน์จากลำดับที่ยาวขึ้นเพื่อคำนวณนานขึ้น ลดจำนวนไบต์ที่ส่งผ่าน InfiniBand และใช้ประโยชน์จากหน่วยความจำ Grace เพื่อรองรับโมเดล เกรเดียนต์ และสถานะ Optimizer
การมีส่วนร่วมในการปรับปรุงและข้อคิดเห็น
นอกเหนือจากสามส่วนที่กล่าวถึงไปแล้ว พวกเขายังได้มีส่วนร่วมใน RoPE cache ที่แบ่งปันให้กับ TorchTitan ซึ่งช่วยให้การฝึกฝนสามารถทำงานได้ที่อัตราการรับส่งข้อมูลอย่างต่อเนื่องประมาณ 1,300 tokens/s ต่อ GPU บน 384 GH200s ต่อ DDP replica รวม 1536 GPUs สำหรับ 4 DDP replicas
ที่มา: pytorch.org