การฝึกโมเดลชั้นนำขึ้นอยู่กับเครือข่ายซูเปอร์คอมพิวเตอร์ที่เชื่อถือได้ ซึ่งสามารถย้ายข้อมูลระหว่าง GPU ได้อย่างรวดเร็ว เพื่อให้กระบวนการนี้เร็วขึ้นและมีประสิทธิภาพมากขึ้น OpenAI ได้ร่วมมือกับ AMD, Broadcom, Intel, Microsoft และ NVIDIA เพื่อพัฒนา MRC (Multipath Reliable Connection) ซึ่งเป็นโปรโตคอลใหม่ที่ปรับปรุงประสิทธิภาพและความทนทานของเครือข่ายในกลุ่มการฝึกขนาดใหญ่
ประสบการณ์อันล้ำค่านี้ทำให้เชื่อว่าการใช้คอมพิวเตอร์ในระดับ Stargate และการบรรลุภารกิจของเรา จำเป็นต้องมีการคิดใหม่และลดความซับซ้อนในทุกระดับของสแต็ก รวมถึงการออกแบบเครือข่ายด้วย
คำตอบของเรา: MRC
เป้าหมายของเราไม่ใช่แค่การสร้างเครือข่ายที่รวดเร็ว แต่ยังรวมถึงเครือข่ายที่ให้ประสิทธิภาพที่คาดการณ์ได้สูง แม้จะเกิดความล้มเหลวขึ้นด้วยก็ตาม
เพื่อให้บรรลุความน่าเชื่อถือนี้ ทีม Scaling ของเราได้ทำงานร่วมกับ AMD, Broadcom, Intel, Microsoft และ NVIDIA ตลอดสองปีที่ผ่านมา เพื่อพัฒนากลไกใหม่ในการสร้างและดำเนินการเครือข่าย ซึ่งเป็นโปรโตคอลเครือข่ายใหม่ที่ติดตั้งในอินเทอร์เฟซเครือข่าย 800Gb/s ที่ช่วยให้สามารถกระจายการถ่ายโอนข้อมูลเดียวผ่านหลายร้อยเส้นทาง และหลบเลี่ยงความล้มเหลวได้ในระดับไมโครวินาที
MRC ขยายจาก RDMA over Converged Ethernet (RoCE) ซึ่งเป็นมาตรฐานของ InfiniBand Trade Association (IBTA) ที่ช่วยให้มีการเข้าถึงหน่วยความจำระยะไกลที่เร่งด้วยฮาร์ดแวร์ระหว่าง GPU และ CPU และปัจจุบัน MRC ถูกนำไปใช้ในซูเปอร์คอมพิวเตอร์ NVIDIA GB200 ที่ใหญ่ที่สุดของ OpenAI รวมถึงไซต์ใน Oracle Cloud Infrastructure (OCI) ที่ Abilene, Texas และในซูเปอร์คอมพิวเตอร์ Fairwater ของ Microsoft ด้วย
ศัพท์ที่ควรรู้
- MRC (Multipath Reliable Connection) – โปรโตคอลใหม่ที่ช่วยเพิ่มประสิทธิภาพและความทนทานของเครือข่ายในกลุ่มการฝึกขนาดใหญ่
- GPU – หน่วยประมวลผลกราฟิก ซึ่งเป็นชิปที่ใช้ในการประมวลผลของ AI
- RDMA over Converged Ethernet (RoCE) – มาตรฐานที่ช่วยให้มีการเข้าถึงหน่วยความจำระยะไกลที่เร่งด้วยฮาร์ดแวร์ระหว่าง GPU และ CPU
- 800Gb/s – อัตราการส่งข้อมูลสูงที่ระบุในอินเทอร์เฟซเครือข่ายใหม่
ที่มา: OpenAI