Lambda เสริมความทนทานและประสิทธิภาพ AI Factory ด้วย NVIDIA Photonics

การฝึกโมเดล AI จำเป็นต้องให้ GPU นับพันทำงานร่วมกัน ซึ่งต้องอาศัยเครือข่ายที่รวดเร็ว มีประสิทธิภาพ และมีความทนทานสูง โดย Lambda ได้ใช้สวิตช์เพื่อเชื่อมต่อ NVIDIA GB300 NVL72 racks ที่มี GPU มากกว่า 10,000 ตัว เพื่อส่งมอบ AI factory ที่มีพลังงานต่ำกว่า ทนทานกว่า และมี MTBI (Mean Time Between Interruptions) ที่ยาวนานกว่า

Dave Ward ประธานฝ่ายบริการคลาวด์ของ Lambda กล่าวว่า การนำ co-packaged optics มาใช้ในระดับการติดตั้งนี้เป็นก้าวสำคัญในการสร้างโครงสร้างพื้นฐานสำหรับ AI รุ่นต่อไป และการทดสอบพบว่า latency ของเครือข่ายลดลงประมาณ 4% ในระดับ rack และสูงสุดถึง 10% ในระดับ pod

การส่งมอบประสิทธิภาพพลังงานและความทนทานในระดับสเกล

เมื่อมีการอนุมานแบบ agentic การหยุดชะงักของเครือข่ายเพียงครั้งเดียวอาจส่งผลกระทบแบบลูกโซ่ต่อหลายเอเจนต์ การหยุดทำงานทุกครั้งต้องแลกมาด้วยเวลา และทุกวัตต์ที่ใช้ไปกับเครือข่ายคือวัตต์ที่ไม่ได้ใช้ในการประมวลผล

ด้วยการแทนที่ pluggable transceivers ด้วย optical engines ที่ติดตั้งร่วมกับสวิตช์ ทำให้สามารถให้ประสิทธิภาพการใช้พลังงานที่ดีขึ้นถึง 5 เท่า และความน่าเชื่อถือสูงขึ้นถึง 15 เท่า เมื่อเทียบกับแบบ pluggable optics ทั่วไป

ออปติกที่เย็นกว่า แหล่งกำเนิดแสงที่เปลี่ยนได้เพิ่มความทนทาน

บริษัทรายงานว่าอุณหภูมิเฉลี่ยของออปติกอยู่ที่ 36°C เทียบกับ 51°C ของ pluggable optics แบบเดิม และการทดสอบพบว่าสัญญาณมีความเสถียรมากกว่า โดย optical engines จะติดตั้งอยู่ติดกับชิปบนแพ็กเกจเดียวกัน และแปลงสัญญาณไฟฟ้าเป็นแสงเพื่อส่งข้อมูลผ่านไฟเบอร์ระหว่างส่วนต่างๆ ของคลัสเตอร์

แตกต่างจาก pluggable optics แบบดั้งเดิมที่ต้องเปลี่ยนโมดูลทั้งหมดหากเลเซอร์ล้มเหลว เทคโนโลยีนี้ช่วยให้นักเทคนิคสามารถเปลี่ยนโมดูลแหล่งกำเนิดแสงได้ในภาคสนาม และยังช่วยลดการใช้พลังงานและจำนวนชิ้นส่วนในเส้นทางการส่งสัญญาณด้วยการตัดชิป retimer ออกไป

ศัพท์ที่ควรรู้

  • AI factory – โรงงาน AI คือระบบที่ใช้ในการฝึกและรันโมเดล AI ขนาดใหญ่
  • GPU – หน่วยประมวลผลกราฟิก (Graphics Processing Unit) คือชิปที่ใช้ในการประมวลผลหนักสำหรับ AI
  • Co-packaged optics – เทคโนโลยีการรวมส่วนประกอบทางแสงเข้ากับชิปเดียวกันเพื่อการส่งข้อมูลที่มีประสิทธิภาพสูง
  • Latency – คือเวลาที่ใช้ในการส่งข้อมูลจากจุดหนึ่งไปยังอีกจุดหนึ่งในเครือข่าย
  • MTBI – คือค่าเฉลี่ยของเวลาที่ระบบทำงานได้โดยไม่มีการขัดข้อง

ที่มา: NVIDIA Blog

Leave a Comment