Anthropic รายงานว่าพวกเขาใช้โมเดลภายในของตนเองที่ชื่อว่า Mythos เพื่อพอร์ต Claude ไปยัง AMD GPUs ได้สำเร็จในเวลาเพียง 3 วัน โดยแทบไม่มีการแทรกแซงจากมนุษย์เลย
การพอร์ตนี้แสดงให้เห็นถึงความซับซ้อนของการย้ายแพลตฟอร์ม ซึ่งการแปลเชิงกลไกและการปรับแต่งเฉพาะทางนั้นเป็นเพียงส่วนเริ่มต้น ส่วนที่ต้องใช้เวลามากคือการทำให้ระบบพร้อมใช้งานจริงในระดับโปรดักชัน
ต้นทุนที่แท้จริงของการพอร์ตอยู่ที่ไหน
การแปลระดับ Kernel และ Operator นั้นค่อนข้างตรงไปตรงมา แต่ส่วนที่ซ่อนอยู่คือการปรับแต่งเฉพาะของ CUDA kernels, fused attention variants และ custom ops
ส่วนที่ต้องใช้เวลามากคือการจัดการ Collective communication เช่น NCCL ไปยัง RCCL, การตั้งสมมติฐานเกี่ยวกับ Topology และการปรับจูนสำหรับ Multi-node ซึ่งแตกต่างกันไปตามแพลตฟอร์ม
กฎการตัดสินใจตามระดับการใช้จ่าย
สำหรับองค์กรที่มีการใช้จ่ายต่ำกว่าประมาณ $50k การใช้ API หรือเช่า Capacity ก็เพียงพอ ส่วนระดับกลาง ($50k ถึง $500k) ควรมีการทดสอบความเป็นไปได้ของแพลตฟอร์มอย่างสม่ำเสมอ
สำหรับองค์กรที่มีการลงทุนหลายล้านขึ้นไป ควรสร้างระบบแบบ Dual-stack และมีทีมงานดูแลการสื่อสารและ Topology เพื่อการผูกพันระยะยาวกับผู้ให้บริการ
ศัพท์ที่ควรรู้
- CUDA – เป็นชุดของ API และไดรเวอร์ที่ใช้ควบคุมการคำนวณบน GPU ของ NVIDIA
- AMD GPUs – คือหน่วยประมวลผลกราฟิกของ AMD ซึ่งเป็นคู่แข่งของ NVIDIA และรองรับการคำนวณ AI
- Porting – คือกระบวนการในการปรับโค้ดหรือโมเดลให้ทำงานบนฮาร์ดแวร์หรือแพลตฟอร์มที่แตกต่างกัน
- NCCL/RCCL – คือไลบรารีที่ใช้ในการสื่อสารระหว่าง GPU หลายตัวในการคำนวณระดับสูง
ที่มา: pastagi.com