เมื่อเดือนพฤศจิกายน ปี 2025 เราได้รายงานว่า Google กำลังจำหน่าย TPU ให้กับลูกค้าภายนอก และเมื่อ TPU ได้แสดงผลลัพธ์ AgentX แรกบน Qwen3.5 397B FP8 ซึ่งแสดงให้เห็นว่า TPUv7 FP8 สามารถเอาชนะ GB300 NVL72 FP4 ได้นั้น NVIDIA ก็ได้ระดมวิศวกรและ Agent swarm เข้ามาทำงานอย่างหนักเพื่อตอบโต้
เราได้รับฟังจากผู้ดูแลโครงการโอเพนซอร์สใน PyTorch และลูกค้า NVIDIA ว่ามีความล่าช้าทางราชการมาก เช่น การเพิ่มฟีเจอร์ใหม่ในไดรเวอร์ NVIDIA เพื่อรองรับการจับภาพของ PyTorch CudaGraph ที่ติดอยู่ใน ‘การตรวจสอบทางกฎหมายภายในของ NVIDIA’ เป็นเวลาสามเดือน
ในทางกลับกัน การส่งข้อมูลครั้งนี้ใช้ SGLang HiCache CPU DRAM offloading โดยใช้ไลบรารี TPU-Sync ต้นฉบับของ Google เพื่อเพิ่มอัตราการถูกเรียกใช้ของ prefix cache ในขณะที่ GPU matrix cores ใช้ส่วนเล็กๆ ทำให้เกิดความแตกต่างในการใช้งานอย่างมาก
แม้ว่า NVIDIA อาจอ้างว่าไม่สนใจโมเดล Qwen3.5 397B แต่จากการวิเคราะห์ข้อมูล InferenceX ของเรา พบว่า NVIDIA ได้ใช้ชั่วโมง GPU ไปกับ Qwen3.5 มากกว่า 20% สำหรับบาง SKU ของ NVIDIA GPU ทำให้การปฏิเสธนั้นเป็นเรื่องยาก
นอกจากนี้ ผู้ให้บริการคลาวด์รายใหญ่บางรายและห้องปฏิบัติการ AI ยังใช้ Qwen3.5 397B และเวอร์ชัน Scale-up ที่มีพารามิเตอร์หลายล้านล้านเป็นโมเดลตัวแทนในการตัดสินใจซื้อฮาร์ดแวร์และการวางแผนกำลังการผลิต
ศัพท์ที่ควรรู้
- TPU – คือชิปประมวลผลเฉพาะของ Google ที่ใช้ในการเร่งการคำนวณ AI
- Inference – คือกระบวนการนำโมเดล AI ที่ผ่านการฝึกฝนแล้วมาใช้งานจริงเพื่อทำนายหรือตัดสินใจ
- Qwen3.5 397B – คือโมเดลภาษาขนาดใหญ่ (LLM) ที่มีพารามิเตอร์ 397 พันล้านตัว ซึ่งถูกนำมาใช้ในการทดสอบ
- FP8 – คือรูปแบบการแสดงตัวเลขทศนิยมที่ใช้ในการคำนวณ AI เพื่อประหยัดหน่วยความจำและเพิ่มความเร็ว
- AgentX – คือหนึ่งในผลลัพธ์หรือการทดสอบที่ถูกนำเสนอโดย TPU
ที่มา: newsletter.semianalysis.com