AWS Neuron 2.33 ได้เปิดตัวแล้ว พร้อมนำเสนอ TorchNeuron ซึ่งเป็น backend สำหรับ PyTorch บน AWS Trainium ในช่วง Public Beta ทำให้ผู้ใช้สามารถรันโมเดลที่เขียนด้วยมาตรฐาน PyTorch APIs บน Amazon EC2 Trn2 และ Trn3 ได้ ทั้งใน eager mode หรือใช้ torch.compile
การเปิดตัวครั้งนี้ยังรวม Neuron Observer ในช่วง Public Beta ที่สามารถตรวจจับปัญหาด้านสุขภาพของ Trainium ได้ภายในหนึ่งวินาที และระบุโหนดหรืออุปกรณ์ที่ได้รับผลกระทบ นอกจากนี้ vLLM Neuron plugin ได้อัปเกรดเป็น vLLM 0.29.0 และ vLLM Omni Neuron plugin สำหรับ Wan2.2 ก็รวมอยู่ใน Neuron release ด้วย ทั้งสองรองรับการคอมไพล์ PyTorch แบบเนทีฟผ่าน TorchNeuron
Neuron Explorer สามารถเปิดโปรไฟล์ที่จับด้วย torch.profiler และสามารถระบุการจัดสรรหน่วยความจำจาก PyTorch memory snapshot กลับไปยังบรรทัดโค้ด Python ต้นฉบับ ทำให้ง่ายต่อการดีบักข้อผิดพลาดหน่วยความจำหมดใน eager mode
สำหรับ Kernel ที่เขียนด้วย Neuron Kernel Interface (NKI) สามารถใช้ภาษา Python เต็มรูปแบบสำหรับการทำ metaprogramming ได้ เช่น generators และ class inheritance โดย NKI Library ได้เพิ่ม experimental kernels ใหม่ 25 ตัว รวมถึงสำหรับ DeepSeek-V3.2, Qwen3.5 และ Kimi Delta Attention
สำหรับผู้ที่สนใจ สามารถดูรายละเอียดเพิ่มเติมได้จาก Release Notes, เอกสาร TorchNeuron, Neuron Observer และ Neuron Kernel Interface
ศัพท์ที่ควรรู้
- TorchNeuron – เป็น backend สำหรับ PyTorch ที่ทำงานบน AWS Trainium ซึ่งช่วยให้รันโมเดล PyTorch ได้
- Neuron Observer – เครื่องมือที่สามารถตรวจจับปัญหาด้านสุขภาพของ Trainium ได้อย่างรวดเร็ว
- Amazon EC2 Trn2 และ Trn3 – คืออินสแตนซ์ของ Amazon EC2 ที่รองรับการทำงานร่วมกับ Neuron
- torch.compile – เป็นฟังก์ชันของ PyTorch ที่ใช้ในการคอมไพล์โค้ดเพื่อเพิ่มประสิทธิภาพ
- Neuron Explorer – เครื่องมือที่ช่วยวิเคราะห์โปรไฟล์ที่จับด้วย torch.profiler เพื่อดีบักปัญหา
ที่มา: AWS