AWS ได้เปิดตัว TorchNeuron ซึ่งเป็น backend แบบ open source สำหรับ PyTorch ที่รองรับ AWS Trainium ในช่วง Public Beta โดย Trainium คือกลุ่มชิป AI ที่ออกแบบมาเพื่อมอบประสิทธิภาพสูงและความคุ้มค่าสำหรับงาน Deep Learning ทั้งการฝึกและการอนุมาน AI
TorchNeuron ช่วยให้นักวิทยาศาสตร์และนักวิจัย AI สามารถทดลองและสร้างโมเดลด้วย PyTorch บน Trainium ได้โดยตรง โดยนักพัฒนาสามารถเปิดใช้งานโค้ด PyTorch บน Trainium ได้ง่ายๆ เพียงแค่เปลี่ยนไปใช้ .to(‘neuron’) พร้อมคงความเข้ากันได้เต็มรูปแบบของ PyTorch ทั้ง eager execution, torch.compile และ standard PyTorch APIs
นอกจากนี้ TorchNeuron ยังผสานรวมกับ Neuron Kernel Interface (NKI) เพื่อรองรับ custom operators และการปรับปรุงประสิทธิภาพสำหรับฮาร์ดแวร์ Trainium โดย TorchNeuron พร้อมใช้งานแบบ open source ผ่าน repositry บน github สำหรับ Amazon EC2 Trainium2 และ Amazon EC2 Trainium3
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ TorchNeuron และ AWS Trainium accelerators สามารถดูได้ที่หน้า AWS Neuron
ศัพท์ที่ควรรู้
- AWS Trainium – กลุ่มชิป AI ที่ AWS พัฒนาขึ้นเพื่อเร่งการประมวลผลงาน Deep Learning
- TorchNeuron – Backend แบบ open source ที่ช่วยให้ PyTorch สามารถทำงานบนชิป Trainium ได้โดยตรง
- Public Beta – การเปิดให้ใช้งานรุ่นทดสอบสาธารณะสำหรับผู้ใช้ทดลองก่อนการเปิดตัวเต็มรูปแบบ
- eager execution – โหมดการทำงานของ PyTorch ที่อนุญาตให้โค้ดทำงานตามลำดับการเรียกใช้ทันที
ที่มา: AWS