Memory bottlenecks กำลังกลายเป็นปัญหาด้านต้นทุนที่ใหญ่ที่สุดในโครงสร้างพื้นฐาน AI เนื่องจาก Inference เข้ามาแทนที่ Training ซึ่งตามคำกล่าวของ Preet Virk จาก Marvell นั้น การปรับปรุงนี้ช่วยเพิ่มประสิทธิภาพในศูนย์ข้อมูลที่องค์กรได้ลงทุนไปแล้ว
Penguin’s MemoryAI Photonic Appliance ได้ย้าย HBM ไปไว้ในตู้แยกซึ่งอยู่ห่างจาก GPU หลายสิบเมตร โดยเชื่อมต่อผ่าน Photonic Fabric ของ Marvell เพื่อให้มั่นใจว่า LLM จะไม่ลืมบริบทที่เคยคุยกันเมื่อ 10 นาทีก่อน
ส่วน John Furrier ได้กล่าวถึงบทบาทของ SiliconANGLE Media ในฐานะผู้นำด้านนวัตกรรมสื่อดิจิทัล ซึ่งครอบคลุมเครือข่ายต่างๆ เช่น theCUBE Research และการใช้ theCUBE AI Video Cloud เพื่อช่วยให้บริษัทเทคโนโลยีตัดสินใจจากข้อมูลและก้าวทันการสนทนาในอุตสาหกรรม
ศัพท์ที่ควรรู้
- Inference – การอนุมาน คือขั้นตอนการนำโมเดล AI ที่ฝึกแล้วไปใช้งานจริงเพื่อสร้างผลลัพธ์
- Training – การฝึกฝน คือกระบวนการสอนและปรับปรุงโมเดล AI ให้เรียนรู้จากข้อมูล
- Memory bottlenecks – คอขวดด้านหน่วยความจำ คือข้อจำกัดของความเร็วในการเข้าถึงหรือถ่ายโอนข้อมูลระหว่างหน่วยความจำ
- Photonic Fabric – โครงสร้างใยแก้วนำแสง คือเทคโนโลยีที่ใช้ในการเชื่อมต่ออุปกรณ์ต่างๆ ด้วยความเร็วสูง
ที่มา: siliconangle.com