XSE ซึ่งเป็นระบบที่รองรับบริการต่างๆ ของ Google เช่น Search, Ads และ YouTube Shorts สามารถจัดการคำขอได้ถึงหกล้านครั้งต่อวินาที โดยการนำเสนอโมเดลผ่าน C++ runtime ที่ใช้ XLA แทนการพึ่งพา Python ทั้งหมด
XSE ไม่ได้ออกแบบมาสำหรับ LLM Inference ขนาดใหญ่ แต่เหมาะสำหรับโมเดลขนาดเล็กที่เน้นงานเฉพาะทาง ซึ่งพบได้มากใน Google โดยในการทดสอบของ Google พบว่า XSE ให้ Throughput ได้สูงกว่าเซิร์ฟเวอร์ Python ที่ปรับให้เหมาะสมที่สุดถึงสองถึงห้าเท่า ขณะใช้หน่วยความจำเพียงหนึ่งในสี่
เครื่องมือส่งออกจะบรรจุการคำนวณของโมเดลในรูปแบบ StableHLO ซึ่งเป็นตัวแทนกลางที่พกพาได้ พร้อมกับน้ำหนักที่ฝึกฝนใน “XLA SavedModel” และ C++ serving runtime จะใช้ XLA เพื่อคอมไพล์การคำนวณเหล่านั้นเป็นโค้ดเนทีฟสำหรับซิลิคอนเป้าหมาย
XLA SavedModels สามารถทำงานบนทั้ง GPU และ CPU โดย Google ได้ร่วมมือกับ Arm และ Intel เพื่อพัฒนาระบบนิเวศ XLA นี้
ที่มา: The Register