ตั้งแต่ประกาศ Jalapeño ซึ่งเป็นชิปอนุมานที่พัฒนาขึ้นเองครั้งแรกของ OpenAI เราได้ทำการทดสอบชิปและระบบที่สร้างขึ้นรอบๆ มันอย่างต่อเนื่อง
สถาปัตยกรรมเพื่อความเร็วและประสิทธิภาพในชิปเดียว
นี่หมายความว่าสถานะของโมเดล รวมถึง KV cache ที่ใช้ระหว่างการสร้างการตอบกลับ สามารถถูกกำหนดตำแหน่งและเก็บไว้ในเครื่องได้อย่างชัดเจน ขณะที่ระบบเปิดใช้งานการผสมผสานระหว่างคอมพิวต์ หน่วยความจำ และเครือข่ายที่เหมาะสมสำหรับแต่ละเฟสของการอนุมาน
ขอบเขตขนาดใหญ่ของมันช่วยให้ภาระงานทั้งหมดคงอยู่ในระบบที่เชื่อมต่อกันเดียว ลดการเคลื่อนย้ายข้อมูล และช่วยให้คำขอทั้งหมดรวดเร็วและมีประสิทธิภาพตั้งแต่ต้นจนจบ ทำให้เกิดตัวเร่งที่มีความสมดุลและใช้งานได้หลากหลาย รองรับสถาปัตยกรรมโมเดลที่เปลี่ยนแปลง และทำงานได้ดีทั้งในส่วน prefill และ decode ซึ่งเป็นลักษณะสำคัญของภาระงานแบบ agentic
เราใช้ AI ในการออกแบบชิป และออกแบบชิปเพื่อให้ AI สามารถตั้งโปรแกรมได้
AI มีบทบาทโดยตรงในการพัฒนา Jalapeño โดยช่วยให้ทีมสามารถก้าวจากงานออกแบบเริ่มต้นสู่การผลิตได้ภายในเก้าเดือน ด้วยการสำรวจการใช้งานต่างๆ และการย่อวงจรการออกแบบ การวัด และการตรวจสอบ รวมถึงการปรับปรุงภาระงานของโมเดลอย่างต่อเนื่อง
Jalapeño นำหน้าในจุดปฏิบัติการของ GPT‑OSS
เปรียบเทียบประสิทธิภาพสูงสุดและปริมาณงานที่ตรงกัน InferenceX · GPT‑OSS‑120B · ค่ามาตรฐาน 8k/1k · STP · TDP แพ็กเกจ: Jalapeño 700 W; GB200 1,200 W สูงกว่า TPS ผสมสูงสุด/kW ≈1.9× 85,448 เทียบกับ 44,960 ผสม/kW ความหน่วงแบบ end-to-end ต่ำสุด ≈1.7× 1.03 วินาที เทียบกับ 1.80 วินาที TBT ต่ำสุด ≈2.7× 0.69 เทียบกับ 1.87 มิลลิวินาที
Jalapeño นำหน้าในจุดปฏิบัติการของ DeepSeek R1
เปรียบเทียบประสิทธิภาพสูงสุดและปริมาณงานที่ตรงกัน InferenceX · DeepSeek R1 MXFP4 · ค่ามาตรฐาน 8k/1k · STP · TDP แพ็กเกจ: Jalapeño 700 W; GB300 1,400 W สูงกว่า TPS ผสมสูงสุด/kW ≈1.7× 19,641 เทียบกับ 11,781 ผสม/kW ความหน่วงแบบ end-to-end ต่ำสุด ≈3.6× 1.65 วินาที เทียบกับ 5.99 วินาที TBT ต่ำสุด ≈4.1× 1.43 เทียบกับ 5.90 มิลลิวินาที
ศัพท์ที่ควรรู้
- Inference – การอนุมาน คือกระบวนการที่โมเดล AI ทำการคาดการณ์หรือให้ผลลัพธ์จากข้อมูลที่ป้อนเข้าไป
- KV cache – คือส่วนของหน่วยความจำที่เก็บข้อมูลระหว่างการสร้างการตอบกลับของโมเดล ทำให้การประมวลผลครั้งต่อไปรวดเร็วขึ้น
- Agentic workloads – คือภาระงานของ AI ที่มีความสามารถในการทำงานต่อเนื่องและตัดสินใจได้ด้วยตนเอง
- Tapeout – คือขั้นตอนสุดท้ายในการออกแบบชิป ก่อนที่จะเข้าสู่กระบวนการผลิตจริง
ที่มา: OpenAI