ส่วนที่สาม – การปรับให้เหมาะสมสำหรับการอนุมาน
แนวคิดหลักคือการระบุคอขวดที่ไม่ได้มาจากตัว Inference เอง แต่มาจากระบบหรือภาษาที่ใช้ในการให้บริการ ซึ่งการสร้างข้อความจะผ่านเฟส Prefill และ Decode โดยมีการทำนายความน่าจะเป็นของโทเค็นทั้งหมด
มีการเจาะลึกในระดับ Kernel โดยนำเสนอ Custom Item-Aware Attention Mask ใน Flash เพื่อให้ LLM สามารถ ‘ลืม’ งานก่อนหน้าเมื่อเจอ Job ใหม่ และใช้ gc.freeze ของ Python เพื่อคง Object ที่สร้างขึ้นไว้ตลอดอายุการทำงานของเซิร์ฟเวอร์โมเดล
ส่วนที่สี่ – บทเรียนจากระดับ LinkedIn Scale
การปรับปรุงที่สำคัญที่สุดคือการรวบรวมผู้ที่มีส่วนร่วมที่ถูกต้อง และการขจัดอุปสรรคในการสื่อสารเพื่อให้ทุกคนสามารถแบ่งปันความคิดและปรับปรุงระบบโดยรวมได้อย่างมีประสิทธิภาพ
คำถามและคำตอบ
ผู้เข้าร่วมตั้งคำถามถึงการบูรณาการของโครงสร้างพื้นฐาน LLM กับบริการที่มีอยู่เดิมเพื่อรองรับคำขอจำนวนมหาศาลต่อวินาที ซึ่งแตกต่างจากโมเดล Ranker รุ่นก่อนหน้าที่เป็น MLP ขนาดเล็ก
ศัพท์ที่ควรรู้
- Inference – กระบวนการที่โมเดล AI ถูกนำไปใช้งานจริงเพื่อสร้างผลลัพธ์ เช่น การทำนายหรือการสร้างข้อความ
- Prefill phase – ขั้นตอนเริ่มต้นในการประมวลผล ซึ่งเป็นส่วนหนึ่งของการสร้างข้อความโดย LLM
- Decode phase – ขั้นตอนที่ LLM สร้างเอาต์พุตทีละโทเค็น โดยการเลือกโทเค็นที่มีความน่าจะเป็นสูงสุด
- Item-Aware Attention Mask – กลไกที่ช่วยให้ LLM สามารถให้ความสนใจเฉพาะข้อมูลของงานปัจจุบัน และละเลยงานก่อนหน้าได้
- gc.freeze – ฟังก์ชันของ Python ที่สั่งให้ Garbage Collector ละเลยและคงสถานะของ Object ไว้ตลอดอายุการทำงานของโมเดลเซิร์ฟเวอร์
ที่มา: infoq.com