การปรับขนาดระบบจัดอันดับด้วย LLM สำหรับงานค้นหาและแนะนำที่อ่อนไหวต่อความหน่วง

ส่วนที่สาม – การปรับให้เหมาะสมสำหรับการอนุมาน

แนวคิดหลักคือการระบุคอขวดที่ไม่ได้มาจากตัว Inference เอง แต่มาจากระบบหรือภาษาที่ใช้ในการให้บริการ ซึ่งการสร้างข้อความจะผ่านเฟส Prefill และ Decode โดยมีการทำนายความน่าจะเป็นของโทเค็นทั้งหมด

มีการเจาะลึกในระดับ Kernel โดยนำเสนอ Custom Item-Aware Attention Mask ใน Flash เพื่อให้ LLM สามารถ ‘ลืม’ งานก่อนหน้าเมื่อเจอ Job ใหม่ และใช้ gc.freeze ของ Python เพื่อคง Object ที่สร้างขึ้นไว้ตลอดอายุการทำงานของเซิร์ฟเวอร์โมเดล

ส่วนที่สี่ – บทเรียนจากระดับ LinkedIn Scale

การปรับปรุงที่สำคัญที่สุดคือการรวบรวมผู้ที่มีส่วนร่วมที่ถูกต้อง และการขจัดอุปสรรคในการสื่อสารเพื่อให้ทุกคนสามารถแบ่งปันความคิดและปรับปรุงระบบโดยรวมได้อย่างมีประสิทธิภาพ

คำถามและคำตอบ

ผู้เข้าร่วมตั้งคำถามถึงการบูรณาการของโครงสร้างพื้นฐาน LLM กับบริการที่มีอยู่เดิมเพื่อรองรับคำขอจำนวนมหาศาลต่อวินาที ซึ่งแตกต่างจากโมเดล Ranker รุ่นก่อนหน้าที่เป็น MLP ขนาดเล็ก

ศัพท์ที่ควรรู้

  • Inference – กระบวนการที่โมเดล AI ถูกนำไปใช้งานจริงเพื่อสร้างผลลัพธ์ เช่น การทำนายหรือการสร้างข้อความ
  • Prefill phase – ขั้นตอนเริ่มต้นในการประมวลผล ซึ่งเป็นส่วนหนึ่งของการสร้างข้อความโดย LLM
  • Decode phase – ขั้นตอนที่ LLM สร้างเอาต์พุตทีละโทเค็น โดยการเลือกโทเค็นที่มีความน่าจะเป็นสูงสุด
  • Item-Aware Attention Mask – กลไกที่ช่วยให้ LLM สามารถให้ความสนใจเฉพาะข้อมูลของงานปัจจุบัน และละเลยงานก่อนหน้าได้
  • gc.freeze – ฟังก์ชันของ Python ที่สั่งให้ Garbage Collector ละเลยและคงสถานะของ Object ไว้ตลอดอายุการทำงานของโมเดลเซิร์ฟเวอร์

ที่มา: infoq.com

Leave a Comment