บทนำ
ปริมาณโทเค็นที่สูงไม่ได้แปลว่าประสบการณ์ผู้ใช้ในแอปพลิเคชัน LLM นั้นรวดเร็วเสมอไป เพราะโทเค็นแรกอาจใช้เวลานาน หรือโทเค็นถัดไปอาจถูกส่งช้า โดยเฉพาะภายใต้ภาระงานพร้อมกัน การวัดตัวชี้วัดการอนุมาน LLM จึงช่วยแบ่งประสิทธิภาพออกเป็นองค์ประกอบที่วัดผลได้ ตั้งแต่ความล่าช้าในการตอบสนองครั้งแรกไปจนถึงความเร็วในการสร้างโทเค็นและภาระของระบบโดยรวม
บทความนี้ครอบคลุมตัวชี้วัดสำคัญ 9 ประการ สูตร และวิธีการนำไปใช้เพื่อประเมินความหน่วง ระบุคอขวด และติดตามประสิทธิภาพตามกาลเวลา
การวัดความหน่วง
แอปพลิเคชันแชทแบบโต้ตอบจะให้ความสนใจกับตัวเลขนี้มากที่สุด เพราะมันกำหนดระยะเวลาที่ผู้ใช้ต้องจ้องมองหน้าจอว่างเปล่า ควรคำนวณเปอร์เซ็นไทล์จากตัวอย่างดิบของเซิร์ฟเวอร์ทั้งหมดรวมกัน เนื่องจากค่าเฉลี่ย P99 ต่อเซิร์ฟเวอร์นั้นไม่เท่ากับ P99 ของการรับส่งข้อมูลรวมทั้งหมด
การวัดปริมาณงานและการรับข้อมูลที่ดี
RPS (Requests Per Second) ละเลยว่าแต่ละคำขอมีปริมาณงานมากน้อยเพียงใด ดังนั้นควรเปรียบเทียบเฉพาะการรันที่มีส่วนผสมของความยาวพรอมต์และเอาต์พุตเดียวกัน นอกจากนี้ ควรระบุว่าตัวเลขที่อ้างถึงนั้นมาจากรูปแบบใด เนื่องจากภาระงานที่มีพรอมต์ยาวแต่คำตอบสั้น อาจมี TPS อินพุตสูง แต่ให้เอาต์พุตโทเค็นน้อย
สรุป
ผู้เขียนได้กล่าวถึงการเขียนโปรแกรม วิทยาศาสตร์ข้อมูล การเรียนรู้ของเครื่อง และ AI โดยเน้นการทำให้แนวคิดทางเทคนิคที่ซับซ้อนสามารถนำไปใช้ได้จริงและเข้าใจง่าย เธอสร้างบทช่วยสอน คู่มือการใช้งาน และการเจาะลึกเพื่อช่วยให้นักพัฒนาสร้าง แก้ปัญหา และทำความเข้าใจแนวคิดทางเทคนิคที่ซับซ้อน โดยมีความสนใจทางเทคนิคใน LLM applications, agentic AI, graph algorithms, computer vision, explainable AI และ ML systems
ศัพท์ที่ควรรู้
- LLM – Large Language Model คือโมเดลภาษาขนาดใหญ่ที่ใช้ในการประมวลผลภาษาธรรมชาติ
- Inference – การอนุมาน คือกระบวนการที่โมเดลถูกนำไปใช้งานจริงเพื่อสร้างผลลัพธ์
- Token Throughput – อัตราการส่งผ่านโทเค็น คือปริมาณข้อมูลที่โมเดลประมวลผลได้ในหนึ่งหน่วยเวลา
- Latency – ความหน่วง คือเวลาตั้งแต่เริ่มคำขอจนถึงได้รับผลลัพธ์ทั้งหมด
- RPS – Requests Per Second คืออัตราจำนวนคำขอที่ระบบรองรับได้ต่อวินาที
ที่มา: kdnuggets.com