Netflix Pensive คู่ควรกับการอ่านซ้ำ เพราะส่วนสำคัญทางวิศวกรรมไม่ได้อยู่ที่การแสดงความคิดเห็นของโมเดลเท่านั้น
เมื่อเปรียบเทียบโหมดความล้มเหลว (Failure Mode) ของ Netflix กับสิ่งที่โมเดลสร้างขึ้น พบว่าการจัดการกับปัญหาต่างๆ เช่น การมี log grounding แบบ always-on หรือการแบ่งแบบสองระดับ (two-tier split) มีความสำคัญอย่างยิ่งในการลดข้อผิดพลาด
การนำเสนอของ Netflix แสดงให้เห็นถึงการจัดการกับปัญหา เช่น การมี immutable unit of work และ cache เพื่อให้ได้คำตอบที่สอดคล้องกัน และการใช้ timeout ของ Maestro ที่ 90 วินาที
การปรับปรุงอย่างต่อเนื่อง เช่น การมี feedback loop ที่เชื่อมโยงกับ trace หรือการใช้ retrieval augmentation เพื่อให้มีหลักฐานภายนอกรองรับ เป็นส่วนสำคัญในการลดการสร้างข้อมูลเท็จของโมเดล
ศัพท์ที่ควรรู้
- LLM – โมเดลภาษาขนาดใหญ่ที่ใช้ในการประมวลผลและสร้างข้อความ
- Hallucination – การที่โมเดลสร้างข้อมูลที่ไม่ถูกต้องหรือไม่มีอยู่จริงขึ้นมาว่าเป็นความจริง
- Spark job – งานประมวลผลที่รันบนเฟรมเวิร์ก Apache Spark ซึ่งใช้ในการประมวลผลข้อมูลขนาดใหญ่
- Data skew – ความไม่สมดุลของข้อมูลที่ทำให้การประมวลผลบางส่วนทำงานหนักกว่าส่วนอื่นอย่างมาก
- Container-killed error – ข้อผิดพลาดที่เกิดจากการที่คอนเทนเนอร์ถูกยุติกลางคัน
ที่มา: pastagi.com