ปัจจุบันมีธุรกิจกว่าหนึ่งล้านแห่งทั่วโลกกำลังใช้ AI เพื่อขับเคลื่อนประสิทธิภาพและสร้างมูลค่า และ ‘evals’ ซึ่งคือวิธีการวัดผลและปรับปรุงความสามารถของระบบ AI ให้ตรงตามความคาดหวังนั้น เปรียบเสมือนเอกสารข้อกำหนดผลิตภัณฑ์ (product requirement documents) ที่ช่วยทำให้เป้าหมายที่คลุมเครือกลายเป็นสิ่งที่เฉพาะเจาะจงและชัดเจน
การใช้ evals อย่างมีกลยุทธ์สามารถทำให้ผลิตภัณฑ์ที่ผู้ใช้เห็นหรือเครื่องมือภายในมีความน่าเชื่อถือมากขึ้นในระดับสเกล ลดข้อผิดพลาดร้ายแรง ปกป้องความเสี่ยง และมอบเส้นทางที่วัดผลได้สำหรับองค์กรในการเพิ่ม ROI ซึ่งทีมวิจัยของ OpenAI ก็ใช้ frontier evals ในการวัดประสิทธิภาพของโมเดลเช่นกัน
2. วัดผล: ทดสอบตามสภาวะโลกจริง
ผู้เชี่ยวชาญในโดเมนของคุณจำเป็นต้องตรวจสอบความถูกต้องของ LLM graders เป็นประจำ และควรทบทวนบันทึกพฤติกรรมของระบบโดยตรงด้วย
Evals สามารถช่วยตัดสินใจได้ว่าระบบพร้อมสำหรับการเปิดตัวแล้วหรือไม่ แต่กระบวนการนี้ไม่ได้หยุดอยู่แค่ตอนเปิดตัวเท่านั้น
3. ปรับปรุง: เรียนรู้จากข้อผิดพลาด
การแก้ไขปัญหาที่พบจาก eval สามารถทำได้หลายวิธี เช่น การปรับปรุง prompt, การปรับการเข้าถึงข้อมูล หรือการอัปเดต eval เพื่อให้สะท้อนเป้าหมายของคุณได้ดีขึ้น การนำกระบวนการนี้ไปใช้ในระดับสเกลจะสร้างชุดข้อมูลเฉพาะบริบทที่มีคุณค่าสูง
สิ่งที่ evals หมายถึงสำหรับผู้นำธุรกิจ
เป้าหมายที่ชัดเจน ข้อเสนอแนะโดยตรง การตัดสินใจอย่างรอบคอบ และความเข้าใจที่ชัดเจนเกี่ยวกับคุณค่า กลยุทธ์ และกระบวนการของคุณยังคงมีความสำคัญอย่างยิ่ง
ที่มา: OpenAI