การนำ AI มาใช้ในบริการทางการเงินนั้นต้องอาศัยความเชื่อมั่นว่าเทคโนโลยีนั้นจะสร้างมูลค่าได้อย่างมหาศาล พร้อมทั้งต้องผ่านมาตรฐานด้านคุณภาพและความน่าเชื่อถือที่เข้มงวดของบริษัท Morgan Stanley จึงได้นำกรอบการประเมิน (eval framework) มาใช้ทดสอบทุกกรณีการใช้งานของ AI ก่อนนำไปใช้งานจริง
ทีมงานเริ่มต้นด้วยสามเป้าหมายหลักสำหรับการใช้งาน AI ครั้งแรก ได้แก่ การค้นหาข้อมูลที่รวดเร็วกว่าเพื่อประหยัดเวลาในการค้นหาเอกสารของผู้ให้คำปรึกษา การทำงานอัตโนมัติในงานซ้ำซาก และการให้ข้อมูลเชิงลึกที่ปรับให้เข้ากับความต้องการของลูกค้า
ในการประเมินประสิทธิภาพของ GPT-4 ทีมงานได้ทำการทดสอบการสรุป (summarization evals) เพื่อดูว่าโมเดลสามารถกลั่นกรององค์ความรู้และเนื้อหาที่ต้องผ่านกระบวนการให้เป็นบทสรุปที่กระชับได้อย่างไร โดยผู้ให้คำปรึกษาและ Prompt engineer จะให้คะแนน AI ในด้านความแม่นยำและความสอดคล้อง
กรอบการประเมินนี้มีการพัฒนาอย่างต่อเนื่อง โดยมีการเพิ่ม Translation evals สำหรับลูกค้าที่ใช้หลายภาษา และทำงานร่วมกับ OpenAI เพื่อปรับปรุงวิธีการดึงข้อมูล ทำให้สามารถรองรับคลังเอกสารที่ขยายตัวได้อย่างต่อเนื่อง
David Wu หัวหน้าฝ่ายกลยุทธ์ผลิตภัณฑ์และสถาปัตยกรรม AI ท่ามกลางการปรับปรุงนี้ ทำให้สามารถตอบคำถามจากคลังข้อมูล 100,000 ฉบับ แทนที่จะเป็น 7,000 คำถามก่อนหน้า ซึ่งช่วยลดอุปสรรคระหว่างความรู้และการสื่อสาร ทำให้ที่ปรึกษาสามารถพูดคุยกับลูกค้าในหัวข้อใหม่ๆ ได้อย่างราบรื่น
ศัพท์ที่ควรรู้
- AI – ปัญญาประดิษฐ์ คือเทคโนโลยีที่ทำให้คอมพิวเตอร์สามารถทำงานที่ต้องใช้สติปัญญาของมนุษย์ได้
- GPT-4 – คือโมเดลภาษาขนาดใหญ่ (Large Language Model) ที่ถูกนำมาทดสอบประสิทธิภาพในการสรุปและตอบคำถาม
- Eval framework – คือกรอบการประเมินที่ใช้ทดสอบและวัดผลว่า AI ทำงานได้ตามมาตรฐานที่กำหนดหรือไม่
- Prompt engineer – คือผู้ที่ออกแบบและปรับปรุงคำสั่ง (Prompt) ที่ป้อนให้กับ AI เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด
ที่มา: OpenAI