ต้นทุนที่ใหญ่ที่สุดในระบบ Generative AI คือการเรียกใช้โมเดล หากทุกงานถูกส่งผ่าน Large Language Model (LLM) แม้แต่การตรวจสอบอินพุต ก็จะทำให้ต้นทุนสูงขึ้นอย่างมากเมื่อขยายขนาดการผลิต
บทความนี้เสนอแนวทางในการใช้ระบบที่รวดเร็วกว่า เช่น การใช้กฎเกณฑ์ที่กำหนดไว้ล่วงหน้า (deterministic rule) เพื่อลดการเรียกใช้โมเดล ซึ่งช่วยประหยัดค่าใช้จ่าย ลดความหน่วง และกำจัดแหล่งที่มาของความไม่แน่นอน
ตัดสินใจ ไม่ใช่สร้าง
Strands Decider เป็นโมเดลการตัดสินใจแบบ open source ที่ให้คะแนนตามเกณฑ์ที่กำหนด ในขณะที่ Trained classifier บน Amazon SageMaker AI สามารถให้ความน่าจะเป็นของคลาสได้ด้วยความหน่วงและต้นทุนต่ำ
รูปแบบเส้นทางด่วนแบบกำหนดได้
ข้อความจำนวนมากมีสัญญาณที่ชัดเจน เช่น “refund” หรือ “reset my password” ซึ่งสามารถแก้ไขได้ด้วยการจับคู่คีย์เวิร์ดในระดับมิลลิวินาที ควรจำกัดกฎให้อยู่ในรูปแบบที่ทราบ เช่น regular expressions, schema checks หรือ keyword lists
เมื่อต้องใช้โมเดล ให้ปรับขนาดให้เหมาะสม
ควรมีการกำหนด ‘Quality floor’ ซึ่งคือคุณภาพขั้นต่ำที่ยอมรับได้ โดยใช้ golden evaluation set ในการวัดผล และ Amazon Bedrock มีหลายโมเดลให้เลือกเพื่อให้สามารถปรับขนาดงานให้เหมาะสมได้
พิจารณาการเลือกโมเดลเป็นส่วนหนึ่งของการตั้งค่าที่ผ่านการทดสอบ
Generative AI Lens แนะนำให้ทดสอบโมเดลผู้สมัครกับข้อมูลจริง (ground truth data) และมีวิธีการอัปเดตโมเดลได้อย่างรวดเร็ว
ศัพท์ที่ควรรู้
- Generative AI – ปัญญาประดิษฐ์ที่สร้างสรรค์ เช่น การสร้างข้อความหรือรูปภาพ
- Large Language Model (LLM) – โมเดล AI ขนาดใหญ่ที่ใช้ในการประมวลผลภาษาธรรมชาติ
- Deterministic rule – กฎเกณฑ์ที่ให้ผลลัพธ์ที่แน่นอนและคาดเดาได้เสมอเมื่อได้รับอินพุตเดียวกัน
- Strands Decider – โมเดลการตัดสินใจแบบทดลองที่ช่วยเลือกจากตัวเลือกหรือให้คะแนนตามเกณฑ์
- Golden evaluation set – ชุดข้อมูลตัวอย่างที่มีคำตอบที่ถูกต้องทราบอยู่แล้ว ใช้สำหรับวัดคุณภาพของโมเดล
ที่มา: AWS