การใช้งานนี้มีความสำคัญอย่างยิ่งเมื่อองค์กรเปลี่ยนจากการใช้แชทบอทที่ตอบคำถามเดี่ยว ไปสู่เอเจนต์ที่สามารถเปลี่ยนคำขอเดียวให้กลายเป็นกิจกรรมของคณะกรรมการขนาดเล็กได้
เอเจนต์ของคุณมีปัญหาการทำซ้ำ
ในสถานการณ์ที่เอเจนต์หลายตัวทำงานร่วมกัน เช่น ตัวหนึ่งดึงข้อมูล อีกตัวหนึ่งประเมิน อีกตัวหนึ่งตรวจสอบผลลัพธ์ และขั้นตอนถัดไปกลับไปดูวัสดุที่ประมวลผลไปแล้ว สิ่งนี้ทำให้เกิดการใช้ซ้ำของข้อมูล
เร็วขึ้นยี่สิบเท่าพร้อมตัวหาร
การทดสอบที่ Kamiwaza รับรองนั้นใช้ NVIDIA Nemotron 70B และเอเจนต์พร้อมกันมากกว่า 30 ตัว ภายใต้การอนุมานแบบ Multi-agent ในบริบทขนาดใหญ่ การที่เอเจนต์หลายตัวอ้างอิงวัสดุที่ทับซ้อนกันนั้นแตกต่างจากการป้อนพร้อมท์สั้นๆ ที่ไม่มีบริบทร่วมกันอย่างสิ้นเชิง ดังนั้นผู้ซื้อควรพิจารณาการเปรียบเทียบอย่างรอบคอบว่านั้นคือภาระงานเดียวกันหรือไม่
ขยะที่เข้าก็ยังต้องจ่ายเงิน
การย้ายขั้นตอนการเตรียมข้อมูลไปใกล้กับที่ข้อมูลถูกจัดเก็บนั้นดีกว่าการปล่อยให้แต่ละทีมแอปพลิเคชันต้องสร้างไปป์ไลน์การเตรียมข้อมูลปลายน้ำขึ้นมาใหม่ การนำ KV cache กลับมาใช้ใหม่ช่วยลดภาระการประมวลผล แต่ไม่ได้ทำให้คำตอบที่สร้างขึ้นเล็กลง หรือบังคับให้ผู้ให้บริการ API ต้องลดบิลของตนเอง
นอกเหนือจากช่องทำเครื่องหมายแคช
การทดสอบในทางปฏิบัติสำหรับองค์กรที่ต้องการได้รับประโยชน์สูงสุดจาก AI คือการที่การเตรียมข้อมูล การกำกับดูแล และการนำแคชกลับมาใช้ใหม่ทำงานร่วมกันเป็นระบบเดียวได้อย่างราบรื่น
ที่มา: The Register
ศัพท์ที่ควรรู้
- Inference – การอนุมาน คือกระบวนการที่โมเดล AI ถูกนำมาใช้ในการคาดการณ์หรือให้ผลลัพธ์หลังจากที่ได้รับการฝึกฝนแล้ว
- GPU – Graphics Processing Unit คือชิปคอมพิวเตอร์ที่ถูกออกแบบมาเพื่อประมวลผลกราฟิกและงานแบบขนานจำนวนมาก ซึ่งรวมถึงการประมวลผล AI ด้วย
- KV cache – Key-Value cache คือกลไกที่ใช้เก็บข้อมูลระหว่างการอนุมาน เพื่อป้องกันการคำนวณซ้ำของโมเดล AI ทำให้การตอบสนองเร็วขึ้น
- Offload – การถ่ายโอน คือการย้ายภาระงานหรือข้อมูลจากส่วนหนึ่งไปยังอีกส่วนหนึ่งเพื่อเพิ่มประสิทธิภาพหรือลดภาระ
- Multi-agent inference – การอนุมานแบบหลายเอเจนต์ คือการที่หลายตัวแทน (Agent) ของ AI ทำงานร่วมกันเพื่อแก้ไขปัญหาที่ซับซ้อน