เราสามารถเปลี่ยนหลักฐานจากการทำงานจริงให้เป็นปัญหาที่จัดลำดับความสำคัญและการประเมินเฉพาะทาง ซึ่งช่วยปรับปรุง Prompt, เครื่องมือ, โมเดล, หน่วยความจำ, ทักษะ และโค้ดของ Agent ได้
Agent อาจเลือกใช้เครื่องมือผิด, เดินตาม Workflow ผิด, ขาดบริบทที่เกี่ยวข้อง, ใช้โมเดลที่สิ้นเปลืองเกินความจำเป็น หรือทำงานเสร็จโดยไม่ตรงตามข้อกำหนดเฉพาะของโดเมน
การทำงานนี้ใช้ NVIDIA NeMo Compass เพื่อระบุความล้มเหลวใน Trace ที่บันทึกไว้ และใช้ NVIDIA NeMo Eval Author เพื่อสร้างการประเมินและปรับปรุงคำสั่งของ Agent ก่อนเปรียบเทียบผลลัพธ์ในงานพัฒนาและงานที่ถูกกันไว้
ในตัวอย่างนี้ เราใช้ Hermes enterprise assistant ซึ่งเชื่อมต่อกับแชท อีเมล ไฟล์ และตั๋วของบริษัท ผ่าน Model Context Protocol (MCP) เป็นตัวแทนของ Agent ที่ถูกปรับปรุง
เมื่อนำไปใช้กับ LEO ซึ่งเป็น Virtual Companion ด้านวิศวกรรมของ Dassault Systèmes เพื่อเสนอการเปลี่ยนแปลงการออกแบบประตูรถยนต์ พบว่าสามารถปรับปรุงกระบวนการออกแบบให้มีคะแนนการประเมินโดยรวมดีขึ้น 28% และลดการเรียกใช้เครื่องมือลง 35% ในเวลาประมาณ 12 ชั่วโมง โดยไม่มีการถดถอยในสถานการณ์อื่น
ศัพท์ที่ควรรู้
- Agent – คือระบบอัตโนมัติที่ทำงานตามคำสั่งและมีส่วนประกอบต่างๆ เช่น เครื่องมือและโมเดล
- NVIDIA NeMo Compass – เป็นเครื่องมือที่ช่วยลดชุดข้อมูลการทำงาน (trace corpus) ขนาดใหญ่ให้กลายเป็นรายการปัญหาที่มีโครงสร้าง
- Model Context Protocol (MCP) – คือโปรโตคอลที่ใช้ในการเชื่อมต่อ Agent เข้ากับระบบภายนอก เช่น แชท อีเมล หรือไฟล์
- Trace – คือบันทึกการทำงานทั้งหมดของ Agent ในระหว่างที่ปฏิบัติภารกิจ
ที่มา: developer.nvidia.com