JioHotstar ได้ประเมิน 6 แนวทางในการช่วยให้ AI coding agents นำทางในฐานโค้ดขนาดใหญ่ และพบว่าการค้นหาโค้ดเชิงโครงสร้างทำงานได้ดีกับงานวิศวกรรมที่ชัดเจน ขณะที่การดึงข้อมูลเชิงความหมายช่วยในข้อกำหนดที่คลุมเครือมากกว่า
Abhishek Bansal, Senior Staff Engineer ที่ JioHotStar ได้เปรียบเทียบเครื่องมือต่างๆ เช่น Sourcebot, Graphify, CocoIndex Code, Repowise และ in-house retrieval-augmented generation (RAG) pipeline โดยใช้ Claude Sonnet เป็นโมเดลในการแก้ปัญหา และวัดผลจากความแม่นยำของงาน การใช้โทเค็น จำนวนครั้งที่ agent ทำงาน และความสามารถในการใช้เครื่องมือ
พบว่า Sourcebot ซึ่งให้การค้นหาข้อความแบบมีดัชนี คำจำกัดความของสัญลักษณ์ การอ้างอิง และการอ่านไฟล์ ทำงานได้ดีกว่า baseline ในงาน SWE-bench Verified ที่ยาก และมีค่าใช้จ่ายน้อยกว่า
การดึงข้อมูลเชิงความหมายช่วยเมื่อ agent ต้องตีความคำอธิบายปัญหาที่คลุมเครือและจับคู่กับรายละเอียดการใช้งานที่ไม่ชัดเจนจากการค้นหาข้อความหรือสัญลักษณ์
อย่างไรก็ตาม JioHotStar แนะนำให้คงเครื่องมือ filesystem เป็น baseline และใช้การค้นหาเชิงโครงสร้างสำหรับปัญหาที่เน้นโค้ดและเฉพาะเจาะจง และใช้ semantic indexing สำหรับข้อกำหนดที่คลุมเครือหรือกว้างขวาง
ศัพท์ที่ควรรู้
- AI coding agents – ตัวแทน AI ที่ถูกออกแบบมาเพื่อช่วยในการเขียนโค้ด
- Codebases – ฐานโค้ดขนาดใหญ่ ซึ่งเป็นชุดของโค้ดโปรเจกต์
- Semantic retrieval – การดึงข้อมูลตามความหมาย ซึ่งช่วยในการทำความเข้าใจบริบทของข้อมูล
- Retrieval-augmented generation (RAG) – เทคนิคที่เสริมการสร้างข้อความโดยการดึงข้อมูลที่เกี่ยวข้องมาประกอบ
- SWE-bench Verified – ชุดทดสอบมาตรฐานสำหรับงานวิศวกรรมซอฟต์แวร์
ที่มา: infoq.com