Sam Saccone และ Madhuri Garikapati ทีมวิศวกรอาวุโสของ Google ได้ชี้ให้เห็นถึงต้นทุนของ ‘agent distraction’ ซึ่งคือการที่ AI coding agents ถูกเบี่ยงเบนด้วย Technical Debt ที่ล้าสมัย เช่น TODO comments หรือเอกสารเก่า ทำให้พวกมันออกไปทำ ‘side-quests’ ที่ไม่ถูกร้องขอ
เอกสารที่ล้าสมัย หรือบั๊กที่แก้ไขไปแล้ว หากยังคงอยู่ในโค้ดเบส จะถูก AI นำไปเป็นบริบทและทำให้เกิดความเข้าใจผิดในการทำงานครั้งต่อไป
จากการวิเคราะห์ข้อมูลการทำงานของนักพัฒนา พบว่าประมาณ 13% ของเซสชันที่เจอ inline TODO/FIXME ทำให้ Agent เข้าไปดำเนินการเกี่ยวกับบั๊กนั้นๆ ใน 6% ของกรณี และใน 41% ของการเบี่ยงเบนนั้น Agent ทำงานในตั๋วที่ปิดไปแล้ว ขณะที่ 57% ทำงานในบั๊กที่ยังเปิดอยู่แต่เกินขอบเขตที่ร้องขอ ซึ่งถูกจัดว่าเป็น ‘scope creep’
การเบี่ยงเบนเหล่านี้เพิ่มภาระงานอย่างมาก โดยทำให้แต่ละเซสชันมีขั้นตอนเพิ่มขึ้น 70% มีการใช้โทเค็นเพิ่มขึ้น 77% และมีเวลารอเพิ่มขึ้น 105% ซึ่งทั้งหมดนี้เกิดขึ้นในขณะที่ต้องจ่ายค่าใช้จ่ายสำหรับโทเค็น
Muhammad Zohaib เสริมว่า ปัญหานี้อาจเกิดขึ้นกับเว็บไซต์เช่นกัน คือข้อมูลที่ล้าสมัยหรือขัดแย้งกันทำให้ AI เลือกคำตอบที่ถูกต้องได้ยาก
ที่มา: infoq.com