Meta เปิดตัว JiTTests ใช้ LLM สร้างเทสต์จับบั๊กก่อนโค้ดเข้าสู่ระบบ

Meta JiTTests คือชุดทดสอบที่สร้างโดย LLM ซึ่งถูกออกแบบมาให้ล้มเหลวเมื่อมีการเปลี่ยนแปลงโค้ดที่นำมาซึ่งบั๊ก

ต่างจากชุดทดสอบการเสริมความแข็งแกร่งแบบดั้งเดิมที่ผ่านเมื่อถูกเขียนขึ้นและป้องกันการเกิด Regression ในอนาคต ชุดทดสอบเหล่านี้จะมุ่งเป้าไปที่การเปลี่ยนแปลงที่อยู่ระหว่างการตรวจสอบ ก่อนที่มันจะถูกนำไปใช้จริง

Meta ได้นำเสนอรายละเอียดของแนวทางนี้ในเอกสารปี 2025 ชื่อ “Harden and Catch” โดยทีมงานยอมรับว่าวิธีการนี้ต้องใช้การคำนวณมากกว่า แต่เชื่อว่าสามารถจับกลุ่มบั๊กที่เครื่องมือ LLM หรือ Agent ทั่วไปอาจมองข้ามไปได้

กระบวนการทำงานของ JiTTests จะเริ่มต้นด้วยการอนุมานว่าการเปลี่ยนแปลงนั้นควรทำอะไร โดยดูจากโค้ด ชื่อ และสรุป จากนั้นจะระบุความเสี่ยง สร้าง Mutant สำหรับแต่ละรายการ และเขียนเทสต์เพื่อกำจัดความเสี่ยงเหล่านั้น

เมื่อเทสต์เหล่านี้ล้มเหลวกับโค้ดจริง จึงจะถือว่าเป็น “การจับที่อ่อนแอ” (weak catches)

ศัพท์ที่ควรรู้

  • LLM – Large Language Model คือแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการสร้างโค้ดทดสอบขึ้นมา JiTTests – คือชุดทดสอบที่สร้างโดย LLM ซึ่งถูกออกแบบมาให้ล้มเหลวเมื่อมีการเปลี่ยนแปลงโค้ดที่นำมาซึ่งบั๊ก Privacy SEVs – คือช่องโหว่ด้านความเป็นส่วนตัว (Security Vulnerabilities) ที่ถูกตรวจพบในระหว่างการทดสอบ Diff – คือการเปลี่ยนแปลงโค้ดระหว่างสองเวอร์ชันที่นำมาเปรียบเทียบกัน Mutant – คือการเปลี่ยนแปลงเล็กน้อยที่ถูกสร้างขึ้นจากโค้ดต้นฉบับเพื่อใช้ในการทดสอบ

ที่มา: marktechpost.com

Leave a Comment