Meta JiTTests คือชุดทดสอบที่สร้างโดย LLM ซึ่งถูกออกแบบมาให้ล้มเหลวเมื่อมีการเปลี่ยนแปลงโค้ดที่นำมาซึ่งบั๊ก
ต่างจากชุดทดสอบการเสริมความแข็งแกร่งแบบดั้งเดิมที่ผ่านเมื่อถูกเขียนขึ้นและป้องกันการเกิด Regression ในอนาคต ชุดทดสอบเหล่านี้จะมุ่งเป้าไปที่การเปลี่ยนแปลงที่อยู่ระหว่างการตรวจสอบ ก่อนที่มันจะถูกนำไปใช้จริง
Meta ได้นำเสนอรายละเอียดของแนวทางนี้ในเอกสารปี 2025 ชื่อ “Harden and Catch” โดยทีมงานยอมรับว่าวิธีการนี้ต้องใช้การคำนวณมากกว่า แต่เชื่อว่าสามารถจับกลุ่มบั๊กที่เครื่องมือ LLM หรือ Agent ทั่วไปอาจมองข้ามไปได้
กระบวนการทำงานของ JiTTests จะเริ่มต้นด้วยการอนุมานว่าการเปลี่ยนแปลงนั้นควรทำอะไร โดยดูจากโค้ด ชื่อ และสรุป จากนั้นจะระบุความเสี่ยง สร้าง Mutant สำหรับแต่ละรายการ และเขียนเทสต์เพื่อกำจัดความเสี่ยงเหล่านั้น
เมื่อเทสต์เหล่านี้ล้มเหลวกับโค้ดจริง จึงจะถือว่าเป็น “การจับที่อ่อนแอ” (weak catches)
ศัพท์ที่ควรรู้
- LLM – Large Language Model คือแบบจำลองภาษาขนาดใหญ่ที่ใช้ในการสร้างโค้ดทดสอบขึ้นมา JiTTests – คือชุดทดสอบที่สร้างโดย LLM ซึ่งถูกออกแบบมาให้ล้มเหลวเมื่อมีการเปลี่ยนแปลงโค้ดที่นำมาซึ่งบั๊ก Privacy SEVs – คือช่องโหว่ด้านความเป็นส่วนตัว (Security Vulnerabilities) ที่ถูกตรวจพบในระหว่างการทดสอบ Diff – คือการเปลี่ยนแปลงโค้ดระหว่างสองเวอร์ชันที่นำมาเปรียบเทียบกัน Mutant – คือการเปลี่ยนแปลงเล็กน้อยที่ถูกสร้างขึ้นจากโค้ดต้นฉบับเพื่อใช้ในการทดสอบ
ที่มา: marktechpost.com