เมื่อรัน coding agent ระดับแนวหน้าในการแข่งขัน Titanic ของ Kaggle เป็นเวลาหนึ่งชั่วโมง ผลลัพธ์ที่ดีที่สุดที่ทำได้จากการลองสองครั้งคือความแม่นยำ 72.96%
การศึกษาเมื่อปี 2022 โดย Grinsztajn และคณะ พบว่า Tree ensembles ยังคงทำผลงานได้ดีกว่า Deep learning บนข้อมูลตารางทั่วไป ดังนั้นความรู้สำคัญในโดเมนนี้คือการเลือกใช้ Estimator Family ที่ถูกต้อง มากกว่าการออกแบบใหม่ทั้งหมด
แม้ว่า Agent จะได้รับเหรียญในบางการแข่งขัน แต่ผลลัพธ์เหล่านั้นมักเกิดขึ้นในสภาวะที่มีการคำนวณสูงและการลองหลายครั้ง ซึ่งแตกต่างจากสถานการณ์การรันสั้นๆ อย่าง Codex Kaggle Titanic ที่ทำผลงานได้ต่ำกว่ามาตรฐานของมนุษย์มาก
ในทางตรงกันข้าม การรันของ harness ที่มีการพัฒนาขึ้นมานั้นทำคะแนนได้ถึง 79.90% โดยใช้เวลาประมาณ 13 นาที และมีคำแนะนำที่คล้ายกับการตรวจสอบภายนอก เช่น การแก้ไข Validation folds และ seeds การปรับ fit preprocessing ภายในแต่ละ fold เป็นต้น
การทำงานร่วมกันที่เหมาะสมคือการให้ Agent ร่างขึ้นมา และให้มนุษย์ทำหน้าที่ตรวจสอบและปรับปรุงในส่วนสำคัญ เช่น การเลือก Estimator และการออกแบบ Validation ซึ่งเป็นส่วนที่ต้องคงไว้
ส่วนที่ควรให้ Agent ทำคือการโหลดข้อมูล การตรวจสอบ schema และ dtype การทำความสะอาดและการเติมค่าที่หายไป ส่วนที่ควรคงไว้คือการปรับ Hyperparameter tuning และการตรวจสอบการส่งมอบ (Submission) ตามรูปแบบ
ที่มา: pastagi.com