GPT-6 Astra ได้ค้นพบว่าเอเจนต์ของตนมีการแคชคำสั่งคงที่และการกำหนดเครื่องมือ แต่ไม่ได้แคชประวัติข้อความและภาพหน้าจอที่เพิ่มขึ้น ทำให้ทุกคำขอต้องส่งประวัติทั้งหมดในราคาเต็ม
การทดลองนี้ครอบคลุมการทดสอบด้วยงบประมาณประวัติ 120,000 และ 480,000 อักขระ และมีการทดสอบ 6 นโยบายการแคชและภาพหน้าจอ โดยมีการเปรียบเทียบกับโมเดลต่างๆ เช่น Model A, Model B, C และ GPT-6.1 Sol
ทีมงานได้บันทึกคำขอ เส้นทางข้อมูล และผลลัพธ์ทั้งหมดไว้ใน Command ซึ่งเป็นแพลตฟอร์มการส่งมอบซอฟต์แวร์ของ Asana เพื่อให้สามารถทบทวนการศึกษาทั้งหมดได้
Frank Hidalgo, PhD, StackAI CTO ที่ Asana กล่าวว่า ทีมกำลังจะนำการทดสอบนี้ไปรวมในการประเมินแพลตฟอร์ม เพื่อให้ลูกค้าเปรียบเทียบต้นทุน เวลาทำงาน และคุณภาพคำตอบเมื่อตั้งค่าเอเจนต์ของตนเอง
ปัจจุบัน Asana ใช้ GPT-6 Astra ใน Codex เพื่อทดสอบฟีเจอร์ผลิตภัณฑ์ก่อนการเปิดตัว โดย Astra จะนำทางแพลตฟอร์ม ลองอินพุตที่แตกต่างกัน และรายงานบั๊กให้ผู้ตรวจสอบ QA ของมนุษย์
ศัพท์ที่ควรรู้
- GPT-6.1 Sol – โมเดลของ OpenAI ที่ใช้ในการทดลองนี้
- GPT-6 Astra – โมเดลที่ใช้ในการดำเนินการทดลองและตรวจสอบการใช้งาน
- Browser agent – เอเจนต์ที่ทำงานในเบราว์เซอร์ของ Asana
- Caching – การจัดเก็บข้อมูลชั่วคราวเพื่อเรียกใช้ซ้ำ ทำให้ไม่ต้องโหลดใหม่ทุกครั้ง
ที่มา: OpenAI