GPT-6 ช่วยให้ Persistent Agents สามารถทำงานต่อเนื่องหลายชั่วโมงในงานที่ซับซ้อน ตั้งแต่การปรับปรุงโค้ดไปจนถึงการสร้างเอกสารและการนำเสนอที่มีการค้นคว้ามาอย่างดี แอปพลิเคชันเหล่านี้จะส่ง API requests ต่อกัน ซึ่งมักจะมีการส่งคำสั่ง คำจำกัดความเครื่องมือ และบริบทเดิมไปด้วย
OpenAI จึงได้แคชบริบทที่ใช้ร่วมกันนี้เพื่อนำการคำนวณกลับมาใช้ใหม่ในแต่ละคำขอ ซึ่งช่วยลดเวลาตอบสนองและมอบส่วนลดสูงสุด 90% สำหรับอินพุตโทเค็นที่ถูกแคช
ตรวจสอบการแคชและวินิจฉัย Cache Miss
จำนวนโทเค็นที่ได้รับผลกระทบโดยประมาณจะช่วยให้คุณประเมินขนาดของผลกระทบและตัดสินใจว่าจะปรับปรุงการผสานรวมอย่างไรเพื่อเพิ่มอัตราการถูกเรียกใช้ของแคชให้สูงสุด
ปรับปรุงการแคชสำหรับแอปพลิเคชันของคุณ
คู่มือ Prompt Caching ฉบับปรับปรุงอธิบายวิธีการใช้งาน ระยะเวลาที่ prefix ที่ถูกแคชยังคงมีสิทธิ์ และการเปลี่ยนแปลงของเครื่องมือและอินพุตส่งผลต่อการนำกลับมาใช้ใหม่อย่างไร คุณสามารถเพิ่มความพยายามสำหรับงานที่ยากขึ้นหรือลดสำหรับงานติดตามผลตามปกติโดยการต่อท้ายด้วย configuration_update
เมื่อความต้องการใช้เครื่องมือของ Agent เปลี่ยนไป ควรคงความเสถียรของคำจำกัดความเครื่องมือ สคีมา และลำดับ เพื่อให้บริบทก่อนหน้ายังคงนำกลับมาใช้ใหม่ได้ ใช้ allowed_tools เพื่อให้เรียกใช้เฉพาะเครื่องมือที่เกี่ยวข้อง หรือตั้งค่า tool_choice เป็น none หากไม่ต้องการเครื่องมือใดๆ แทนการลบคำจำกัดความ และใช้ developer messages ใหม่เพื่อเพิ่มคำสั่งใหม่ในท้ายบริบทเพื่อแทนที่คำสั่งเก่า
Prewarming เป็นการเตรียมบริบทที่ทราบล่วงหน้าไว้ล่วงหน้า เพื่อให้โมเดลสามารถเริ่มตอบสนองได้เร็วขึ้นเมื่อมีการร้องขอ เช่น แอปพลิเคชันสามารถ Prewarm คำสั่ง เครื่องมือ หรือวัสดุอ้างอิงระหว่างการเริ่มต้น ก่อนที่ผู้ใช้จะถามคำถามแรก
เริ่มต้นใช้งาน
ทำตามคู่มือ Prompt Caching เพื่อปรับปรุงการตั้งค่าของคุณ หรือใช้ Codex เพื่อตรวจสอบโค้ดของคุณ ประยุกต์ใช้การปรับปรุง และวัดผลลัพธ์
ศัพท์ที่ควรรู้
- GPT-6 – โมเดลภาษาขั้นสูงของ OpenAI ที่รองรับการทำงานต่อเนื่องในงานซับซ้อน
- Persistent Agents – ตัวแทนปัญญาประดิษฐ์ที่สามารถทำงานต่อเนื่องเป็นเวลานานในงานที่ซับซ้อน
- API requests – การร้องขอไปยังบริการผ่าน Application Programming Interface ซึ่งเป็นวิธีการสื่อสารระหว่างซอฟต์แวร์
- Prompt Caching – ระบบที่บันทึกและนำบริบทคำสั่งที่เคยใช้ไปแล้วกลับมาใช้ใหม่เพื่อเพิ่มความเร็วและลดต้นทุน
- Codex – เครื่องมือของ OpenAI ที่ช่วยในการตรวจสอบและปรับปรุงโค้ด
ที่มา: OpenAI