Prompt Caching ถูกนำมาใช้โดยอัตโนมัติในโมเดล GPT-4o, GPT-4o mini, o1-preview และ o1-mini รวมถึงเวอร์ชันที่ปรับแต่งแล้ว เพื่อให้การเรียกใช้ API ช่วยลดต้นทุนและลดความหน่วงในการประมวลผล
เมื่อมีการเรียกใช้โมเดลที่รองรับ และ Prompt มีความยาวเกิน 1,024 โทเค็น ระบบจะเริ่มแคชส่วนนำของ Prompt ที่เคยคำนวณไปแล้ว โดยจะมีการปรับใช้ส่วนลด Prompt Caching โดยอัตโนมัติหากมีการใช้ Prefix ที่เหมือนกัน
การเรียกใช้ที่ใช้ Prompt Caching จะมีค่า cached_tokens แสดงอยู่ในส่วน usage ของ API response และแคชจะถูกล้างโดยอัตโนมัติหลังไม่มีการใช้งาน 5-10 นาที หรือภายในหนึ่งชั่วโมงหลังจากการใช้งานครั้งล่าสุด
สำหรับรายละเอียดด้านราคาและการใช้งาน สามารถตรวจสอบตารางราคาสำหรับ Uncached และ Cached Input Tokens ได้ในเอกสารของ OpenAI
ศัพท์ที่ควรรู้
- Prompt Caching – คือการที่ระบบจดจำและนำอินพุตที่เคยใช้ไปแล้วกลับมาใช้ใหม่ในการประมวลผลครั้งต่อไป
- Latency – คือความหน่วงหรือระยะเวลาที่ต้องรอจนกว่าจะได้ผลลัพธ์จากการประมวลผล
- Tokens – คือหน่วยย่อยของข้อความที่โมเดล AI ใช้ในการประมวลผล ซึ่งเทียบเท่ากับส่วนหนึ่งของคำ
ที่มา: OpenAI