Anthropic เปิดฟีเจอร์ Prompt Caching ให้ผู้พัฒนาจดจำส่วนของพรอมต์ที่ใช้ซ้ำ เพื่อลดค่าใช้จ่าย token และเวลาตอบสนอง บทความจาก LLM Rumors คำนวณจุดคุ้มทุน (break-even) ระหว่างค่าเขียนแคช (cache write) ที่แพงกว่าการอ่านปกติ 25% กับค่าอ่านแคช (cache read) ที่ถูกกว่า 90%
การทดสอบพบว่า หากพรอมต์ถูกใช้ซ้ำภายใน 5 นาที การตั้ง TTL สั้นจะคุ้มกว่าการตั้งไว้ 1 ชั่วโมง เนื่องจากค่าเขียนแคชสูง ทำให้ต้องมีการ reuse เพียงพอจึงจะคุ้มทุน สูตรคำนวณคือ: จำนวนครั้ง reuse ขั้นต่ำ = (ราคา cache write – ราคา input ปกติ) ÷ (ราคา input ปกติ – ราคา cache read)
ข้อสังเกตสำคัญคือ การวัด cache hit/miss ต้องดูจาก response header `cache-creation-input-tokens` และ `cache-read-input-tokens` ไม่ใช่แค่ดูยอดบิล เพราะแผนสมาชิก (subscription) อาจบังค่าใช้จ่าย API จริง ผู้พัฒนาควรทดสอบ workload จริงก่อนตัดสินใจ TTL ที่เหมาะสม
ศัพท์ที่ควรรู้
- Prompt Caching – เทคนิคจดจำส่วนของคำสั่ง (prompt) ที่ใช้ซ้ำเพื่อลดต้นทุนและเวลาในการประมวลผล AI
- TTL (Time To Live) – ระยะเวลาที่ข้อมูลในแคชยังคงเก็บไว้ก่อนจะหมดอายุและถูกลบ
- Cache Write – การเขียนข้อมูลลงแคชครั้งแรก ซึ่งมีค่าใช้จ่ายสูงกว่าการอ่านปกติ
- Cache Read – การอ่านข้อมูลจากแคช ซึ่งมีค่าใช้จ่ายต่ำกว่าการประมวลผลปกติมาก
- Break-even Point – จุดที่ต้นทุนเท่ากับประโยชน์ คือต้องมีการ reuse กี่ครั้งจึงจะคุ้มทุน
- Token – หน่วยนับข้อความที่โมเดล AI ประมวลผล ใช้คำนวณค่าใช้จ่าย API
ที่มา: LLM Rumors