ในช่วงปีที่ผ่านมา ทั้ง Codex และ Sora ได้รับการใช้งานอย่างรวดเร็วจนเกินกว่าที่คาดการณ์ไว้ ซึ่งทำให้การควบคุมการเข้าถึงต้องได้รับการทบทวนใหม่ทั้งหมด
ระบบใหม่นี้ได้รวมการจำกัดอัตราและการตรวจสอบเครดิตต่อคำขอเข้าไว้ด้วยกัน เพื่อให้การใช้งานมีความสมดุลและยุติธรรมสำหรับผู้ใช้
ทุกคำขอจะผ่านเส้นทางการประเมินเดียว ซึ่งตัดสินใจแบบเรียลไทม์ว่าจะอนุญาตการใช้งานได้มากน้อยเพียงใด โดยมีการหักเครดิตแบบอะซิงโครนัสในภายหลัง
ระบบการเรียกเก็บเงินมีความถูกต้องที่พิสูจน์ได้ โดยใช้ idempotency key เพื่อป้องกันการเรียกเก็บเงินซ้ำซ้อน และบันทึกการปรับยอดเครดิตทั้งหมดไว้ในธุรกรรมฐานข้อมูลเดียว
การตัดสินใจทางสถาปัตยกรรมทั้งหมดนี้มุ่งเน้นไปที่ประสบการณ์ผู้ใช้ คือ การรักษาสมดุลของยอดคงเหลือแบบเรียลไทม์ ป้องกันการเรียกเก็บเงินซ้ำ และให้การเข้าถึงที่คาดการณ์ได้ ทำให้ผู้ใช้สามารถทำงานได้นานขึ้นและสำรวจได้ลึกซึ้งขึ้นโดยไม่มีการหยุดชะงักกะทันหัน
ศัพท์ที่ควรรู้
- Codex และ Sora – คือโมเดล AI ที่ได้รับความนิยมและถูกนำไปใช้งานอย่างรวดเร็ว Rate limits – คือการจำกัดจำนวนคำขอที่ผู้ใช้สามารถส่งไปยังระบบได้ในช่วงเวลาหนึ่ง Idempotency key – คือกุญแจที่รับประกันว่าการดำเนินการเดียวกันจะไม่ถูกประมวลผลซ้ำ ทำให้ไม่มีการเรียกเก็บเงินซ้ำ Asynchronously – คือการดำเนินการที่เกิดขึ้นในภายหลังหลังจากที่คำขอหลักเสร็จสิ้นไปแล้ว Audit trail – คือบันทึกการปรับปรุงทั้งหมดที่ช่วยให้ตรวจสอบการเปลี่ยนแปลงของยอดเครดิตได้
ที่มา: OpenAI