ผลิตภัณฑ์ของ OpenAI ทุกอย่างขึ้นอยู่กับการเข้าถึงข้อมูลที่รวดเร็วและเชื่อถือได้ ไม่ว่าจะเป็นการเข้าสู่ระบบ การตรวจสอบการตั้งค่า Codex หรือการเริ่มต้นการสนทนาใหม่ใน ChatGPT
ในการให้บริการครั้งแรก ทีมงานพบว่าสาเหตุหนึ่งของความล่าช้าของ asyncio (และ Tail Latency ที่สูง) มาจากการประมวลผล JSON ของ Feature Flag ผ่าน Statsig ซึ่งการแก้ไขคือการใช้ config ที่มีขนาดเล็กลง ขยายช่วงการรีเฟรช และเพิ่ม Jitter ให้กับงานพื้นหลัง
การขยายขนาดของระบบทำให้เกิดการเรียกใช้ทรัพยากรที่มากขึ้น ซึ่งหากจัดการไม่ดี อาจทำให้เกิดการโอเวอร์โหลดทรัพยากรเครือข่ายที่ลูกค้าไม่ได้คาดการณ์ไว้ แม้ว่าโมเดลจะแบ่งส่วนสำหรับการขยายในแนวนอนได้ง่าย แต่การท่องกราฟกลับไม่มีประสิทธิภาพหากต้องดึงข้อมูลจาก Azure Cosmos DB ที่อยู่คนละ Region
ศัพท์ที่ควรรู้
- Codex – ส่วนประกอบของ OpenAI ที่ช่วยในการประมวลผลหรือตั้งค่าเฉพาะของผลิตภัณฑ์
- asyncio loop – กลไกการทำงานแบบ Asynchronous ที่ต้องมีการตรวจสอบและปรับจูนเพื่อให้ทำงานได้อย่างมีประสิทธิภาพ
- Tail latency – ความล่าช้าสูงสุดที่เกิดขึ้นกับผู้ใช้กลุ่มเล็กๆ ในช่วงเวลาหนึ่ง
- Feature flag – เครื่องมือที่ใช้ในการควบคุมฟีเจอร์ต่างๆ ของบริการแบบเรียลไทม์ เช่น การทดสอบ A/B
- Azure Cosmos DB – บริการฐานข้อมูลแบบกระจายที่ใช้ในการจัดเก็บข้อมูลในระบบ
ที่มา: OpenAI