ผลิตภัณฑ์ทั้งหมดของ OpenAI ต้องอาศัยแพลตฟอร์มจัดเก็บข้อมูลที่ชื่อว่า Habitat เพื่อให้การเข้าถึงข้อมูลเป็นไปอย่างรวดเร็วและเชื่อถือได้
ในส่วนของการปรับปรุงเสถียรภาพ พบว่าปัญหาการถ่ายโอนข้อมูลใน Azure Cosmos DB ทำให้เกิดการเชื่อมต่อและส่งคำขอไปยังภูมิภาคเดิมอย่างต่อเนื่อง แม้ว่าจะมีเพียงส่วนย่อยของพาร์ติชันเท่านั้นที่ย้ายกลับไปที่นั่น การทำงานร่วมกันตลอดปีที่ผ่านมาได้ช่วยปรับปรุงการควบคุมและขีดความสามารถในการปรับขนาดของ Azure Cosmos DB โดยเพิ่มการป้องกันโหลดและการแคชข้อมูลเมตา
แม้ว่าการออกแบบนี้จะช่วยให้ผลิตภัณฑ์มีความทนทานต่อปัญหาฐานข้อมูล แต่ก็ทำให้ผลิตภัณฑ์มีความซับซ้อนและชะลอการพัฒนาลงบ้าง
ภาระงานของ Habitat ส่วนใหญ่เป็นการอ่านข้อมูล (read-heavy) โดยแอปพลิเคชันต้องดึงการตั้งค่าและสถานะอยู่ตลอดเวลา และมีการปรับปรุงการปรับขนาด Change Data Capture เพื่อรองรับการเปลี่ยนแปลงข้อมูลหลายล้านครั้งต่อวินาที ผ่าน Kafka topics เพื่อป้อนไปยังดัชนีรองและฟีเจอร์ต่างๆ
ศัพท์ที่ควรรู้
- Habitat – คือแพลตฟอร์มจัดเก็บข้อมูลที่ OpenAI ใช้รองรับผลิตภัณฑ์ทั้งหมด
- Azure Cosmos DB – คือบริการฐานข้อมูลที่ถูกปรับปรุงเพื่อเพิ่มความเสถียรในการจัดการข้อมูล
- Gateway-mode Azure Cosmos DB client – คือรูปแบบไคลเอนต์ที่เคยมีปัญหาในการจัดการการถ่ายโอนข้อมูล
- Read-heavy – หมายถึงภาระงานของระบบที่ต้องมีการอ่านข้อมูลมากกว่าการเขียนข้อมูล
- Kafka topics – คือช่องทางที่ใช้ในการส่งข้อมูลการเปลี่ยนแปลงจำนวนมากไปยังระบบต่างๆ
ที่มา: OpenAI