OpenAI เผยระบบ Performance Factory ดูแลความเร็ว ChatGPT แบบอัตโนมัติ

OpenAI เปิดเผยว่า การพัฒนาซอฟต์แวร์ด้วยเอเจนต์ที่รวดเร็วมากจนทำให้วิธีวิศวกรรมประสิทธิภาพแบบเดิมใช้ไม่ได้อีกต่อไป บริษัทจึงสร้างระบบ Performance Factory ขึ้นมาเพื่อจัดการงานเหล่านี้แทนทีมวิศวกร

จากงานตรวจสอบด้วยมือสู่อัตโนมัติ

เมื่อเจอปัญหาซ้ำ ๆ เช่น first token latency ของ ChatGPT ถดถอย OpenAI ได้สร้างเครื่องมืออย่าง CPU profiler และ allocation profiler ขึ้นมา และสามารถส่ง alert ให้ Codex วิเคราะห์ได้ในรอบเดียวโดยไม่ต้องแนะนำทีละขั้น

สี่องค์ประกอบของระบบ Performance Factory

ระบบประกอบด้วย task tracker ที่ตั้งค่าเวิร์กโฟลว์ได้, dispatch loop ที่จ่ายงานให้เอเจนต์, API ที่รัน Codex บนคลาวด์ และ subscription ที่ปลุกเอเจนต์เมื่อมีเหตุการณ์เปลี่ยนแปลง เช่น มีคอมเมนต์รีวิวบน GitHub หรือ deployment เสร็จสิ้น

Codex บนคลาวด์

การย้ายงานของเอเจนต์ขึ้นคลาวด์ทำให้รันงานขนานกันได้ โดยไม่ต้องพึ่งแล็ปท็อปของวิศวกรที่เปิดอยู่ หรือจัดการ cloud development box ทีละเครื่องด้วยมือ

การแก้ regression คือส่วนที่ยากที่สุด

OpenAI ปรับสรุปผลให้อ่านง่าย ทั้ง time series ของเมตริก, CPU flame graph และ trace เพื่อให้วิศวกรเข้าใจผลและตรวจสอบหลักฐานได้เร็ว

เปลี่ยนความล้มเหลวซ้ำ ๆ ให้เป็นระบบซ่อมตัวเอง

ความล้มเหลวมักมองเห็นได้ยากในรายงานสุดท้าย บริษัทจึงรันเอเจนต์ทุกวันเพื่อไล่ดูข้อความและ log ของงานที่เพิ่งรัน เพื่อหาความล้มเหลวของเครื่องมือและข้อผิดพลาดด้านสิทธิ์การเข้าถึง

ก้าวต่อไป: การใช้งานที่กว้างขึ้นและการเฝ้าระวังเชิงรุก

อนาคตเอเจนต์อาจเปรียบเทียบข้อมูลหลายประเภท เช่น กลุ่ม CPU และ memory profile, heap dump และ request trace ข้ามรีลีส จนสังเกตเห็น CPU ของคำขอหนึ่งเพิ่มขึ้นเล็กน้อยได้เอง

ศัพท์ที่ควรรู้

  • Codex – โมเดล AI ของ OpenAI ที่เขียนและแก้โค้ดได้เอง ใช้เป็นเอเจนต์ทำงานแทนวิศวกร
  • Latency – ระยะเวลาที่ระบบใช้ตอบสนองต่อคำขอ ยิ่งน้อยยิ่งรู้สึกว่าเร็ว
  • Profiler – เครื่องมือวัดการทำงานของโปรแกรม เช่น ดูว่า CPU หมดเวลาไปกับส่วนไหน
  • Regression – อาการที่ฟีเจอร์ซึ่งเคยทำงานดีกลับแย่ลงหลังมีการแก้โค้ดหรืออัปเดต
  • Agent – ระบบ AI ที่รับงานแล้วลงมือทำหลายขั้นตอนต่อเนื่องได้เองโดยไม่ต้องสั่งทีละก้าว
  • Flame graph – กราฟแสดงสัดส่วนเวลา CPU ที่ใช้ในแต่ละฟังก์ชัน ช่วยหาจุดที่กินทรัพยากรหนัก

ที่มา: OpenAI

Leave a Comment