การมอบหมายงานโดยไม่บล็อกการสนทนา
การสนทนาตัวอย่างกับ GPT-Live-1 โดยใช้ GPT-5.5 Instant นั้นต้องส่งคืนผลลัพธ์อย่างรวดเร็ว เพื่อให้การแลกเปลี่ยนข้อมูลระหว่างการสนทนาเป็นไปอย่างมีประโยชน์
ทีมงานจึงต้องลดความหน่วงในทุกส่วนของเส้นทางการมอบหมายงาน ตั้งแต่การกำหนดเส้นทาง การประมวลผลพรอมต์ ไปจนถึงการอนุมานและการเรียกใช้เครื่องมือ
ทำให้การมอบหมายงานรวดเร็วจนรู้สึกเป็นธรรมชาติ
ปัจจัยต่างๆ เช่น ความพยายามในการให้เหตุผล ข้อจำกัดของเอาต์พุต โครงสร้างเครื่องมือ และการเดินทางระหว่างโมเดลกับเครื่องมือ ล้วนส่งผลต่อเวลาที่ผู้ใช้ได้รับผลลัพธ์ที่มีประโยชน์ ดังนั้นจึงมีการปรับเปลี่ยนปัจจัยเหล่านี้เพื่อให้ได้การตอบสนองที่เร็วขึ้น
เริ่มต้นเซสชันด้วยโปรโตคอลที่เร็วกว่า
WARP บรรลุเป้าหมายนี้ด้วยการปรับปรุงโปรโตคอลที่ยังคงเข้ากันได้แบบย้อนหลัง เช่น การรวมการจับมือ DTLS เข้ากับ ICE, การใช้ DTLS 1.3 ที่เร็วกว่า, การเจรจาต่อรอง SCTP ล่วงหน้า และการเจรจาช่องทางข้อมูลล่วงหน้า แทนการใช้ DCEP
ทดสอบ GPT‑Live ในการใช้งานจริงด้วยข้อมูลจริงอย่างปลอดภัย
คำถามด้านความจุถูกเปลี่ยนจากการถามว่า GPU รองรับกี่คำขอ ไปเป็นว่าระบบสามารถรองรับเซสชันพร้อมกันได้กี่เซสชันโดยที่ทุกเฟรมยังคงตรงตามกำหนดเวลา
การทดสอบยังทำให้ภูมิศาสตร์เป็นข้อกังวลอันดับแรก และทีมงานได้ค้นพบตัวชี้วัดที่รวมแหล่งที่มาของความหน่วงที่แตกต่างกัน รวมถึงแดชบอร์ดที่ซ่อนเอนจินที่ไม่สมบูรณ์ และความคลาดเคลื่อนในการกำหนดค่าระหว่างระบบทดสอบและระบบที่ใช้งานจริง
ศัพท์ที่ควรรู้
- Turn detectors – โมเดลขนาดเล็กที่ทำหน้าที่คาดเดาว่าถึงเวลาที่ต้องพูดแล้วหรือไม่
- Latency – ความหน่วง คือ เวลาที่ใช้ในการประมวลผลและส่งข้อมูลระหว่างกัน
- Inference – กระบวนการที่โมเดล AI ใช้ในการสร้างผลลัพธ์หรือการคาดการณ์
- DTLS – โปรโตคอลที่ใช้ในการรักษาความปลอดภัยการสื่อสารระหว่างการเชื่อมต่อ
- SCTP – โปรโตคอลที่ใช้ในการสื่อสารที่ช่วยให้การเชื่อมต่อมีความเสถียรและรวดเร็ว
ที่มา: OpenAI