Realtime API ได้รับการปรับปรุงครั้งใหญ่ โดยมีความสามารถในการตีความข้อความจากระบบและคำสั่งของผู้พัฒนาได้ดีขึ้นมาก ไม่ว่าจะเป็นการอ่านสคริปต์ปฏิเสธความรับผิดชอบทีละคำ การอ่านตัวเลข หรือการเปลี่ยนภาษาอย่างต่อเนื่องระหว่างการสนทนา
จากการประเมินภายใน โมเดลยังแสดงประสิทธิภาพที่แม่นยำมากขึ้นในการตรวจจับลำดับตัวอักษรและตัวเลขในภาษาต่างๆ เช่น สเปน จีน ญี่ปุ่น และฝรั่งเศส
ฟีเจอร์ใหม่คือการรองรับ Image input ทำให้ผู้ใช้สามารถอ้างอิงการสนทนาจากสิ่งที่เห็นในภาพ เช่น การถามว่า “คุณเห็นอะไรอยู่?” โดยระบบจะถือว่าภาพนั้นเป็นส่วนหนึ่งของการสนทนา ไม่ใช่สตรีมวิดีโอสด
นอกจากนี้ยังเพิ่มการรองรับ Session Initiation Protocol (SIP) เพื่อเชื่อมต่อแอปเข้ากับเครือข่ายโทรศัพท์สาธารณะ และมีการควบคุมบริบทการสนทนาที่ละเอียด ทำให้สามารถตั้งค่าขีดจำกัดโทเค็นและลดต้นทุนสำหรับการสนทนาที่ยาวนานได้
สำหรับเรื่องราคาและการใช้งานนั้น มีการเพิ่มการควบคุมบริบทการสนทนาที่ละเอียด เพื่อให้ผู้พัฒนาสามารถตั้งค่าขีดจำกัดโทเค็นและตัดการสนทนาหลายรอบพร้อมกัน ซึ่งช่วยลดต้นทุนในการใช้งานครั้งใหญ่อย่างมาก
ศัพท์ที่ควรรู้
- Realtime API – คือ API ที่ช่วยให้การสื่อสารแบบเรียลไทม์เกิดขึ้นได้ ทำให้การตอบสนองรวดเร็ว
- Voice Agents – คือตัวแทนเสียงที่ถูกสร้างขึ้นด้วย AI เพื่อจัดการการสนทนาแทนมนุษย์
- SIP (Session Initiation Protocol) – คือมาตรฐานที่ใช้ในการเริ่มต้นและควบคุมเซสชันการสื่อสาร เช่น การโทรศัพท์
- Image input – คือความสามารถในการป้อนข้อมูลเข้าสู่โมเดลในรูปแบบของภาพ ไม่ใช่แค่ข้อความ
ที่มา: OpenAI