Conversational AI กำลังปฏิวัติการโต้ตอบระหว่างมนุษย์กับเทคโนโลยี ไม่ว่าจะเป็นผู้ช่วยเสมือน ศูนย์บริการลูกค้าที่ขับเคลื่อนด้วย AI หรือเครื่องมือแปลภาษาแบบเรียลไทม์ อินเทอร์เฟซที่เน้นเสียงกำลังกลายเป็นโหมดการใช้งานเริ่มต้นสำหรับผู้ใช้หลายล้านทั่วโลก
AI สำหรับเสียง: State Space Models (SSM)
SSM ที่มีโครงสร้างเป็นรูปแบบหนึ่งของการเกิดซ้ำเชิงเส้น แต่สามารถรักษาข้อมูลตลอดลำดับเสียงที่ยาว ทำให้หลีกเลี่ยงการเสื่อมของสัญญาณระยะยาวที่จำกัดเครือข่ายประสาทเทียมแบบเก่า เช่น LSTM
Ink (speech-to-text)
สามารถตรวจจับตาของผู้พูดได้โดยอัตโนมัติ ทำให้การหยุดชะงักดูไม่น่าอึดอัด และสามารถส่งการถอดเสียงแบบสตรีมมิ่งได้แบบเรียลไทม์ เพื่อให้ LLM สามารถเริ่มสร้างการตอบกลับได้ก่อนจบการพูด
ตัวเลือกที่ 2: จัดการด้วยตนเองบน EC2 GPU instances
สำหรับ EKS ต้องสร้างกลุ่มโหนด GPU และติดตั้ง NVIDIA device plugin จากนั้นจึงปรับใช้คอนเทนเนอร์ โดยการวางโหนดอนุมานใน cluster placement group เพื่อลด Latency ระหว่างโหนด และใช้ VPC endpoints สำหรับการดึงข้อมูลจาก ECR/S3 ส่วนน้ำหนักโมเดลควรเก็บไว้ใน volume ที่แชร์ เช่น Amazon EFS หรือ Amazon FSx for Lustre เพื่อให้ Pod ใหม่เริ่มต้นโดยไม่ต้องดาวน์โหลดซ้ำ
ที่มา: AWS
ศัพท์ที่ควรรู้
- Conversational AI – ปัญญาประดิษฐ์เชิงสนทนา คือการโต้ตอบระหว่างมนุษย์กับเทคโนโลยีผ่าน AI
- State Space Models (SSM) – รูปแบบของ Linear Recurrence ที่ช่วยรักษาข้อมูลในลำดับเสียงที่ยาวได้ดีกว่า RNN แบบเก่า
- Ink (speech-to-text) – คือระบบการแปลงเสียงเป็นข้อความที่สามารถตรวจจับตาผู้พูดและถอดเสียงแบบสตรีมมิ่งได้
- EKS – คือบริการของ Kubernetes ที่ช่วยให้สามารถจัดการและปรับใช้แอปพลิเคชันบนกลุ่มโหนด GPU ได้
- Latency – คือความหน่วงของระบบ ซึ่งในที่นี้หมายถึงเวลาตั้งแต่เสียงเข้าจนถึงผลลัพธ์ออก