โมเดลภาษาขนาดใหญ่แบบโต้ตอบด้วยเสียงจะประมวลผลทั้งคำพูดและวิธีการพูด ซึ่งสองช่องทางนี้อาจไม่ตรงกันเสมอไป เราจึงตั้งคำถามว่าความไม่ตรงกันนี้ทำให้การรับรู้อารมณ์จากเสียงเสื่อมลงหรือไม่
เราได้แปลงข้อความและเสียงให้อยู่ในพื้นที่เดียวกันคือ valence-arousal-dominance และวัดระยะห่างระหว่างกันเป็นคะแนนความไม่สอดคล้องแบบต่อเนื่อง ซึ่งได้รับการตรวจสอบกับดุลยพินิจของมนุษย์
จากการทดสอบกับสามโมเดลที่รองรับเสียงในรูปแบบการพูดที่ถูกแสดง การสนทนา และการพูดตามธรรมชาติ พบว่าเมื่อโมเดลมีเสียงเข้ามา ความไม่สอดคล้องจะเพิ่มโอกาสเกิดข้อผิดพลาดในการจำแนกอารมณ์ในทุกชุดข้อมูล แม้จะควบคุมอารมณ์จริงและระยะห่างใน Feature Space แล้วก็ตาม
ในทางกลับกัน ตัวจำแนกที่ฝึกด้วยวิธีควบคุม (supervised classifiers) กลับมีพฤติกรรมตรงกันข้าม ซึ่งชี้ว่าความยากอยู่ที่การรวมหลักฐานดิบของโมเดล ไม่ใช่ที่สัญญาณเสียงเอง
การสร้างคะแนนใหม่โดยไม่ใช้พจนานุกรมอารมณ์ยังคงให้ผลลัพธ์หลักเดียวกัน และเป็นคะแนนเดียวที่ทำนายข้อผิดพลาดในทั้งสามชุดข้อมูลได้
ศัพท์ที่ควรรู้
- Valence-arousal-dominance space – พื้นที่ที่ใช้ในการแมปข้อความและเสียงให้อยู่ในมิติเดียวกันเพื่อเปรียบเทียบ
- Incongruence score – คะแนนที่วัดความไม่สอดคล้องกันระหว่างสิ่งที่พูดกับวิธีการพูด
- Multimodal Speech Emotion Recognition – การรับรู้อารมณ์จากเสียงที่ใช้ข้อมูลได้หลายรูปแบบ เช่น เสียงและข้อความ
- Corpus – ชุดข้อมูลขนาดใหญ่ที่ใช้ในการทดสอบโมเดล
ที่มา: arxiv.org