การสร้างเพลงด้วย AI มีมานานกว่าครึ่งศตวรรษ โดยแนวทางหนึ่งคือการสร้างเชิงสัญลักษณ์ (Symbolic) เช่น การกำหนดเวลา ระดับเสียง และเครื่องดนตรี ซึ่งเคยสร้างผลงานระดับสูงอย่างเพลงของ Bach ได้ แต่มีข้อจำกัดในการจับเสียงร้องหรือรายละเอียดทางดนตรีที่ละเอียดอ่อน
อีกแนวทางคือการสร้างโดยจำลองเพลงจากเสียงดิบ (Raw Audio) ซึ่งท้าทายเนื่องจากเพลงยาวมาก โดยเพลง 4 นาทีคุณภาพ CD มีมากกว่า 10 ล้านไทม์สเต็ป
โมเดลของพวกเขาได้ปรับปรุงสถาปัตยกรรม VQ-VAE-2 โดยใช้การเริ่มต้นใหม่แบบสุ่ม (random restarts) เพื่อลดปัญหา codebook collapse และฝึกฝนด้วยชุดข้อมูลเพลง 1.2 ล้านเพลง พร้อมเนื้อเพลงและข้อมูลเมตาจาก LyricWiki
ศัพท์ที่ควรรู้
- Symbolic generation – การสร้างเชิงสัญลักษณ์คือการกำหนดองค์ประกอบเพลง เช่น เวลา และระดับเสียง แทนการสร้างเสียงโดยตรง
- Raw audio – เสียงดิบคือการป้อนข้อมูลเสียงจริงเข้าไปในโมเดลเพื่อสร้างเพลง
- VQ-VAE-2 – คือสถาปัตยกรรมที่ถูกนำมาปรับใช้เพื่อช่วยในการสร้างภาพและเสียงที่มีความเที่ยงตรงสูง
- Codebook collapse – คือปัญหาที่เกิดขึ้นในโมเดล VQ-VAE เมื่อมีการใช้งานโค้ดบุ๊กต่ำกว่าเกณฑ์
ที่มา: OpenAI