MuseNet เป็นโครงข่ายประสาทเทียมเชิงลึกที่สามารถสร้างสรรค์บทเพลงยาว 4 นาที โดยใช้เครื่องดนตรีได้ 10 ชนิด และสามารถผสมผสานแนวเพลงได้ตั้งแต่คันทรี่ไปจนถึงโมสาร์ทหรือบีทิลส์
MuseNet ไม่ได้ถูกตั้งโปรแกรมด้วยความเข้าใจด้านดนตรีโดยตรง แต่เรียนรู้รูปแบบของฮาร์โมนี จังหวะ และสไตล์ ด้วยการทำนายโทเค็นถัดไปจากไฟล์ MIDI นับแสนไฟล์ โดยใช้เทคโนโลยีเดียวกันกับ GPT-2 คือเป็นแบบจำลอง Transformer ขนาดใหญ่ที่ฝึกฝนมาเพื่อทำนายโทเค็นถัดไปในลำดับ
ตัวอย่างเช่น หากป้อน 6 โน้ตแรกของ Chopin Nocturne แต่สั่งให้สร้างเป็นเพลงแนวป๊อปที่มีเปียโน กลอง เบส และกีตาร์ โมเดลก็สามารถผสมผสานสองสไตล์นี้ได้อย่างน่าเชื่อถือ โดยวงดนตรีเต็มวงจะเข้ามาร่วมในช่วงประมาณ 30 วินาที
สำหรับข้อมูลการฝึกฝน MuseNet นั้น ได้รับจากหลายแหล่ง เช่น ClassicalArchives และ BitMidi ซึ่งบริจาคไฟล์ MIDI จำนวนมาก นอกจากนี้ยังมีการรวบรวมชุดข้อมูลออนไลน์อื่นๆ ด้วย เช่น แนวแจ๊ส ป๊อป แอฟริกัน อินเดีย และอาหรับ
ในส่วนของวิธีการเข้ารหัส พวกเขาได้ทดลองหลายวิธี เช่น การใช้ Chordwise ที่กำหนดโทเค็นให้กับแต่ละคอร์ด หรือการใช้ byte pair encoding เพื่อบีบอัดรูปแบบทางดนตรี และยังทดลองเรื่องการทำเครื่องหมายเวลาด้วยเช่นกัน แต่สุดท้ายเลือกใช้การเข้ารหัสที่รวม Pitch, Volume และ Instrument ไว้ในโทเค็นเดียว เพื่อให้ได้ทั้งการแสดงออกและความกระชับ
ศัพท์ที่ควรรู้
- MuseNet – คือโครงข่ายประสาทเทียมเชิงลึกที่ OpenAI สร้างขึ้นเพื่อสร้างสรรค์ผลงานทางดนตรี
- GPT-2 – คือแบบจำลอง Transformer ขนาดใหญ่ที่ใช้ในการทำนายโทเค็นถัดไป ซึ่งเป็นเทคโนโลยีพื้นฐานของ MuseNet
- MIDI files – คือไฟล์ดิจิทัลที่ใช้บันทึกข้อมูลทางดนตรี เช่น โน้ต ความดัง และเครื่องดนตรี
- Transformer model – คือสถาปัตยกรรมของ AI ที่ใช้ในการทำนายลำดับถัดไปของข้อมูล เช่น ข้อความหรือเสียง
- Chordwise approach – คือวิธีการที่มองว่าชุดของโน้ตที่ดังพร้อมกันคือ ‘คอร์ด’ และกำหนดโทเค็นให้กับคอร์ดนั้นๆ
ที่มา: OpenAI