Self-play ช่วยให้ AI ค้นพบทักษะทางกายภาพใหม่ๆ ได้ด้วยตนเอง

เราพบว่า Self-play ช่วยให้ AI จำลองสามารถค้นพบทักษะทางกายภาพ เช่น การเข้าปะทะ การหลบหลีก การหลอกล่อ การเตะ และการรับลูกบอล ได้ โดยไม่จำเป็นต้องออกแบบสภาพแวดล้อมที่มีทักษะเหล่านี้ไว้ล่วงหน้า

Self-play ทำให้มั่นใจได้ว่าสภาพแวดล้อมนั้นมีความยากที่เหมาะสมสำหรับ AI ในการพัฒนาอยู่เสมอ

เราได้ตั้งการแข่งขันระหว่างหุ่นยนต์ 3 มิติหลายตัวในเกมพื้นฐาน โดยฝึกแต่ละ Agent ด้วยเป้าหมายง่ายๆ เช่น การผลักคู่ต่อสู้ การเข้าถึงอีกฝั่งของวงแหวน หรือการเตะบอลเข้าประตู

แม้จะได้รับรางวัลที่เรียบง่าย แต่ Agent ก็เรียนรู้พฤติกรรมที่ละเอียดอ่อน เช่น การเข้าปะทะ การหลบหลีก การเตะ และการรับลูกบอล โดยใช้ Proximal Policy Optimization ในการฝึกฝนเครือข่ายประสาทของแต่ละ Agent

ศัพท์ที่ควรรู้

• Self-play – การที่ AI ฝึกฝนและแข่งขันกับตัวเอง ทำให้เกิดการเรียนรู้และปรับปรุงอย่างต่อเนื่อง
• Tackling – ทักษะการเข้าปะทะในเกมที่ AI เรียนรู้ขึ้นมาเอง
• Proximal Policy Optimization – อัลกอริทึมที่ใช้ในการฝึกฝนเครือข่ายประสาทของ Agent ให้เรียนรู้จากประสบการณ์

ที่มา: OpenAI