สภาพแวดล้อมหลายตัวแทนที่ตัวแทนแข่งขันกันเพื่อแย่งชิงทรัพยากรถือเป็นก้าวสำคัญบนเส้นทางสู่ AGI สภาพแวดล้อมเหล่านี้มีคุณสมบัติที่เป็นประโยชน์สองประการ คือ มีหลักสูตรตามธรรมชาติ และไม่มีสมดุลที่มั่นคง
แนวทางการเรียนรู้แบบ Decentralized RL แบบดั้งเดิม เช่น DDPG หรือ actor-critic learning มักประสบปัญหาในการเรียนรู้ในสภาพแวดล้อมหลายตัวแทน เนื่องจากแต่ละตัวแทนต้องพยายามทำนายการกระทำของตัวแทนอื่นในทุกช่วงเวลา
MADDPG ได้ถูกนำมาใช้โดยใช้ centralized critic เพื่อให้ข้อมูลแก่ตัวแทนเกี่ยวกับสิ่งที่เพื่อนร่วมทีมสังเกตและอาจทำ ซึ่งช่วยเปลี่ยนสภาพแวดล้อมที่คาดเดาไม่ได้ให้กลายเป็นสิ่งที่คาดการณ์ได้
ก่อนหน้าการพัฒนา MADDPG เมื่อใช้เทคนิคแบบกระจายศูนย์ เราสังเกตว่าตัวแทนผู้ฟังมักจะเรียนรู้ที่จะเพิกเฉยต่อผู้พูดหากข้อความไม่สอดคล้องกัน ซึ่งทำให้การฝึกฝนกู้คืนได้ยาก
เพื่อแก้ไขปัญหานี้ เราได้พิจารณาเทคนิคจากโครงการ reinforcement ล่าสุด ซึ่งช่วยบังคับให้ผู้ฟังรวมคำพูดของผู้พูดเข้าไว้ในกระบวนการตัดสินใจ แต่การแก้ไขนี้ยังไม่สมบูรณ์เพราะไม่ได้ช่วยให้ผู้พูดรู้ว่าจะพูดอะไรที่เกี่ยวข้อง
ศัพท์ที่ควรรู้
- AGI – ปัญญาประดิษฐ์ทั่วไป (Artificial General Intelligence) คือเป้าหมายของ AI ที่มีความสามารถเทียบเท่ามนุษย์ในหลากหลายด้าน
- Multiagent environments – สภาพแวดล้อมที่มีหลายตัวแทน (Agent) ซึ่งแต่ละตัวแทนพยายามบรรลุเป้าหมายของตนเองในสภาพแวดล้อมเดียวกัน
- Centralized critic – บทบาทของตัววิจารณ์ส่วนกลางที่ให้ข้อมูลป้อนกลับแก่ตัวแทนทั้งหมดในระบบ
- Decentralized RL – การเรียนรู้แบบเสริมกำลังแบบกระจายศูนย์ คือการที่แต่ละตัวแทนเรียนรู้และตัดสินใจด้วยตนเองโดยไม่พึ่งพาการควบคุมจากส่วนกลาง
ที่มา: OpenAI