LOLA ซึ่งเป็นความร่วมมือระหว่างนักวิจัยของ OpenAI และ University of Oxford ช่วยให้ตัวแทน Reinforcement Learning (RL) สามารถนำการเรียนรู้ของผู้อื่นมาพิจารณาในการปรับปรุงกลยุทธ์ของตนเองได้
เนื่องจากการเรียนรู้ของตัวแทนอื่นขึ้นอยู่กับรางวัลและการสังเกตในสภาพแวดล้อม ซึ่งอาจได้รับอิทธิพลจากตัวแทนเอง ทำให้ LOLA สามารถจำลองการอัปเดตพารามิเตอร์ของตัวแทนอื่น เช่น “Bob” โดยอิงจากนโยบายของตนเอง (“Alice”) และผลกระทบต่อรางวัลในอนาคตของ Bob
ตัวแทน LOLA สามารถค้นพบกลยุทธ์ที่ตอบโต้กันได้อย่างมีประสิทธิภาพในเกม เช่น iterated prisoner’s dilemma หรือ coin game ซึ่งต่างจากวิธีการ Deep reinforcement learning ที่ล้ำสมัยอย่าง Independent PPO ที่มักไม่สามารถเรียนรู้กลยุทธ์เหล่านี้ได้
แรงบันดาลใจมาจากความสามารถของมนุษย์ในการทำความเข้าใจว่าการกระทำของตนจะส่งผลต่อพฤติกรรมในอนาคตของผู้อื่นได้อย่างไร ซึ่งเป็นสิ่งที่แตกต่างจาก Deep-RL agent ที่มองว่าตัวแทนอื่นเป็นเพียงส่วนหนึ่งของสภาพแวดล้อม
หัวใจสำคัญของ LOLA คือการที่มันสามารถฝึกตัวแทนให้ประสบความสำเร็จใน coin game ซึ่งตัวแทนสองตัวคือ red และ blue แข่งกันเก็บเหรียญสีของตนเอง โดยหากทั้งคู่เลือกเก็บเหรียญอย่างเห็นแก่ตัว ผลลัพธ์เฉลี่ยคือศูนย์แต้ม
ศัพท์ที่ควรรู้
- Reinforcement Learning (RL) – เป็นกระบวนการที่ตัวแทนเรียนรู้ผ่านการลองผิดลองถูกเพื่อเพิ่มรางวัลสูงสุดในสภาพแวดล้อม
- Independent PPO – เป็นวิธีการ Deep reinforcement learning ขั้นสูงที่ใช้ในการฝึกตัวแทนเรียนรู้แต่ไม่ได้คำนึงถึงคู่แข่ง
- Iterated prisoner’s dilemma – เป็นเกมทางทฤษฎีที่ใช้ทดสอบการตัดสินใจร่วมกันในสถานการณ์ที่ต้องมีการทำซ้ำ
- Coin game – เป็นเกมที่ตัวแทนสองตัวแข่งขันกันเก็บเหรียญสีของตนเอง ซึ่งผลลัพธ์ขึ้นอยู่กับการตัดสินใจของทั้งคู่
ที่มา: OpenAI