Parameter noise ช่วยให้เราสามารถสอน Agent ให้ทำงานได้เร็วกว่าวิธีการอื่นมาก หลังจากการเรียนรู้เพียง 20 episodes บน HalfCheetah Gym environment พบว่า Policy ที่ใช้เทคนิคนี้ทำคะแนนได้ประมาณ 3,000 ในขณะที่ Policy ที่ฝึกด้วย Action noise แบบดั้งเดิมทำได้เพียงประมาณ 1,500 เท่านั้น
เทคนิคนี้คือการฉีดความสุ่มเข้าไปในพารามิเตอร์ของ Agent โดยตรง ซึ่งจะเปลี่ยนแปลงประเภทของการตัดสินใจทั้งหมดให้ขึ้นอยู่กับการรับรู้ของ Agent ในขณะนั้น
วิธีการนี้อยู่กึ่งกลางระหว่าง evolution strategies ที่เราปรับพารามิเตอร์แต่ไม่กระทบการกระทำในแต่ละ rollout กับ deep reinforcement learning approaches เช่น TRPO, DQN และ DDPG ที่เราไม่แตะต้องพารามิเตอร์แต่เพิ่ม noise ใน action space
ในช่วงแรกของการวิจัย เราพบว่าการรบกวน Q function ของ DQN อาจรุนแรงเกินไปจนทำให้ Algorithm ทำการกระทำเดิมซ้ำๆ จึงได้มีการเพิ่มส่วน Policy head แยกต่างหาก แต่การทดลองในภายหลังยืนยันว่าส่วนนี้ไม่จำเป็นอีกต่อไป เนื่องจาก Algorithm ได้รับการปรับปรุงไปแล้ว ทำให้ได้อัลกอริทึมที่เรียบง่ายกว่าและฝึกฝนได้ต้นทุนน้อยกว่าโดยให้ผลลัพธ์ที่ใกล้เคียงกัน
ศัพท์ที่ควรรู้
- Parameter noise – การเพิ่มสัญญาณรบกวนเข้าไปในพารามิเตอร์ของ Agent โดยตรง
- HalfCheetah Gym environment – สภาพแวดล้อมจำลองที่ใช้ในการทดสอบ Agent
- Action noise – การเพิ่มสัญญาณรบกวนเข้าไปในพื้นที่การกระทำของ Agent
- evolution strategies – วิธีการที่ปรับพารามิเตอร์ของ Policy แต่ไม่กระทบการกระทำในระหว่างการสำรวจ
- deep reinforcement learning approaches – แนวทางการเรียนรู้แบบเสริมกำลังเชิงลึก เช่น TRPO, DQN และ DDPG
ที่มา: OpenAI