วิธีการแบบ Model-free RL เช่น policy gradients และ Q-learning อาศัยการกระทำแบบสุ่มในการสำรวจ ซึ่งอาจเกิดจากความแตกต่างของ frameskip หรือความสุ่มในการกระทำที่ทำให้การทำซ้ำลำดับการกระทำนั้นทำได้ยาก
ความท้าทายอีกประการคืออัลกอริทึม RL มาตรฐานต้องสร้างสมดุลระหว่างการสำรวจ (exploration) และการแสวงหาประโยชน์ (exploitation) อย่างระมัดระวัง หากสุ่มมากไปอาจเกิดข้อผิดพลาดมากเกินไป หากกำหนดตายตัวเกินไปก็จะหยุดเรียนรู้
การบรรลุผลลัพธ์ใน Montezuma’s Revenge จึงต้องอาศัยการปรับจูนค่า coefficient ของ entropy bonus ใน PPO ร่วมกับ hyperparameter อื่นๆ เช่น learning rate และ reward scaling อย่างพิถีพิถัน
แม้ว่าเราจะทดสอบการปรับเปลี่ยน policy เพื่อทดสอบการสรุปผล (generalization) แต่ผลลัพธ์ของเรายังคงดีกว่างานที่เคยตีพิมพ์มาก่อนในด้านการเรียนรู้จากการสาธิต
ศัพท์ที่ควรรู้
- Model-free RL – วิธีการเรียนรู้ที่ไม่ได้สร้างแบบจำลองของสภาพแวดล้อม แต่เรียนรู้จากลองผิดลองถูกโดยตรง
- Policy gradients – หนึ่งในวิธีการของ RL ที่ปรับปรุงนโยบาย (policy) โดยตรงเพื่อเพิ่มโอกาสสำเร็จ
- Entropy bonus – เทอมที่ใช้ในการปรับสมดุลระหว่างการสำรวจและการแสวงหาประโยชน์ในระหว่างการเรียนรู้
- Exploration vs Exploitation – การตัดสินใจว่าจะลองทำสิ่งใหม่ๆ เพื่อเรียนรู้ หรือจะใช้สิ่งที่รู้แล้วเพื่อทำคะแนนให้ได้มากที่สุด
ที่มา: OpenAI