การเดินทางสู่ความสำเร็จใน Reinforcement Learning นั้นไม่ง่ายนัก เพราะอัลกอริทึมเหล่านี้มีหลายส่วนที่ต้องจัดการและต้องใช้ความพยายามอย่างมากในการปรับจูนเพื่อให้ได้ผลลัพธ์ที่ดี
PPO เข้ามาช่วยสร้างสมดุลระหว่างความง่ายในการติดตั้ง ความซับซ้อนของตัวอย่าง และความง่ายในการปรับจูน โดยพยายามคำนวณการอัปเดตในแต่ละขั้นตอนเพื่อลดฟังก์ชันต้นทุน พร้อมทั้งมั่นใจว่าการเบี่ยงเบนจากนโยบายก่อนหน้ามีค่อนข้างน้อย
เราได้สร้างเอเจนต์แบบโต้ตอบโดยใช้ Policy ที่ฝึกด้วย PPO ซึ่งสามารถใช้คีย์บอร์ดเพื่อกำหนดตำแหน่งเป้าหมายใหม่ให้กับหุ่นยนต์ในสภาพแวดล้อม Roboschool และมันก็สามารถสรุปองค์ความรู้ได้ แม้ว่าลำดับอินพุตจะแตกต่างจากที่เอเจนต์ถูกฝึกมาก็ตาม
ศัพท์ที่ควรรู้
- Reinforcement Learning – เป็นวิธีการเรียนรู้ของเอเจนต์ผ่านการลองผิดลองถูกเพื่อเพิ่มประสิทธิภาพในสภาพแวดล้อม
- Proximal Policy Optimization (PPO) – คืออัลกอริทึมกลุ่มใหม่ที่ OpenAI เปิดตัว ซึ่งใช้งานง่ายกว่าแต่ให้ผลลัพธ์เทียบเท่าหรือดีกว่าเทคนิคขั้นสูง
- Policy Gradient methods – คือกลุ่มของวิธีการที่ใช้ในการปรับปรุงนโยบายของเอเจนต์ ซึ่งมีความไวต่อการเลือกขนาดก้าว (stepsize) สูง
- Generalize – คือความสามารถของเอเจนต์ในการนำความรู้ที่เรียนรู้มาใช้กับสถานการณ์ใหม่ที่ไม่เคยพบเจอมาก่อน
ที่มา: OpenAI