เรามาดูว่า RL ทำงานอย่างไรกันบ้าง เทคนิคยุคแรกอาจได้รับแรงบันดาลใจจากวิวัฒนาการทางชีววิทยา ซึ่งในระดับนามธรรมคือการสุ่มตัวอย่างประชากร และปล่อยให้ตัวที่ประสบความสำเร็จกำหนดการแจกแจงของรุ่นต่อไป
อัลกอริทึม ES โดยพื้นฐานคือกระบวนการ “เดาและตรวจสอบ” โดยเริ่มต้นจากพารามิเตอร์แบบสุ่ม และทำการปรับเปลี่ยนเล็กน้อยแบบสุ่ม และปรับปรุงไปในทิศทางที่การปรับเปลี่ยนนั้นให้ผลลัพธ์ที่ดีกว่า
อีกมุมมองหนึ่งคือ ES ยังคงทำ RL (เช่น Policy Gradients หรือ REINFORCE) โดยที่เอเจนต์จะปล่อยเวกเตอร์พารามิเตอร์ทั้งหมดออกมาผ่าน Gaussian policy แต่ ES ต้องการเพียง forward pass ของ policy และไม่จำเป็นต้องมี backpropagation ทำให้โค้ดสั้นกว่าและเร็วกว่าในทางปฏิบัติ 2-3 เท่า
นอกจากนี้ เรายังสามารถสำรวจกลุ่มของนโยบายที่ใหญ่กว่ามาก รวมถึงเครือข่ายที่ไม่สามารถหาอนุพันธ์ได้ (เช่น binary networks) หรือที่มีโมดูลที่ซับซ้อน
เมื่อศึกษา ES และตัวประมาณค่าเกรเดียนต์ของ RL ทางคณิตศาสตร์ เราพบว่า ES เป็นตัวเลือกที่น่าสนใจอย่างยิ่งเมื่อจำนวนขั้นตอนในตอนนั้นยาวนาน หรือเมื่อไม่มีการประมาณค่าฟังก์ชันมูลค่าที่ดี
ศัพท์ที่ควรรู้
- Reinforcement Learning (RL) – วิธีการเรียนรู้ที่เอเจนต์ปรับปรุงการกระทำของตนเองผ่านการลองผิดลองถูกและผลตอบรับจากสภาพแวดล้อม
- Evolution Strategies (ES) – อัลกอริทึมที่ใช้หลักการวิวัฒนาการในการค้นหาพารามิเตอร์ที่ดีที่สุดโดยการคัดเลือกและปรับปรุงรุ่นต่อไป
- Backpropagation – กระบวนการคำนวณที่ใช้ในการปรับปรุงน้ำหนักของโครงข่ายประสาทเทียมโดยการคำนวณย้อนกลับจากผลลัพธ์
- Policy Gradients – วิธีการใน RL ที่ปรับปรุงนโยบาย (Policy) โดยการคำนวณหาเกรเดียนต์ของฟังก์ชันเป้าหมาย
ที่มา: OpenAI