มนุษย์สามารถเรียนรู้ภารกิจใหม่ได้อย่างรวดเร็วโดยการเรียงลำดับส่วนประกอบที่เรียนรู้แล้ว แม้ว่าภารกิจนั้นอาจต้องใช้การกระทำระดับต่ำจำนวนมากก็ตาม
ในทางตรงกันข้าม วิธีการเรียนรู้แบบเสริมแรงในปัจจุบันมักจะค้นหาด้วยกำลังในระดับการกระทำระดับต่ำ ซึ่งต้องใช้ความพยายามมหาศาลในการแก้ปัญหาใหม่ ทำให้ไม่มีประสิทธิภาพเมื่อต้องจัดการกับงานที่ใช้จำนวนก้าวเวลามาก
แนวทางของเราคือการเรียนรู้แบบเสริมแรงเชิงลำดับชั้น (hierarchical reinforcement learning) ซึ่งทำให้เอเจนต์สามารถแทนพฤติกรรมที่ซับซ้อนด้วยลำดับการกระทำระดับสูงที่สั้น ทำให้สามารถแก้ปัญหาที่ยากขึ้นได้อย่างมีประสิทธิภาพมากกว่าการค้นหาในระดับการกระทำระดับต่ำทั้งหมด
ศัพท์ที่ควรรู้
- Reinforcement learning – การเรียนรู้โดยใช้การลองผิดลองถูกเพื่อปรับปรุงพฤติกรรม
- Low-level actions – การกระทำระดับต่ำ หมายถึงการเคลื่อนไหวพื้นฐานที่ต้องทำ เช่น การหดตัวของกล้ามเนื้อ
- High-level actions – การกระทำระดับสูง หมายถึงการตัดสินใจหรือขั้นตอนใหญ่ๆ ที่นำไปสู่เป้าหมาย
- Hierarchical reinforcement learning – การเรียนรู้แบบเสริมแรงเชิงลำดับชั้น ซึ่งคือการจัดโครงสร้างปัญหาให้เป็นลำดับชั้นของการกระทำ
ที่มา: OpenAI