ในการจำลองสถานการณ์ FetchSlide ซึ่งต้องเรียนรู้การส่งเป้าหมายไปยังเป้าหมายที่กำหนด การพยายามครั้งแรกๆ มักจะไม่สำเร็จ ซึ่งอัลกอริทึมการเรียนรู้แบบเสริมแรง (reinforcement learning) ทั่วไปอาจไม่เรียนรู้อะไรเลย เนื่องจากได้รับรางวัลคงที่ (-1) และไม่มีสัญญาณการเรียนรู้
HER เข้าใจถึงสิ่งที่มนุษย์ทำโดยสัญชาตญาณ นั่นคือ แม้จะพลาดเป้าหมายหลัก แต่ก็อาจบรรลุเป้าหมายอื่นไปแล้ว ดังนั้น แทนที่จะยึดติดกับเป้าหมายเดิม ก็ให้สมมติว่าเป้าหมายนั้นคือสิ่งที่ตั้งใจไว้แต่แรก การแทนที่นี้ทำให้เกิดสัญญาณการเรียนรู้และสามารถเรียนรู้เป้าหมายใดๆ ได้ในที่สุด
เทคนิคนี้เรียกว่า Hindsight Experience Replay เพราะมันนำประสบการณ์ที่ผ่านมา (ซึ่งมักใช้ในอัลกอริทึมแบบ off-policy เช่น DQN และ DDPG) มาเล่นซ้ำโดยเลือกเป้าหมายย้อนหลัง (in hindsight) ทำให้ HER สามารถนำไปรวมกับอัลกอริทึม off-policy ใดๆ ก็ได้ เช่น DDPG + HER
ศัพท์ที่ควรรู้
- FetchSlide – งานจำลองที่ต้องเรียนรู้การส่งเป้าหมายไปยังเป้าหมายที่กำหนด
- Reinforcement learning – อัลกอริทึมที่เอเจนต์เรียนรู้ผ่านการลองผิดลองถูกเพื่อเพิ่มรางวัล
- Learning signal – สัญญาณที่บอกให้เอเจนต์รู้ว่าควรปรับปรุงการกระทำของตนเองอย่างไร
- Sparse reward – สถานการณ์ที่รางวัลที่ได้รับนั้นหายากมาก หรือเกิดขึ้นได้ยาก
- Hindsight Experience Replay – เทคนิคการนำประสบการณ์ที่ผ่านมากลับมาเล่นซ้ำโดยเลือกเป้าหมายที่เกิดขึ้นจริง
ที่มา: OpenAI