ในการแปลงภาพหน้าจอเป็นโทนสีเทา ทีมงานพบว่ามีการปรับเทียบค่าสัมประสิทธิ์สำหรับค่าสีเขียวผิดพลาด ทำให้ไม่สามารถมองเห็นวัตถุเป้าหมายได้ หลังจากตรวจพบข้อบกพร่อง จึงได้ปรับค่าสีและอัลกอริทึมสามารถมองเห็นวัตถุนั้นได้อีกครั้ง สำหรับการดีบักในอนาคต Gym มีฟังก์ชัน play ที่ช่วยให้นักวิจัยเห็นข้อมูลเดียวกับที่ AI agent เห็น
ทีมงานยังพบว่าการตั้งค่า annealing schedule สำหรับ epsilon ซึ่งเป็น hyperparameter ควบคุมอัตราการสำรวจ มีผลกระทบอย่างมากต่อประสิทธิภาพ โดยการใช้งานครั้งสุดท้ายคือการลด epsilon เหลือ 0.1 ในหนึ่งล้านสเต็ป และลดลงเหลือ 0.01 ใน 24 ล้านสเต็ปถัดไป
ในเอกสาร DQN นั้น ผู้เขียนระบุว่าการจำกัดค่า error term ให้อยู่ระหว่าง -1 ถึง 1 นั้นสามารถตีความได้สองแบบ คือการจำกัด objective หรือการจำกัด multiplicative term ขณะคำนวณ gradient ซึ่งการตีความแบบแรกอาจทำให้ gradient เป็นศูนย์ในสถานการณ์ที่มีข้อผิดพลาดสูง นำไปสู่ประสิทธิภาพที่ไม่เหมาะสม
ศัพท์ที่ควรรู้
- Greyscale – การแปลงภาพให้เหลือเพียงระดับความเข้มของสีขาวดำ
- Coefficients – ค่าคงที่ที่ใช้ในการคำนวณเพื่อแปลงค่าสี
- Gym – ไลบรารีที่ใช้จำลองสภาพแวดล้อมเพื่อให้ AI agent ได้ฝึกฝน
- Epsilon – Hyperparameter ที่ควบคุมอัตราการสำรวจ (Exploration Rate) ของโมเดล
- Gradient – อัตราการเปลี่ยนแปลงของฟังก์ชันที่บอกทิศทางการปรับปรุงโมเดล
ที่มา: OpenAI