จากการทดสอบ Sonic Benchmark พบว่า แม้ว่า AI ที่ใช้ RL และ Transfer learning จะพยายามปรับปรุง แต่คะแนนที่ทำได้ยังคงต่ำกว่ามนุษย์อย่างมีนัยสำคัญ หลังจากฝึกฝนในระดับการฝึกและทดสอบ
Sonic Recordings ช่วยให้ Agent สามารถเริ่มต้นเล่นจากจุดต่างๆ ที่สุ่มมาจากแต่ละด่าน ทำให้ได้รับประสบการณ์ที่หลากหลายกว่าการเริ่มจากจุดเริ่มต้นเสมอ
Gym Retro Beta นั้นมีความซับซ้อนมากกว่าเกม Atari เนื่องจากใช้ฮาร์ดแวร์ที่ดีกว่า เช่น มี RAM มากกว่า Atari ถึง 500 เท่า และรองรับอินพุตควบคุมที่หลากหลายกว่า ซึ่งแตกต่างจาก Retro Learning Environment โดยสามารถกำหนดสภาพแวดล้อมผ่านไฟล์ JSON แทนโค้ด C++ ทำให้ยืดหยุ่นกว่า
ใน Gym Retro พบว่า Policy ที่ฝึกด้วย PPO สามารถค้นพบวิธีหลุดผ่านกำแพงของด่านเพื่อทำคะแนนให้สูงขึ้น ซึ่งแสดงให้เห็นว่าฟังก์ชันรางวัลที่เฉพาะเจาะจงสามารถนำไปสู่พฤติกรรมที่ผิดปกติของ AI ได้
การทดลองนี้ได้รับข้อเสนอแนะที่เป็นประโยชน์จาก Philipp Moritz, Robert Nishihara, Adam Stelmaszczyk, Aravind Srinivas, Qin Yongliang, Julian Togelius และ Emilio Parisotto
ที่มา: OpenAI