เราได้ฝึก Agent 9 ตัว ให้เล่นเกม CoinRun โดยแต่ละตัวมีจำนวนระดับการฝึกฝนที่แตกต่างกัน Agent 8 ตัวแรกถูกฝึกด้วยชุดข้อมูลตั้งแต่ 100 ถึง 16,000 ระดับ ในขณะที่ Agent ตัวสุดท้ายถูกฝึกด้วยชุดข้อมูลที่ไม่จำกัด ทำให้ไม่เคยเห็นระดับเดิมซ้ำกัน
เราใช้ Policy ที่มีสถาปัตยกรรม 3-layer convolutional ที่เรียกว่า Nature-CNN และฝึกด้วย Proximal Policy Optimization (PPO) เป็นเวลาทั้งหมด 256 ล้าน Timesteps โดย Agent ที่มีชุดข้อมูลคงที่จะเห็นระดับการฝึกซ้ำหลายพันถึงล้านครั้ง
Agent ตัวสุดท้ายที่ฝึกด้วยชุดข้อมูลไม่จำกัด จะเห็นระดับที่แตกต่างกันประมาณ 2 ล้านระดับ ซึ่งแต่ละระดับถูกเห็นเพียงครั้งเดียว เราเก็บข้อมูลโดยการหาค่าเฉลี่ยประสิทธิภาพของ Agent ตัวสุดท้ายตลอด 10,000 ตอน
เราค้นพบว่าเมื่อมีระดับการฝึกฝนน้อยกว่า 4,000 ระดับ จะเกิดภาวะ Overfitting อย่างมาก และยังพบอาการนี้แม้จะมี 16,000 ระดับก็ตาม Agent ที่ฝึกด้วยชุดข้อมูลไม่จำกัดนั้นทำผลงานได้ดีที่สุด ดังแสดงในกราฟ
เราได้เปรียบเทียบ Nature-CNN ของเรากับสถาปัตยกรรมที่ใช้ใน IMPALA และพบว่า Agent ของ IMPALA-CNN มีความสามารถในการสรุปผลได้ดีกว่ามาก ไม่ว่าจะใช้ชุดข้อมูลใดก็ตาม
ศัพท์ที่ควรรู้
- Reinforcement Learning – การเรียนรู้แบบเสริมกำลัง คือกระบวนการที่ Agent เรียนรู้จากการลองผิดลองถูกเพื่อเพิ่มประสิทธิภาพในการตัดสินใจ
- Agent – ในบริบทนี้หมายถึงตัวแทนซอฟต์แวร์ที่กำลังเรียนรู้และตัดสินใจในสภาพแวดล้อมจำลอง
- Nature-CNN – คือสถาปัตยกรรมโครงข่ายประสาทเทียมแบบ Convolutional ที่ใช้ในการฝึก Agent ของเรา
- Proximal Policy Optimization (PPO) – คืออัลกอริทึมที่ใช้ในการปรับปรุงและอัปเดต Policy ของ Agent ให้มีประสิทธิภาพมากขึ้น
- Overfitting – คือภาวะที่โมเดลเรียนรู้ข้อมูลฝึกฝนมากเกินไปจนไม่สามารถนำไปใช้กับข้อมูลใหม่ที่ไม่เคยเห็นได้
ที่มา: OpenAI