เมื่อมีอัลกอริทึมการเรียนรู้ที่รองรับช่วงเวลาที่ยาวนาน เรายังคงต้องสำรวจสภาพแวดล้อม แม้จะมีข้อจำกัด แต่ก็มีองค์ประกอบหลายร้อยรายการ อาคารหลายสิบแห่ง และประเภทของยูนิตมากมายที่ต้องเรียนรู้ ซึ่งหลายอย่างรวมกันแล้วสร้างการผสมผสานที่ทรงพลัง
เพื่อหลีกเลี่ยงภาวะที่กลยุทธ์ซ้ำซาก (strategy collapse) ตัวแทน (agent) ได้ฝึกเกม 80% กับตัวเอง และ 20% กับตัวตนในอดีต หลังจากผ่านไปหลายวัน พวกเขาเริ่มใช้กลยุทธ์พื้นฐานของมนุษย์ เช่น การพยายามขโมย Bounty runes จากคู่ต่อสู้ การเดินไปเก็บฟาร์มที่ป้อมระดับหนึ่ง และการหมุนเวียนฮีโร่เพื่อครองเปรียบในเลน
เพื่อบังคับให้เกิดการสำรวจในเชิงกลยุทธ์ ในระหว่างการฝึก (และเฉพาะช่วงฝึกเท่านั้น) เราได้ทำให้คุณสมบัติของยูนิต (เช่น พลังชีวิต ความเร็ว ระดับเริ่มต้น) มีความสุ่ม และมันก็เริ่มเอาชนะมนุษย์ได้ ต่อมา เมื่อผู้เล่นทดสอบเอาชนะบอท 1 ต่อ 1 ของเราได้อย่างต่อเนื่อง เราได้เพิ่มความสุ่มในการฝึก และผู้เล่นทดสอบก็เริ่มแพ้
ศัพท์ที่ควรรู้
- Learning algorithm – อัลกอริทึมการเรียนรู้ที่ใช้ในการปรับปรุงและตัดสินใจของระบบ
- Strategy collapse – ภาวะที่กลยุทธ์ซ้ำซากหรือติดอยู่ในรูปแบบเดิมๆ จนไม่สามารถพัฒนาต่อไปได้
- Agent – ตัวแทนปัญญาประดิษฐ์ที่ถูกฝึกฝนให้ตัดสินใจและดำเนินการในสภาพแวดล้อมจำลอง
- Bounty runes – ไอเทมที่สามารถถูกโจมตีเพื่อชิงจากคู่ต่อสู้ ซึ่งมักมีมูลค่าสูง
ที่มา: OpenAI