โดยปกติแล้ว การพัฒนาของเราคือการฝึกแต่ละครั้งใหม่ทั้งหมด แต่ OpenAI Five เวอร์ชันนี้มีการรวมพารามิเตอร์ที่ฝึกฝนมาตั้งแต่ 9 มิถุนายน ผ่านการปรับปรุงระบบหลักถึงหกครั้ง โดยแต่ละครั้งเริ่มต้นจากพารามิเตอร์ของครั้งก่อนหน้า
เราได้ลงทุนอย่างมากในเครื่องมือ ‘surgery’ ซึ่งช่วยให้สามารถแมปพารามิเตอร์เก่าเข้ากับสถาปัตยกรรมเครือข่ายใหม่ได้ เช่น ในการฝึกครั้งแรก เราใช้ action head เดียวในการกำหนดการเคลื่อนที่และการวาง Ward แต่ Five มักจะวาง Ward ในทิศทางที่ดูเหมือนจะไป แต่คาดว่ามันใช้ความสามารถส่วนใหญ่ไปกับการเคลื่อนที่ ทำให้เราต้องแยก head นั้นออกเป็นสองโคลนที่เริ่มต้นด้วยพารามิเตอร์เดียวกัน
เราประมาณการว่าใช้พลังการคำนวณดังนี้: โมเดล 1v1 ใช้ 8 petaflop/s-days, โมเดลมิถุนายนใช้ 11 petaflop/s-days และโมเดล 5 สิงหาคม ใช้ 35 petaflop/s-days
เรายังได้เปิดเผยสถาปัตยกรรมเครือข่ายล่าสุดของเราด้วย
ศัพท์ที่ควรรู้
- OpenAI Five – คือระบบที่ถูกนำมาทดสอบ Benchmark ในครั้งนี้
- Surgery tooling – เครื่องมือที่ใช้ปรับเปลี่ยนพารามิเตอร์เก่าให้เข้ากับสถาปัตยกรรมใหม่
- Action head – ส่วนของเครือข่ายที่ใช้ในการตัดสินใจการกระทำ เช่น การเคลื่อนที่หรือการวาง Ward
- petaflop/s-days – หน่วยวัดปริมาณการคำนวณที่ใช้ในการฝึกโมเดล
ที่มา: OpenAI