เราค้นพบว่า gradient noise scale ซึ่งเป็นตัวชี้วัดทางสถิติอย่างง่าย สามารถทำนายการขนานกันได้ของการฝึกโครงข่ายประสาทเทียมในงานที่หลากหลายได้ เนื่องจากงานที่ซับซ้อนมักจะมี gradient ที่มีสัญญาณรบกวนมากกว่า ทำให้ขนาดแบทช์ที่ใหญ่ขึ้นมีประโยชน์ในอนาคต ซึ่งช่วยขจัดข้อจำกัดหนึ่งในการเติบโตของระบบ AI
โดยพื้นฐานแล้ว สิ่งนี้หมายความว่าเครือข่ายเรียนรู้คุณสมบัติที่ ‘ชัดเจน’ ของงานในช่วงแรก และเรียนรู้คุณสมบัติที่ซับซ้อนขึ้นในภายหลัง เช่น ในการจำแนกภาพ โมเดลอาจเรียนรู้ขอบหรือพื้นผิวเล็กๆ ก่อน แล้วจึงนำมารวมเป็นแนวคิดใหญ่ เช่น แมวหรือสุนัข
เราเห็นเบื้องต้นว่าปรากฏการณ์เดียวกันนี้เกิดขึ้นในโมเดลต่างๆ บนชุดข้อมูลเดียวกัน โดยโมเดลที่ทรงพลังกว่าจะมี gradient noise scale สูงกว่า เนื่องจากบรรลุ loss ที่ต่ำกว่า นอกจากนี้ ในการเรียนรู้แบบเสริมแรง ยังมีการไล่ระดับจาก Atari Pong ไปจนถึง Dota 5v5 ซึ่งขนาดแบทช์ที่เหมาะสมแตกต่างกันมากกว่า 10,000 เท่า ดังนั้น เมื่อ AI ก้าวไปสู่ภารกิจใหม่ที่ยากขึ้น เราคาดว่าโมเดลจะทนทานต่อขนาดแบทช์ที่สูงขึ้นได้
ศัพท์ที่ควรรู้
- Gradient noise scale – เป็นตัวชี้วัดทางสถิติที่ใช้วัดระดับสัญญาณรบกวนของ gradient ในการฝึกโมเดล
- Parallelizability – คือความสามารถในการทำงานพร้อมกันของกระบวนการฝึกโครงข่ายประสาทเทียม
- Batch sizes – คือจำนวนข้อมูลที่ป้อนเข้าโมเดลในครั้งเดียวระหว่างการฝึก
- Loss – คือค่าที่บ่งบอกถึงความผิดพลาดของโมเดลในการทำนาย ซึ่งโมเดลพยายามทำให้มีค่าน้อยที่สุด
ที่มา: OpenAI