Iterated amplification คือวิธีการสร้างสัญญาณการฝึกฝนสำหรับงานประเภทที่ต้องใช้ความซับซ้อนสูง โดยมีสมมติฐานว่าแม้มนุษย์จะไม่สามารถทำหรือตัดสินใจทั้งงานได้ แต่สามารถแบ่งงานนั้นออกเป็นองค์ประกอบย่อยๆ ที่ชัดเจนได้
ตัวอย่างเช่น ในงานด้านเครือข่ายคอมพิวเตอร์ มนุษย์สามารถแยกย่อยคำสั่ง “ป้องกันเซิร์ฟเวอร์และเราเตอร์” เป็นส่วนเล็กๆ เช่น การพิจารณาการโจมตีเซิร์ฟเวอร์ หรือการพิจารณาการโต้ตอบระหว่างการโจมตีเหล่านั้น
เราเริ่มต้นด้วยการให้มนุษย์ช่วยแก้ปัญหาเล็กๆ ก่อน จากนั้นจึงใช้คำตอบเหล่านั้นเป็นสัญญาณในการฝึก AI ให้สามารถแก้ปัญหาที่ซับซ้อนขึ้นได้โดยไม่ต้องพึ่งพาการช่วยเหลือจากมนุษย์อีกต่อไป
กระบวนการนี้ค่อยๆ สร้างสัญญาณการฝึกฝนขึ้นมาทีละขั้น จนกระทั่งได้ระบบอัตโนมัติที่สามารถจัดการกับงานที่มีองค์ประกอบซับซ้อนสูงได้ แม้จะไม่มีสัญญาณการฝึกฝนเริ่มต้นสำหรับงานนั้นๆ เลยก็ตาม
กระบวนการนี้คล้ายกับ expert iteration ที่ใช้ใน AlphaGo Zero แต่ต่างกันตรงที่ Iterated amplification สร้างสัญญาณการฝึกฝนขึ้นมาใหม่ทั้งหมด ในขณะที่ expert iteration เสริมสัญญาณที่มีอยู่แล้ว
ศัพท์ที่ควรรู้
- Iterated amplification – เป็นวิธีการสร้างสัญญาณการฝึกฝนสำหรับงานที่ซับซ้อนโดยการทำซ้ำและขยายองค์ประกอบ
- Task decomposition – คือการแบ่งงานใหญ่ๆ ออกเป็นส่วนประกอบย่อยๆ ที่จัดการได้
- Training signal – คือข้อมูลที่ใช้ในการสอนหรือปรับปรุงโมเดล AI ให้เรียนรู้
- AlphaGo Zero – คือตัวอย่างของระบบที่ใช้ expert iteration ในการเรียนรู้
ที่มา: OpenAI