เราได้ฝึกโครงข่ายประสาทเทียมให้เล่น Minecraft โดยใช้ Video PreTraining (VPT) บนชุดข้อมูลวิดีโอการเล่นของมนุษย์จำนวนมากที่ไม่มีป้ายกำกับ และใช้ข้อมูลผู้เชี่ยวชาญที่มีป้ายกำกับเพียงเล็กน้อยเท่านั้น การทำงานนี้ง่ายกว่าการทำ behavioral cloning ที่ต้องคาดเดาการกระทำจากเฟรมวิดีโอในอดีต ซึ่งต้องอนุมานว่าบุคคลนั้นต้องการทำอะไรและจะทำอย่างไร
เราเลือกใช้ Minecraft เป็นกรณีศึกษาเพราะเป็นเกมที่ได้รับความนิยมสูงและมีข้อมูลวิดีโอให้ใช้มากมาย อีกทั้งยังเปิดกว้างหลากหลายเหมือนการใช้งานจริง เช่น การใช้คอมพิวเตอร์ AI ของเราใช้ส่วนติดต่อผู้ใช้แบบดั้งเดิมของมนุษย์ คือเฟรมเรต 20Hz พร้อมเมาส์และคีย์บอร์ด
เมื่อทำการปรับแต่งด้วยชุดข้อมูลนี้ ไม่เพียงแต่จะเห็นการพัฒนาอย่างมากในทักษะช่วงต้นเกมที่มีอยู่ในโมเดลพื้นฐานเท่านั้น แต่โมเดลที่ปรับแต่งแล้วยังเรียนรู้ที่จะลงลึกในเทคโนโลยีต้นไม้ด้วยการประดิษฐ์เครื่องมือทั้งไม้และหิน
เมื่อเทียบกับ generative video modeling หรือ contrastive methods ที่ให้เพียงแค่ prior เชิงตัวแทน VPT มีศักยภาพในการเรียนรู้ behavioral priors ในระดับใหญ่ในโดเมนที่นอกเหนือจากภาษาด้วย
ศัพท์ที่ควรรู้
- Video PreTraining (VPT) – เทคนิคที่ใช้ในการฝึกโมเดลโดยการเรียนรู้จากวิดีโอการเล่นของมนุษย์จำนวนมาก
- Behavioral cloning – งานที่ต้องคาดเดาการกระทำของเอเจนต์จากข้อมูลวิดีโอในอดีต
- Foundation model – โมเดลพื้นฐานที่มีความรู้กว้างขวางซึ่งถูกนำมาใช้เป็นจุดเริ่มต้นในการเรียนรู้ใหม่
- Generative video modeling – วิธีการสร้างวิดีโอขึ้นมาใหม่ ซึ่งแตกต่างจากการเรียนรู้จากวิดีโอที่มีอยู่
ที่มา: OpenAI