ตัวแทน AI ของเราเริ่มต้นด้วยการกระทำแบบสุ่มในสภาพแวดล้อม จากนั้นจะมีการนำเสนอคลิปวิดีโอพฤติกรรมสองคลิปให้มนุษย์ตัดสินว่าคลิปใดใกล้เคียงกับเป้าหมายที่ตั้งไว้มากกว่า
AI จะสร้างแบบจำลองของเป้าหมายของงานโดยการค้นหาฟังก์ชันรางวัลที่อธิบายการตัดสินของมนุษย์ได้ดีที่สุด จากนั้นจึงใช้ RL เพื่อเรียนรู้วิธีบรรลุเป้าหมายนั้น
เมื่อพฤติกรรมดีขึ้น โมเดลจะยังคงขอข้อเสนอแนะจากมนุษย์ในคู่เส้นทางที่ตนเองไม่แน่ใจว่าแบบไหนดีกว่า เพื่อปรับปรุงความเข้าใจเกี่ยวกับเป้าหมายต่อไป
แนวทางนี้แสดงให้เห็นถึงประสิทธิภาพในการใช้ตัวอย่างที่ดี โดยการทำ Backflip ใช้ข้อมูลป้อนกลับจากมนุษย์น้อยกว่า 1000 บิต และใช้เวลาผู้ประเมินน้อยกว่า 1 ชั่วโมง ขณะที่โมเดลสะสมประสบการณ์ไปกว่า 70 ชั่วโมง
เราจะยังคงทำงานเพื่อลดปริมาณข้อเสนอแนะที่มนุษย์ต้องให้ต่อไป
ศัพท์ที่ควรรู้
- AI agent – ตัวแทนปัญญาประดิษฐ์ที่ถูกฝึกให้เรียนรู้และดำเนินการในสภาพแวดล้อม
- Backflip – การตีลังกากลับหลัง ซึ่งเป็นเป้าหมายที่ AI พยายามเรียนรู้
- Reward function – ฟังก์ชันรางวัลที่ใช้เป็นตัวกำหนดว่าการกระทำใดนำไปสู่เป้าหมายที่ถูกต้อง
- RL – Reinforcement Learning หรือการเรียนรู้แบบเสริมกำลัง ซึ่งเป็นกระบวนการที่ AI ปรับพฤติกรรมเพื่อเพิ่มรางวัล
ที่มา: OpenAI