ระบบนี้ใช้สองเครือข่ายประสาท คือ vision network และ imitation network โดย vision network จะรับภาพจากกล้องของหุ่นยนต์และส่งออกสถานะที่บ่งบอกตำแหน่งของวัตถุต่างๆ
Vision network ได้รับการฝึกด้วยภาพจำลองหลายแสนภาพที่มีการเปลี่ยนแปลงด้านแสง พื้นผิว และวัตถุต่างๆ แต่ไม่เคยถูกฝึกด้วยภาพจริง
ส่วน imitation network จะสังเกตการสาธิตเพื่ออนุมานเจตนาของภารกิจ และดำเนินการตามเจตนานั้นจากสถานะเริ่มต้นอื่น ทำให้ต้องสามารถสรุป (generalize) การสาธิตไปใช้ในบริบทใหม่ได้
การเรียนรู้การสรุปนี้เกิดขึ้นจากการฝึกด้วยชุดข้อมูลตัวอย่างที่หลากหลาย โดยแต่ละตัวอย่างคือคู่ของการสาธิตที่ทำงานเดียวกัน ซึ่งช่วยให้ network เรียนรู้ที่จะจับคู่ลำดับการจัดเรียงและขนาดของหอคอยโดยไม่สนใจตำแหน่งสัมพัทธ์ของหอคอย
ศัพท์ที่ควรรู้
- Vision network – เครือข่ายที่รับภาพจากกล้องและแปลงเป็นข้อมูลสถานะของวัตถุ
- Imitation network – เครือข่ายที่เรียนรู้เจตนาของภารกิจจากการสังเกตการสาธิต
- Generalize – การนำสิ่งที่เรียนรู้จากสถานการณ์หนึ่งไปประยุกต์ใช้ในสถานการณ์ใหม่
- Perturbations – การเปลี่ยนแปลงเล็กน้อยในสภาพแวดล้อม เช่น แสง หรือพื้นผิว
ที่มา: OpenAI