Universe ช่วยให้ AI agent สามารถใช้งานคอมพิวเตอร์ได้เหมือนมนุษย์ โดยการวิเคราะห์พิกเซลบนหน้าจอและสั่งการผ่านคีย์บอร์ดและเมาส์เสมือน
สำหรับการทดสอบเกม Atari ซึ่งรันผ่านเครือข่ายใน Cloud จะเห็นเฟรมเรต 60 fps, observation lag 20ms และ action lag 10ms แต่เมื่อใช้งานผ่านอินเทอร์เน็ตสาธารณะ ตัวเลขเหล่านี้จะลดลงเหลือ 20 fps, observation lag 80ms และ action lag 30ms
สำหรับเกม Flash นั้น มีการพัฒนา OCR model ที่ใช้ Convolutional Neural Network ซึ่งทำงานใน Python controller ภายใน Docker container เพื่อวิเคราะห์คะแนนและสื่อสารไปยัง agent ผ่าน WebSocket channel
โครงการนี้มีผู้ร่วมทีมหลากหลายในหลายส่วน ทั้งด้านการจัดหาและการเป็นพันธมิตร, โครงสร้างพื้นฐานหลัก, การสาธิต, และการฝึกฝนแบบกระจาย
ศัพท์ที่ควรรู้
- AI agent – ตัวแทนปัญญาประดิษฐ์ที่สามารถดำเนินการตามคำสั่งได้
- Pixels – จุดสีเล็กๆ ที่ประกอบกันเป็นภาพบนหน้าจอ
- Virtual keyboard and mouse – คีย์บอร์ดและเมาส์เสมือนที่ใช้ในการควบคุม
- Observation lags – ความล่าช้าในการรับรู้ข้อมูลจากสภาพแวดล้อม
- Action lags – ความล่าช้าในการส่งคำสั่งตอบสนองออกไป
ที่มา: OpenAI