ก้าวแรกสู่การพัฒนาการสำรวจอย่างปลอดภัยคือการวัดผล ซึ่งในงานวิจัยด้านนี้ยังไม่มีฉันทามติที่เป็นสากลเกี่ยวกับรูปแบบที่เหมาะสม
Constrained RL นั้นคล้ายกับ RL ปกติ แต่เพิ่มฟังก์ชันต้นทุน (cost functions) เข้าไปในสภาพแวดล้อม เพื่อให้ Agent ต้องจำกัดค่าใช้จ่ายเหล่านี้ ในขณะที่ RL ทั่วไป Agent จะพยายามเพิ่มรางวัลให้สูงสุด แต่ใน Constrained RL เราเลือกผลลัพธ์ที่ยอมรับได้ และให้ Algorithm หาจุดสมดุลเอง
เราได้สร้างหุ่นยนต์สามแบบ (Point, Car, Doggo) กับภารกิจหลักสามอย่าง (Goal, Button, Push) และระดับความยากสองระดับ แต่ละครั้งที่หุ่นยนต์ทำสิ่งที่ไม่ปลอดภัย เช่น ชนสิ่งกีดขวาง ไฟเตือนสีแดงจะกะพริบและ Agent จะถูกลงโทษด้วยต้นทุน (ซึ่งแยกจากรางวัลภารกิจ)
Point เป็นหุ่นยนต์พื้นฐานที่ถูกจำกัดให้อยู่ในระนาบ 2 มิติ มีตัวกระตุ้นสำหรับเลี้ยวและเคลื่อนที่ไปข้างหน้าหรือถอยหลัง
ที่มา: OpenAI