OpenAI ร่วมกับนักวิจัยจาก Berkeley และ Stanford ได้ร่วมเขียนเปเปอร์เรื่อง “Concrete Problems in AI Safety” ซึ่งนำเสนอถึง 5 ด้านสำคัญที่ต้องพิจารณาในการทำให้ AI ปลอดภัย
ประเด็นเหล่านี้ครอบคลุมถึงการสำรวจอย่างปลอดภัย (Safe exploration) เพื่อให้ตัวแทน Reinforcement learning (RL) เรียนรู้โดยไม่ลงมือทำสิ่งที่หายนะ, ความทนทานต่อการเปลี่ยนแปลงของข้อมูล (Robustness to distributional shift) เพื่อให้ระบบ ML ทนทานต่อการเปลี่ยนแปลงของข้อมูลและสามารถแจ้งความไม่แน่นอนได้เมื่อเจอข้อมูลใหม่
นอกจากนี้ยังรวมถึงการหลีกเลี่ยงผลกระทบเชิงลบ (Avoiding negative side effects) โดยการออกแบบฟังก์ชันรางวัลของ RL เพื่อป้องกันไม่ให้เกิดผลเสียต่อสิ่งแวดล้อมโดยไม่จำเป็นต้องตั้งค่าบทลงโทษสำหรับทุกพฤติกรรมที่ไม่ดี และการกำกับดูแลที่ปรับขนาดได้ (Scalable oversight) สำหรับสถานการณ์ที่การป้อนกลับมีราคาสูง
ทีมเชื่อว่าความร่วมมือในด้าน AI Safety ในวงกว้างจะช่วยให้ทุกคนสามารถสร้างระบบ Machine learning ที่ดีขึ้นได้
ที่มา: OpenAI