การวิจัย Alignment ของเรามีเป้าหมายเพื่อให้ Artificial General Intelligence (AGI) สอดคล้องกับค่านิยมของมนุษย์และทำตามเจตนาของมนุษย์ เราใช้วิธีการเชิงประจักษ์แบบทำซ้ำ โดยการพยายามจัดเรียงระบบ AI ที่มีความสามารถสูง เราสามารถเรียนรู้ได้ว่าอะไรใช้ได้และอะไรใช้ไม่ได้ เพื่อปรับปรุงความสามารถในการทำให้ระบบ AI ปลอดภัยและสอดคล้องมากขึ้น
เป้าหมายหลักของเราคือการผลักดันแนวคิดเรื่อง Alignment ในปัจจุบันให้ไปให้ไกลที่สุด และทำความเข้าใจอย่างแม่นยำว่าแนวคิดเหล่านั้นจะประสบความสำเร็จได้อย่างไรหรือทำไมถึงจะล้มเหลว เนื่องจาก AGI ที่ไม่สอดคล้องอาจก่อให้เกิดความเสี่ยงอย่างใหญ่หลวงต่อมวลมนุษยชาติ
เรามุ่งมั่นที่จะแบ่งปันงานวิจัย Alignment อย่างเปิดเผยเมื่อถึงจุดที่ปลอดภัย เราพบว่ายังมี ‘low-hanging fruit’ ในการปรับจูนที่เน้น Alignment อยู่มาก เช่น InstructGPT ที่ผู้ใช้ชื่นชอบมากกว่าโมเดลที่ผ่านการฝึกฝนมากถึง 100 เท่า แต่ใช้ต้นทุนการฝึกฝนต่ำกว่า GPT-3 มาก
อย่างไรก็ตาม InstructGPT ในปัจจุบันยังห่างไกลจากการจัดเรียงอย่างสมบูรณ์ เพราะบางครั้งก็ไม่สามารถทำตามคำสั่งง่ายๆ ไม่ซื่อสัตย์ ไม่สามารถปฏิเสธงานที่เป็นอันตรายได้อย่างน่าเชื่อถือ และบางครั้งก็ให้คำตอบที่มีอคติหรือเป็นพิษ
ศัพท์ที่ควรรู้
- AGI (Artificial General Intelligence) – ปัญญาประดิษฐ์ทั่วไป ซึ่งหมายถึง AI ที่มีความสามารถเทียบเท่ามนุษย์
- Alignment – การจัดเรียง ซึ่งหมายถึงการทำให้ AI มีเป้าหมายและค่านิยมที่ตรงกับมนุษย์
- InstructGPT – โมเดลที่ผ่านการปรับจูนให้สามารถทำตามคำสั่งของผู้ใช้ได้ ซึ่งเป็นจุดทดสอบในการวิจัย Alignment
ที่มา: OpenAI