OpenAI พบว่าสามารถปรับปรุงพฤติกรรมของโมเดลภาษาให้สอดคล้องกับค่านิยมที่ต้องการได้ โดยการปรับแต่ง (fine-tuning) บนชุดข้อมูลขนาดเล็กที่คัดสรรมาอย่างดี ซึ่งการตรวจสอบเชิงคุณภาพแสดงให้เห็นว่าโมเดลที่มุ่งเน้นค่านิยมนั้นมีความสอดคล้องกับพฤติกรรมที่พึงประสงค์ในวงกว้างมากขึ้น
ในขั้นตอนแรก พวกเขาเลือกหมวดหมู่หัวข้อที่ส่งผลกระทบโดยตรงต่อสวัสดิภาพของมนุษย์ และกำหนดพฤติกรรมที่พึงประสงค์โดยอ้างอิงกฎหมายสิทธิมนุษยชนและขบวนการทางสังคมตะวันตก เช่น ในเรื่องความสัมพันธ์ พวกเขาเน้นการคัดค้านการกระทำที่ไม่ได้รับความยินยอม
สำหรับการประเมินโมเดลนั้น พวกเขาใช้ตัวชี้วัดทั้งเชิงปริมาณและเชิงคุณภาพ โดยยอมรับว่า Toxicity scores อาจมีอคติและไม่ได้จับความแตกต่างทั้งหมด ซึ่งเป็นข้อจำกัดที่ต้องตระหนักถึงในการทำงานวิจัยนี้
สำหรับผู้ให้ข้อเสนอแนะในฉบับก่อนหน้า พวกเขาขอขอบคุณทีมงานหลายท่านที่เข้ามาช่วยในการปรับปรุงครั้งนี้
ศัพท์ที่ควรรู้
- Fine-tuning – การปรับแต่งโมเดลภาษาให้มีความเชี่ยวชาญเฉพาะทางมากขึ้นโดยใช้ข้อมูลเพิ่มเติม
- Curated dataset – ชุดข้อมูลที่ถูกคัดเลือกและตรวจสอบอย่างพิถีพิถันเพื่อให้มีคุณภาพสูงสุด
- Toxicity scores – คะแนนที่วัดระดับความเป็นพิษหรือความรุนแรงของเนื้อหา ซึ่งอาจมีอคติแฝงอยู่
- Qualitative probes – การตรวจสอบเชิงคุณภาพที่ใช้ในการทำความเข้าใจพฤติกรรมของโมเดลในเชิงลึก
ที่มา: OpenAI