เราได้ฝึกโมเดลที่เรียกว่า CriticGPT ซึ่งมีพื้นฐานมาจาก GPT-4 เพื่อตรวจจับข้อผิดพลาดในผลลัพธ์โค้ดของ ChatGPT
เราพบว่าเมื่อผู้คนได้รับความช่วยเหลือจาก CriticGPT ในการทบทวนโค้ดของ ChatGPT พวกเขาทำได้ดีกว่ากลุ่มที่ไม่ได้รับความช่วยเหลือถึง 60%
ขณะนี้เรากำลังเริ่มงานในการรวมโมเดลแบบ CriticGPT เข้ากับไปป์ไลน์การติดป้ายกำกับ RLHF เพื่อให้ผู้ฝึกสอนของเราได้รับการช่วยเหลือจาก AI อย่างชัดเจน
GPT-4 series ซึ่งเป็นพลังขับเคลื่อน ChatGPT นั้นถูกปรับให้เข้ากันได้ด้วย ‘Reinforcement Learning from Human Feedback’ (RLHF) ซึ่งการเปรียบเทียบคำตอบของ ChatGPT เป็นส่วนสำคัญในการทำงานของ RLHF
เมื่อโมเดลมีความสามารถในการให้เหตุผลและพฤติกรรมก้าวหน้าขึ้น ทำให้ ChatGPT มีความแม่นยำมากขึ้น แต่ข้อผิดพลาดก็ละเอียดอ่อนมากขึ้น ทำให้ผู้ฝึกสอน AI ตรวจจับความไม่ถูกต้องได้ยากขึ้น ซึ่งเป็นข้อจำกัดพื้นฐานของ RLHF
เพื่อช่วยในปัญหานี้ เราจึงฝึก CriticGPT ให้เขียนบทวิจารณ์ที่เน้นถึงความไม่ถูกต้องในคำตอบของ ChatGPT
จากการทดลอง พบว่าเมื่อใช้ CriticGPT การเสริมทักษะของ AI ทำให้เกิดบทวิจารณ์ที่ครอบคลุมมากขึ้น และมีข้อผิดพลาดที่เกิดจากการหลอน (hallucinated bugs) น้อยกว่าเมื่อโมเดลทำงานเพียงลำพัง
ในการทดลอง พบว่าผู้ฝึกสอนอิสระรายที่สองเลือกบทวิจารณ์จากทีม Human+CriticGPT มากกว่ากลุ่มที่ไม่ได้รับการช่วยเหลือถึง 60%
ศัพท์ที่ควรรู้
- GPT-4 – โมเดลพื้นฐานที่ใช้ในการฝึก CriticGPT ซึ่งเป็นโมเดลที่ขับเคลื่อน ChatGPT
- CriticGPT – โมเดลที่ถูกฝึกขึ้นมาเพื่อช่วยตรวจจับข้อผิดพลาดในผลลัพธ์ของ ChatGPT
- RLHF (Reinforcement Learning from Human Feedback) – กระบวนการที่ใช้การตอบสนองของมนุษย์ในการปรับปรุงโมเดล AI ให้มีความถูกต้องและเป็นประโยชน์
- Hallucinated bugs – ข้อผิดพลาดที่โมเดลสร้างขึ้นเองโดยไม่มีอยู่จริงในโค้ดหรือข้อมูล
ที่มา: OpenAI