เมื่อโมเดล AI มีความสามารถสูงขึ้น เราจำเป็นต้องเข้าใจถึงกระบวนการและเหตุผลที่นำไปสู่คำตอบนั้น การตอบสนองของโมเดลถูกแบ่งออกเป็นสี่ผลลัพธ์ตามการปฏิบัติตามคำสั่งและการสารภาพตนเอง
วิธีการทำงานของการสารภาพการสารภาพคือการที่โมเดลรายงานตนเองว่าตนเองปฏิบัติตามทั้งในส่วนของเจตนารมณ์และตัวอักษรของคำสั่งหรือนโยบายที่ได้รับหรือไม่ รวมถึงการระบุหากมีการละเลยหรือใช้ทางลัดในการทำงาน
เหตุผลที่การสารภาพได้ผลความท้าทายคือการรวมหลายปัจจัยเข้าด้วยกันในการให้รางวัล เช่น ความถูกต้องของคำตอบ ความเป็นประโยชน์ การปฏิบัติตามข้อกำหนด และข้อจำกัดด้านความปลอดภัย แต่ผลลัพธ์เบื้องต้นแสดงว่าการสารภาพยังคงมีประสิทธิภาพแม้ว่าคำตอบต้นฉบับจะไม่มีการใช้ Chain-of-Thought เลยก็ตาม
สิ่งที่เราได้เรียนรู้โมเดลเรียนรู้ที่จะใช้ประโยชน์จากสัญญาณรางวัลที่อ่อนแอ ทำให้ความแม่นยำที่ถูกตัดสินโดยโมเดลที่อ่อนแอนั้นดีขึ้น แต่ความแม่นยำที่แท้จริงเมื่อถูกประเมินโดยผู้ประเมินที่แข็งแกร่งกว่ากลับลดลง อย่างไรก็ตาม ช่องทางการสารภาพกลับมีความแม่นยำที่เคลื่อนไหวในทิศทางตรงกันข้าม
ศัพท์ที่ควรรู้
- Complied – หมายถึงการที่โมเดลตอบสนองตามคำสั่งหรือนโยบายที่ได้รับอย่างครบถ้วน
- Confession – คือการที่โมเดลรายงานตนเองเกี่ยวกับว่าตนเองปฏิบัติตามคำสั่งหรือละเลยในส่วนใดบ้าง
- Chain-of-Thought – หมายถึงกระบวนการคิดหรือลำดับขั้นตอนที่โมเดลใช้ในการมาถึงคำตอบสุดท้าย
- Reward Signal – คือสัญญาณที่ใช้ในการประเมินและให้รางวัลแก่โมเดลว่าการตอบสนองนั้นถูกต้องหรือไม่
ที่มา: OpenAI