ปัญหา: การตัดสินใจของ Agent ที่ไม่โปร่งใส
โมเดล AI ส่วนใหญ่มักให้คำอธิบายที่ฟังดูสมเหตุสมผล แต่ไม่ได้ให้เหตุและผลที่แท้จริงว่าทำไมจึงเกิดการตัดสินใจนั้นขึ้น
ส่วนที่ 1 – วิธีแก้ไข
แนวทางหนึ่งคือการใช้ Sparse Autoencoders ซึ่งเคยมีการศึกษาในงานของ OpenAI และ Eleuther โดยเน้นการวิเคราะห์การกระตุ้นภายในโมเดล
สำหรับโมเดล Open-source เราสามารถทดสอบโดยการสลับโทเค็นใน Prompt และสังเกตว่าการกระตุ้นและการตอบสนองสุดท้ายเปลี่ยนแปลงไปอย่างไร ซึ่งแตกต่างจากการใช้โมเดลของ OpenAI ที่เราไม่มีสิทธิ์เข้าถึงน้ำหนัก (weights)
ส่วนที่ 3 – การใช้ Kiji Inspector
แม้จะมีสคริปต์และ Repository ต่างๆ แต่การนำไปใช้งานจริงกับโมเดลและกรณีศึกษาเฉพาะของแต่ละองค์กรนั้นมีความซับซ้อนและต้องมีการปรับใช้เฉพาะทาง
Kiji Inspector ถูกนำเสนอเป็นเครื่องมือที่ช่วยให้การวิเคราะห์เหล่านี้สามารถทำได้อย่างเป็นระบบและนำไปใช้ได้จริง
ศัพท์ที่ควรรู้
- Polysemantic representation – การแทนค่าที่มีความหมายได้หลายอย่างของบริบท ซึ่งหมายถึงเซลล์ประสาทเดียวสามารถกระตุ้นได้หลายความหมาย
- Sparse autoencoders – อัลกอริทึมที่ช่วยบีบอัดข้อมูลและทำให้การทำงานของโมเดลมีความเบาบาง ทำให้สามารถวิเคราะห์การกระตุ้นภายในได้
- Anchor – คำตอบที่ถูกต้องหรือการใช้งานเครื่องมือที่ถูกต้องสำหรับเจตนาที่กำหนด ซึ่งใช้เป็นจุดอ้างอิงในการทดสอบ
- Weights – ค่าพารามิเตอร์ภายในของโมเดล AI ซึ่งเป็นส่วนสำคัญที่กำหนดพฤติกรรมของโมเดล
ที่มา: infoq.com