เราค้นพบเซลล์ประสาทใน CLIP ที่ตอบสนองต่อแนวคิดเดียวกัน ไม่ว่าจะถูกนำเสนอในรูปแบบตัวอักษร ภาพ หรือแนวคิดเชิงนามธรรม ตัวอย่างเช่น เซลล์ประสาท “Spider-Man” สามารถตอบสนองต่อภาพแมงมุม ภาพข้อความ “spider” หรือตัวละครคอมมิค “Spider-Man” ได้
แนวคิดที่หายไป
จากการทดสอบส่วนตัว พบว่า CLIP สามารถจดจำได้ว่าภาพถ่ายนั้นถ่ายในซานฟรานซิสโก หรือแม้แต่ในย่านนั้นๆ ด้วยซ้ำ
อคติและการสรุปเกินจริง
เรายังพบเซลล์ประสาทที่กระตุ้นสำหรับทั้งคนผิวคล้ำและกอริลลา ซึ่งสะท้อนถึงปัญหาการติดป้ายกำกับในโมเดลอื่น ๆ ที่เราเห็นว่าไม่เป็นที่ยอมรับ
ไม่ว่าจะปรับแต่งหรือใช้งานแบบ zero-shot อคติเหล่านี้ก็น่าจะยังคงอยู่ในระบบ และจะแสดงผลออกมาในรูปแบบที่มองเห็นได้และมองไม่เห็นระหว่างการใช้งานจริง
ศัพท์ที่ควรรู้
- CLIP – คือโมเดลที่ใช้ในการทดลองและค้นพบเซลล์ประสาทเหล่านี้
- Multimodal – หมายถึงความสามารถในการรับรู้ข้อมูลจากหลายรูปแบบพร้อมกัน เช่น ภาพและข้อความ
- Zero-shot – คือการใช้งานโมเดลโดยไม่ต้องมีการฝึกฝนเพิ่มเติมให้เข้ากับงานใหม่
ที่มา: OpenAI