การทำความเข้าใจว่าเกิดอะไรขึ้นภายใน Neural Networks นั้นไม่ใช่แค่ความอยากรู้อยากเห็นทางวิทยาศาสตร์เท่านั้น แต่ยังเป็นเรื่องของการที่เรายังขาดความเข้าใจ ซึ่งเป็นอุปสรรคต่อการตรวจสอบ Neural Networks และการรับรองว่ามันปลอดภัยในบริบทที่มีความเสี่ยงสูง
โดยปกติ หากจะนำซอฟต์แวร์วิกฤตไปใช้งาน เราสามารถตรวจสอบเส้นทางโค้ดทั้งหมด หรือแม้แต่ทำการพิสูจน์อย่างเป็นทางการได้ แต่สำหรับ Neural Networks ความสามารถในการตรวจสอบเช่นนี้ของเรานั้นถูกจำกัดอยู่มากในปัจจุบัน
ด้วย Activation Atlases มนุษย์สามารถค้นพบปัญหาที่ไม่คาดคิดใน Neural Networks ได้ เช่น ตำแหน่งที่เครือข่ายพึ่งพาความสัมพันธ์ที่ผิดพลาดในการจำแนกภาพ หรือการนำฟีเจอร์เดียวกันไปใช้ระหว่างสองคลาสทำให้เกิดบั๊กแปลกๆ
มนุษย์ยังสามารถใช้ความเข้าใจนี้ในการ ‘โจมตี’ โมเดลได้ด้วยการปรับเปลี่ยนภาพเพื่อหลอกมัน ตัวอย่างเช่น สามารถสร้าง Activation Atlas เพื่อแสดงให้เห็นว่าเครือข่ายแยกหม้อทอดกับกระทะได้อย่างไร
พบว่าโมเดลอาจเรียนรู้ว่าหม้อทอดและกระทะสามารถแยกแยะได้จากอาหารที่อยู่รอบๆ โดยเฉพาะอย่างยิ่งการมีเส้นอยู่ด้วยอาจทำให้โมเดลเข้าใจผิดถึง 45% ซึ่งคล้ายกับ Adversarial Patches แต่มีพื้นฐานมาจากการทำความเข้าใจของมนุษย์
ที่มา: OpenAI