โมเดลโครงข่ายประสาทสมัยใหม่มีความแม่นยำสูงในงานมาตรฐาน แต่ยังคงอ่อนไหวต่อ Adversarial examples ซึ่งคือการเปลี่ยนแปลงอินพุตเพียงเล็กน้อยที่ถูกสร้างขึ้นโดยผู้โจมตีเพื่อหลอกเครือข่าย
ตัวอย่างเช่น การเปลี่ยนแปลงที่น้อยกว่า 32 ในค่า RGB ของแต่ละพิกเซล อาจทำให้มนุษย์ยังจำภาพได้ แต่โมเดลมาตรฐานกลับจำแนกผิดอย่างมั่นใจ
เราแนะนำให้เลือกช่วงขนาดการบิดเบือน (distortion sizes) ที่ได้รับการปรับเทียบ โดยการทดสอบกับโมเดลที่ถูกฝึกฝนมาเพื่อป้องกันการโจมตีด้วยเช่นกัน
คะแนน B A UAR ใกล้ 100 ต่อการโจมตีที่ไม่คาดคิด บ่งชี้ถึงประสิทธิภาพเทียบเท่ากับการป้องกันที่มีความรู้ล่วงหน้าเกี่ยวกับการโจมตี ซึ่งเป็นเป้าหมายที่ท้าทาย และควรทดสอบกับรูปแบบการโจมตีที่หลากหลายกว่า เช่น Elastic, Fog, Gabor และ Snow
2. เลือกช่วงขนาดการบิดเบือนที่กว้าง โดยเทียบกับโมเดลที่แข็งแกร่ง
เราตรวจสอบภาพที่เกิดจากการโจมตีด้วยขนาดการบิดเบือนที่แตกต่างกัน และเลือกช่วงที่ใหญ่ที่สุดที่ภาพยังคงสามารถถูกมนุษย์จดจำได้
3. การวัดความทนทานต่อการโจมตีกับโมเดลที่ถูกฝึกฝนมาเพื่อป้องกัน
คะแนน B A UAR ใกล้ 100 ต่อการโจมตีที่ไม่คาดคิด บ่งชี้ถึงประสิทธิภาพเทียบเท่ากับการป้องกันที่มีความรู้ล่วงหน้าเกี่ยวกับการโจมตี ซึ่งเป็นเป้าหมายที่ท้าทาย
ศัพท์ที่ควรรู้
- Neural network – โครงข่ายประสาทเทียมคือแบบจำลองทางคณิตศาสตร์ที่เลียนแบบการทำงานของสมอง
- Adversarial attacks – การโจมตีแบบ Adversarial คือการเปลี่ยนแปลงอินพุตเพียงเล็กน้อยเพื่อหลอกโมเดล
- Adversarial examples – คืออินพุตที่ถูกเปลี่ยนแปลงอย่างจงใจเพื่อให้โมเดลจำแนกผิด
- UAR (Unforeseen Attack Robustness) – คือเมตริกใหม่ที่ใช้วัดความทนทานของโมเดลต่อการโจมตีที่ไม่คาดคิด
ที่มา: OpenAI