การมีส่วนร่วมหลักและการแตกต่างจากงาน RealNVP ก่อนหน้าคือการเพิ่ม 1×1 convolution ที่สามารถผันกลับได้ และการตัดส่วนประกอบอื่น ๆ ออก ทำให้สถาปัตยกรรมโดยรวมเรียบง่ายขึ้น
สถาปัตยกรรม RealNVP เดิมประกอบด้วยเลเยอร์สองประเภท คือเลเยอร์ที่มีการมาสก์แบบตารางหมากรุก และเลเยอร์ที่มีการมาสก์ตามช่องสัญญาณ ซึ่งการมาสก์ตามช่องสัญญาณนั้นเทียบเท่ากับการทำซ้ำขั้นตอนดังต่อไปนี้:
– การสลับอินพุตโดยการกลับลำดับตามมิติของช่องสัญญาณ
– การแบ่งอินพุตออกเป็นสองส่วน A และ B ตามมิติของฟีเจอร์
– การป้อน A เข้าสู่เครือข่ายประสาทเทียมแบบคอนโวลูชันตื้น และแปลง B ตามเอาต์พุตของเครือข่าย
เราพบว่าประสิทธิภาพของโมเดลดีขึ้นเมื่อเปลี่ยนการสลับแบบย้อนกลับ (reverse permutation) ในขั้นตอนที่ (1) เป็นการสลับแบบสุ่ม (shuffling permutation) ที่คงที่ และสามารถเรียนรู้การสลับที่เหมาะสมที่สุดได้ด้วยการแทนที่ด้วย 1×1 convolution ที่เรียนรู้ได้
การดำเนินการนี้เทียบเท่ากับการดำเนินการ 1×1 convolution ที่มีจำนวนช่องอินพุตและเอาต์พุตเท่ากัน และเราแสดงให้เห็นว่าการคำนวณเพื่อปรับค่าฟังก์ชันวัตถุประสงค์สามารถทำได้อย่างมีประสิทธิภาพผ่าน LU decomposition ของน้ำหนัก
ศัพท์ที่ควรรู้
- Reversible generative models – โมเดลสร้างที่สามารถย้อนกลับกระบวนการได้
- 1×1 convolution – การดำเนินการคอนโวลูชันขนาด 1×1 ซึ่งใช้ในการแปลงข้อมูล
- RealNVP – สถาปัตยกรรมเครือข่ายประสาทเทียมที่ถูกนำมาเป็นพื้นฐานในการปรับปรุง
- Checkerboard masking – เทคนิคการมาสก์ที่ใช้ในการจำกัดการไหลของข้อมูลในเลเยอร์
ที่มา: OpenAI