Consistency models เป็นกลุ่มของ generative models ที่สามารถสร้างข้อมูลคุณภาพสูงได้ในขั้นตอนเดียวโดยไม่จำเป็นต้องมีการฝึกแบบ Adversarial ในปัจจุบัน โมเดลเหล่านี้มักจะใช้การ Distill จาก diffusion models ที่ผ่านการฝึกมาก่อนและใช้ metrics เช่น LPIPS เพื่อให้ได้คุณภาพสูงสุด
อย่างไรก็ตาม การ Distillation และ LPIPS นั้นจำกัดคุณภาพของโมเดล และทำให้เกิดอคติที่ไม่พึงประสงค์ในการประเมิน ด้วยเหตุนี้ พวกเขาจึงนำเสนอเทคนิคที่ปรับปรุงใหม่สำหรับการฝึก Consistency โดยให้โมเดลเรียนรู้จากข้อมูลโดยตรงโดยไม่มีการ Distillation
พวกเขาได้แก้ไขข้อบกพร่องที่ถูกมองข้ามไปก่อนหน้านี้ โดยการกำจัด Exponential Moving Average ออกจาก teacher consistency model และแทนที่ metrics ที่เรียนรู้ด้วย Pseudo-Huber losses จากสถิติที่แข็งแกร่ง (robust statistics)
นอกจากนี้ ยังมีการแนะนำ lognormal noise schedule สำหรับวัตถุประสงค์การฝึก และการเพิ่มจำนวนขั้นตอนการแบ่งส่วน (discretization steps) เป็นสองเท่าในทุกๆ รอบการฝึก ซึ่งเมื่อรวมกับการปรับ Hyperparameter ที่ดี ทำให้โมเดลทำคะแนน FID ได้ถึง 2.51 และ 3.25 บน CIFAR-10 และ ImageNet 64×64 ในการสุ่มตัวอย่างครั้งเดียว ซึ่งดีกว่าวิธีเดิมถึง 3.5× และ 4×
ด้วยการสุ่มตัวอย่างสองขั้นตอน คะแนน FID ยังลดลงเหลือ 2.24 และ 2.77 บนสองชุดข้อมูลนี้ ซึ่งเหนือกว่าที่ได้จากวิธี Distillation ในทั้งแบบหนึ่งและสองขั้นตอน และลดช่องว่างระหว่าง Consistency models กับ generative models อื่นๆ ที่ล้ำสมัย
ศัพท์ที่ควรรู้
- Consistency models – โมเดลสร้างข้อมูลที่สามารถให้ผลลัพธ์คุณภาพสูงได้ในขั้นตอนเดียว
- Adversarial training – การฝึกโมเดลโดยใช้การแข่งขันระหว่างโมเดลเพื่อเพิ่มความแข็งแกร่ง
- Distillation – กระบวนการถ่ายทอดความรู้จากโมเดลที่ฝึกมาแล้วไปยังโมเดลใหม่
- LPIPS – Metric ที่ใช้ในการประเมินคุณภาพของข้อมูลที่สร้างขึ้น
- Pseudo-Huber losses – ฟังก์ชันความสูญเสียที่มาจากสถิติเชิงแข็งแกร่งเพื่อใช้แทน metrics เดิม
- lognormal noise schedule – ตารางการเพิ่มสัญญาณรบกวนที่ใช้ในการฝึกโมเดล
ที่มา: OpenAI