OpenAI Diffusion models ได้พัฒนาด้านการสร้างภาพ เสียง และวิดีโอไปมาก แต่ต้องพึ่งกระบวนการสุ่มตัวอย่างแบบวนซ้ำซึ่งทำให้การสร้างช้า พวกเขาจึงเสนอ Consistency models ซึ่งเป็นโมเดลใหม่ที่สามารถสร้างตัวอย่างคุณภาพสูงได้จากการแมป Noise ไปยังข้อมูลโดยตรง
โมเดลเหล่านี้ถูกออกแบบมาเพื่อรองรับการสร้างแบบขั้นตอนเดียวที่รวดเร็ว แต่ก็ยังอนุญาตให้มีการสุ่มตัวอย่างหลายขั้นตอนเพื่อแลกกับคุณภาพของตัวอย่าง นอกจากนี้ยังรองรับการแก้ไขข้อมูลแบบ zero-shot เช่น image inpainting หรือ colorization โดยไม่ต้องฝึกฝนเฉพาะสำหรับงานเหล่านั้น
Consistency models สามารถฝึกฝนได้โดยการกลั่นจาก Diffusion models ที่ฝึกไว้ล่วงหน้า หรือจะฝึกเป็นโมเดลสร้างแบบสแตนด์อโลนก็ได้ จากการทดลองพบว่าพวกมันทำได้ดีกว่าเทคนิคการกลั่นที่มีอยู่สำหรับ Diffusion models ในการสุ่มตัวอย่างแบบหนึ่งหรือสองขั้นตอน โดยทำ FID ได้ถึง 3.55 บน CIFAR-10 และ 6.20 บน ImageNet 64×64 สำหรับการสร้างแบบขั้นตอนเดียว
เมื่อฝึกแบบโดดเดี่ยว Consistency models จะกลายเป็นตระกูลโมเดลสร้างใหม่ที่สามารถทำผลงานได้ดีกว่าโมเดลสร้างแบบหนึ่งขั้นตอนที่ไม่ใช่แบบ adversarial ในมาตรฐานต่างๆ เช่น CIFAR-10, ImageNet 64×64 และ LSUN 256×256
ศัพท์ที่ควรรู้
- Diffusion models – โมเดลที่ใช้ในการสร้างภาพ เสียง และวิดีโอ ซึ่งต้องใช้กระบวนการสุ่มตัวอย่างซ้ำๆ ทำให้การสร้างช้า
- Consistency models – ตระกูลโมเดลใหม่ที่สามารถสร้างตัวอย่างคุณภาพสูงได้จากการแมป Noise ไปยังข้อมูลโดยตรง ทำให้การสร้างรวดเร็วขึ้น
- Zero-shot data editing – การแก้ไขข้อมูลโดยไม่ต้องมีการฝึกฝนเฉพาะสำหรับงานนั้นๆ เช่น การเติมภาพหรือการใส่สี
- FID – หนึ่งในตัวชี้วัดทางสถิติที่ใช้วัดคุณภาพของภาพที่สร้างขึ้น โดยค่าที่ต่ำกว่าแสดงถึงคุณภาพที่ดีกว่า
ที่มา: OpenAI