วิธีการสุ่มตัวอย่างใน Diffusion models มักต้องใช้หลายสิบถึงหลายร้อยขั้นตอนในการสร้างตัวอย่างเดียว ซึ่งจำกัดประสิทธิภาพและการปรับขนาดสำหรับการใช้งานแบบเรียลไทม์ แม้ว่าจะมีเทคนิคการกลั่น (distillation) ต่างๆ เพื่อเร่งการสุ่มตัวอย่าง แต่ก็มักมีข้อจำกัด เช่น ต้นทุนการคำนวณสูง การฝึกฝนที่ซับซ้อน และคุณภาพของตัวอย่างที่ลดลง
ตัวอย่างเช่น โมเดลขนาดใหญ่ของเราที่มี 1.5 พันล้านพารามิเตอร์ สามารถสร้างตัวอย่างเดียวได้ในเวลาเพียง 0.11 วินาที บน A100 GPU โดยไม่ต้องมีการปรับปรุง Inference ใดๆ และสามารถเร่งความเร็วเพิ่มเติมได้ง่ายด้วยการปรับแต่งระบบเฉพาะทาง เปิดโอกาสสำหรับการสร้างแบบเรียลไทม์ในด้านต่างๆ เช่น ภาพ เสียง และวิดีโอ
สำหรับการประเมินอย่างเข้มงวด เราได้เปรียบเทียบ sCM กับโมเดลเชิงกำเนิดที่ล้ำสมัยอื่นๆ โดยใช้คะแนน Fréchet Inception Distance (FID) และการคำนวณการสุ่มตัวอย่างที่มีประสิทธิภาพ
ต่างจาก Diffusion models ที่สร้างตัวอย่างอย่างค่อยเป็นค่อยไปผ่านขั้นตอนการลดสัญญาณรบกวนจำนวนมาก นั้น Consistency models มุ่งเป้าไปที่การแปลงสัญญาณรบกวนเป็นตัวอย่างที่ปราศจากสัญญาณรบกวนได้ในขั้นตอนเดียว ซึ่งสามารถฝึกฝนได้ด้วย consistency training หรือ consistency distillation
ศัพท์ที่ควรรู้
- Diffusion models – โมเดลที่สร้างตัวอย่างขึ้นมาอย่างค่อยเป็นค่อยไปผ่านหลายขั้นตอนการลดสัญญาณรบกวน
- Consistency models – โมเดลที่สามารถแปลงสัญญาณรบกวนให้เป็นตัวอย่างที่สมบูรณ์ได้ในขั้นตอนเดียว
- Fréchet Inception Distance (FID) – มาตรวัดมาตรฐานที่ใช้เปรียบเทียบคุณภาพของตัวอย่างที่สร้างโดยโมเดล
- A100 GPU – หน่วยประมวลผลกราฟิกเฉพาะรุ่นที่ใช้ในการรันโมเดล
ที่มา: OpenAI