งานวิจัยนี้เปรียบเทียบระหว่าง Continuous diffusion language models (CDLMs) และ speculative drafters ซึ่งทั้งสองรูปแบบต่างก็มีประสิทธิภาพในการสร้างภาษา แต่มีวิธีการประเมินที่แตกต่างกัน โดย CDLMs สร้างขึ้นผ่านการปรับปรุงซ้ำ ในขณะที่ drafters เสนอข้อความให้โมเดลเป้าหมายตรวจสอบและแก้ไข
ผู้วิจัยได้เปรียบเทียบสถาปัตยกรรมทั้งสองโดยไม่มีการตรวจสอบ โดยใช้ LangFlow สำหรับ CDLMs และปรับใช้สถาปัตยกรรม Markov และ recurrent-head ของ DSpark สำหรับการสร้างแบบสแตนด์อโลน โมเดลทั้งหมดได้รับการฝึกฝนตั้งแต่ต้นสำหรับ OpenWebText โดยไม่มีคุณสมบัติเป้าหมายหรือการตรวจสอบ
เมื่อประเมินด้วย GenPPL และความคล้ายคลึงเชิงการแจกแจงกับข้อความอ้างอิง พบว่า LangFlow มีประสิทธิภาพเหนือกว่าทั้งสองรูปแบบที่ความยาว 128 และ 1024 token ในขณะที่ DSpark-RNN นำที่ความยาว 16 token
การเพิ่มขั้นตอนการลดสัญญาณรบกวน (denoising steps) ของ LangFlow ด้วยน้ำหนักคงที่ช่วยปรับปรุงทั้งสองตัวชี้วัดที่ความยาว 16 และ 128 token ได้ด้วย
ที่มา: arxiv.org