หัวข้อ: ผู้เชี่ยวชาญชี้ การลอกเลียน Fable ของ Anthropic ไม่ใช่สาเหตุที่ Kimi K3 เก่งขนาดนี้

ไมเคิล ครัตซิออส ที่ปรึกษาด้านวิทยาศาสตร์ของทำเนียบขาว กล่าวว่า Moonshot บริษัทจีนที่อยู่เบื้องหลัง Kimi K3 ซึ่งเป็น LLM (Large Language Model หรือโมเดลภาษาขนาดใหญ่) แบบโอเพนเวทที่ใหญ่ที่สุดที่มีอยู่ ได้สร้างโมเดลของตนโดยการคัดลอก Fable LLM ของ Anthropic ขณะที่ใช้ชิปที่ไม่ได้รับอนุญาตให้ส่งออกไปยังจีน “การกลั่น (distillation) แบบลับๆ ในวงกว้างเพื่อขโมยเทคโนโลยีลับของสหรัฐฯ และบ่อนทำลายการวิจัยของอเมริกาเป็นสิ่งที่ยอมรับไม่ได้” ครัตซิออสเขียน ท่ามกลางรายงานเกี่ยวกับการหารือเรื่องการแบนโมเดลโอเพนเวทของจีนที่สร้างความปั่นป่วนในวงการ AI Moonshot ไม่ได้ตอบคำถามเกี่ยวกับกระบวนการฝึกฝนของตน และครัตซิออสไม่ได้ให้รายละเอียดเพิ่มเติมเกี่ยวกับแหล่งที่มาของข้อกล่าวหา ทวีตของครัตซิออสสะท้อนความคิดเห็นของสก็อตต์ เบสเซนต์ รัฐมนตรีคลังที่ว่า “เรากำลังพบลายน้ำ (watermarks) ของโมเดลภาษาขนาดใหญ่ของสหรัฐฯ ในโมเดลจีนหลายตัว และนั่นเป็นสิ่งที่ยอมรับไม่ได้” ยังไม่ชัดเจนว่าลายน้ำเหล่านั้นประกอบด้วยอะไร และกระทรวงการคลังไม่ได้ตอบคำถาม อย่างไรก็ตาม ผู้เชี่ยวชาญสงสัยว่าการกลั่น — กระบวนการสอบถาม LLM เพื่อหาโครงสร้างภายในและคัดลอกความสามารถ — เป็นสาเหตุของความสามารถขั้นสูงที่ Kimi K3 แสดงออกมา “ผมไม่คิดว่าคุณจะได้โมเดลที่แข็งแกร่งขนาดนี้และเร็วขนาดนี้ตามหลัง Fable โดยใช้การกลั่นอย่างเดียว” แบรเดน แฮนค็อก นักวิจัยจาก Laude Institute และผู้ร่วมก่อตั้ง Snorkel AI กล่าวกับ TechCrunch “มันไม่มีเวลาเลยด้วยซ้ำ จริงไหม? Fable เปิดให้สาธารณะใช้ตั้งแต่วันที่ 1 กรกฎาคมเท่านั้น คุณไม่สามารถกลั่นข้อมูลจำนวนมาก ฝึกโมเดล และปล่อยมันภายในสองสัปดาห์ได้” “ผมมีความเห็นว่าการกลั่นมีผลกระทบน้อยลงเรื่อยๆ เมื่อเวลาผ่านไป เนื่องจากโมเดลจีนใกล้เคียงกับขอบฟ้า (frontier) และระบบการฝึกเปลี่ยนไปใช้ [reinforcement learning หรือการเรียนรู้แบบเสริมกำลัง]” นาธาน แลมเบิร์ต นักวิจัย AI จาก Allen Institute for AI กล่าวในพอดแคสต์ที่เผยแพร่เมื่อวานนี้ “ถ้ามันเป็นอย่างนั้น ทุกคนคงจะตามทัน GLM หรือ K3 ได้ง่ายๆ โดยใช้ข้อมูลของมันเพื่อการกลั่น แต่เราไม่เห็นสิ่งนี้จากการปรับแต่งแบบมีผู้สอน (supervised fine-tuning) เพียงอย่างเดียว” การทำ distillation ต้องให้ห้องปฏิบัติการสอบถามโมเดลเป้าหมายอย่างเป็นระบบเพื่อสร้างข้อมูลที่ใช้สำหรับการฝึกหลังการฝึก (post-training) บางครั้งสิ่งนี้เกี่ยวข้องกับการขอให้โมเดลอธิบาย chain-of-thought (ห่วงโซ่ความคิด) เพื่อเข้าใจว่ามันแก้ปัญหาอย่างไร ในบางครั้ง คำสั่งและคำตอบจากโมเดลถูกใช้เพื่อฝึกโมเดลใหม่ในกระบวนการที่เรียกว่า supervised fine-tuning หรือ SFT (การปรับแต่งแบบมีผู้สอน) กระบวนการปรับแต่งนี้เองที่ทำให้โมเดลที่สร้างโดยบุคคลที่สามอ้างว่าเป็น Claude ได้ การปรับแต่งคือจุดที่แลมเบิร์ตมองว่า “โมเดลเรียนรู้มารยาท” แต่แลมเบิร์ตกล่าวว่าประโยชน์ของ SFT กำลังลดความสำคัญลงเมื่อโมเดลซับซ้อนขึ้น การกลั่นความสามารถแบบ Fable อาจต้องใช้เทคนิค reinforcement learning (การเรียนรู้แบบเสริมกำลัง) ในหลายกรณี

แหล่งที่มา: techcrunch

คำศัพท์เทคนิคที่น่าสนใจ

• LLM (Large Language Model) – โมเดลภาษาขนาดใหญ่ คือระบบ AI ที่ถูกฝึกด้วยข้อมูลข้อความจำนวนมากเพื่อทำความเข้าใจและสร้างภาษามนุษย์
• โอเพนเวท (open-weight) – การเปิดเผยค่าน้ำหนักของโมเดล (พารามิเตอร์ที่กำหนดพฤติกรรมของโมเดล) ให้สาธารณชนเข้าถึงและใช้งานได้
• ชิป (chip) – หน่วยประมวลผลขนาดเล็กที่ใช้ในการคำนวณทางคอมพิวเตอร์ เช่น GPU หรือ TPU ที่ใช้ฝึก AI
• การกลั่น (distillation) – กระบวนการถ่ายทอดความรู้จากโมเดล AI ขนาดใหญ่ไปยังโมเดลที่เล็กกว่า โดยใช้ผลลัพธ์ของโมเดลใหญ่เป็นข้อมูลฝึก
• ลายน้ำ (watermarks) – เครื่องหมายหรือรูปแบบที่ซ่อนอยู่ในข้อมูลหรือผลลัพธ์ของโมเดล เพื่อใช้ระบุแหล่งที่มาหรือป้องกันการลอกเลียนแบบ
• ขอบฟ้า (frontier) – ขีดความสามารถสูงสุดของเทคโนโลยี AI ในปัจจุบัน ซึ่งยังเป็นพื้นที่ที่กำลังพัฒนา
• การเรียนรู้แบบเสริมกำลัง (reinforcement learning) – วิธีการฝึก AI โดยให้รางวัลเมื่อทำถูก และลงโทษเมื่อทำผิด เพื่อให้เรียนรู้พฤติกรรมที่ต้องการ
• การปรับแต่งแบบมีผู้สอน (supervised fine-tuning) – การปรับแต่งโมเดล AI โดยใช้ข้อมูลที่มีป้ายกำกับ (คำตอบที่ถูกต้อง) เพื่อให้โมเดลเรียนรู้งานเฉพาะ
• การฝึกหลังการฝึก (post-training) – ขั้นตอนการฝึกเพิ่มเติมหลังจากเทรนหลัก เพื่อปรับปรุงประสิทธิภาพหรือปรับให้เหมาะกับงานเฉพาะ
• ห่วงโซ่ความคิด (chain-of-thought) – การแสดงขั้นตอนการคิดอย่างเป็นลำดับของโมเดล AI เพื่อให้เข้าใจวิธีการแก้ปัญหา