มีการอภิปรายถึงเรื่อง ‘Weight Space Programming’ โดยยอมรับว่าบางข้อกล่าวอ้างอาจถูกนำเสนอในแง่บวกมากเกินไป และบดบังการค้นพบที่สำคัญของเปเปอร์นั้นๆ
AI Twitter Recap
Xeophon พบปัญหาใน AutomationBench ที่บังคับใช้ข้อความคำขอ และ OfficeQA Pro v2 ที่ตัววัดคะแนนปฏิเสธคำตอบที่ถูกต้อง และโมเดลดึงกุญแจคำตอบจาก Hugging Face ผ่านเว็บเข้าถึง
2. Local LLM Efficiency: Quantization, Pruning, Sparse Attention
ISTA DASLab ได้เปิดตัว GGUF coder quantization/pruning สำหรับ DeepSeek-V4.1-Flash-1017 ซึ่งเป็น MoE ที่มี 384 ผู้เชี่ยวชาญ โดยใช้เพียง 1 บิตต่อพารามิเตอร์ และลดขนาดจาก 138.2 GB เหลือ 72.1 GB สำหรับน้ำหนัก Transformer
3. Weight-Space Programming Experiments
การทดลองนี้มุ่งเน้นไปที่การแปลภาษาอิตาลี โดยใช้ ‘สวิตช์’ ที่เรียนรู้สำหรับกรณีสถานะที่กำลังดำเนินอยู่ เพื่อแยกแยะระหว่างการอ่านเชิงเวลาที่กำลังดำเนินอยู่และการเสร็จสมบูรณ์
2. Claude/Opus Game Development Benchmarks and Limits
พบความแตกต่างทางเทคนิคเกี่ยวกับความเฉพาะเจาะจงของพรอมต์ โดยคำขอที่ต้องการการจำลองที่สมบูรณ์แบบอาจถูกบล็อก ขณะที่พรอมต์ระดับแนวเกมอาจผ่านได้
ศัพท์ที่ควรรู้
- Weight Space Programming – การทดลองที่เกี่ยวข้องกับการปรับแต่งน้ำหนักของโมเดล AI เพื่อให้เกิดผลลัพธ์ที่ต้องการ
- Quantization – กระบวนการลดความแม่นยำของตัวเลขที่ใช้แทนน้ำหนักโมเดล เพื่อลดขนาดและเพิ่มประสิทธิภาพ
- Pruning – การตัดส่วนที่ไม่จำเป็นของโมเดล AI ออกไป เพื่อทำให้โมเดลเล็กลงโดยยังคงประสิทธิภาพไว้
- MoE – Mixture of Experts คือสถาปัตยกรรมที่รวมผู้เชี่ยวชาญหลายตัวเข้าด้วยกันเพื่อให้โมเดลทำงานได้
ที่มา: latent.space