ในส่วนของการปรับขนาดและการควอนไทซ์สำหรับการอนุมานในเครื่อง (Local Inference) มีการตั้งคำถามเกี่ยวกับกราฟ Benchmark เนื่องจากขาดป้ายกำกับ Quantization หลายจุด และคะแนน DeepSWE/Terminal-Bench ดูเหมือนจะลดลงเมื่อเปลี่ยนจาก Q3 ไป Q4 ทำให้การเลือก Quantization สำหรับ GPU ขนาด 24–32GB ไม่ชัดเจน
danielhanchen ได้ชี้แจงว่ากราฟหลักนั้นตัดขนาดของ embedding-layer ออกจากผู้ให้บริการ Quantization ทั้งหมด ในขณะที่กราฟทางเลือกที่ใช้ขนาดการดาวน์โหลด/RAM จริงจะทำให้การตีความแตกต่างกัน โดย ExLlamaV3 ยังคงเก็บ token embeddings ในรูปแบบ BF16 ทำให้การใช้งาน RAM/Disk เต็มนั้นมากกว่าแค่ส่วนของน้ำหนักที่ถูก Quantized ที่แสดงในกราฟ
ในส่วนของการเปิดตัวโมเดลสำหรับภาพและวิดีโอ พบว่าสถาปัตยกรรมเน้นการใช้ LLM เป็นตัวให้เหตุผลเชิงแนวคิด (conceptual reasoner) ที่สร้างข้อความสถานะ/สคริปต์แบบหนาแน่นตามเวลา ซึ่งช่วยให้สามารถสร้างวิดีโอหลายกล้องที่มีการเคลื่อนไหวซับซ้อนได้ถึง 20 วินาที
กรณีศึกษาการใช้งาน Claude สำหรับเอกสารของ Naval Discharge Review Board พบว่ามีตรงกันอย่างน้อย 13,085 รายการ ในขณะที่การค้นหาข้ามบอร์ดพบ 11,600 รายการ การบรรเทาปัญหาที่วางแผนไว้รวมถึงการถ่ายภาพ Btrfs ที่มีความถี่สูงขึ้น และการเสริมความแข็งแกร่งในการล้าง Shell ด้วย Bash และ wrapper ที่สร้างไดเรกทอรีชั่วคราวของตนเอง
ศัพท์ที่ใช้ในการอภิปรายมีความเห็นแตกกันระหว่างว่า “agent มีอำนาจในระบบไฟล์มากเกินไป” กับ “agent ควรได้รับอนุญาตให้ดัน/สำรองข้อมูลบ่อยกว่านี้” โดยผู้ตอบทางเทคนิคเน้นย้ำถึงคลังเก็บข้อมูลระยะไกล (remote repos) และการทำให้คำสั่ง Shell ที่ทำลายล้างนั้นล้มเหลวในโหมดปิด (fail closed) แทนที่จะพึ่งพาคำสั่งของ LLM
ศัพท์ที่ควรรู้
- Quantization – คือกระบวนการลดความแม่นยำของตัวเลขในโมเดลเพื่อลดขนาดและเพิ่มความเร็วในการประมวลผล
- Local Inference – คือการรันโมเดล AI บนเครื่องของผู้ใช้เองโดยไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอก
- Embedding-layer – คือชั้นในโมเดลที่แปลงข้อมูลอินพุตให้เป็นเวกเตอร์ ซึ่งมีขนาดและใช้หน่วยความจำ
- BF16 – คือรูปแบบการแทนค่าตัวเลขที่มีความแม่นยำต่ำกว่า FP32 แต่ใช้หน่วยความจำน้อยกว่า ทำให้เหมาะกับการรันโมเดลขนาดใหญ่
- Conceptual reasoner – คือการใช้ LLM ในฐานะตัวคิดเชิงแนวคิดที่สร้างสคริปต์หรือสถานะของเหตุการณ์
ที่มา: latent.space