ผู้เขียนได้กล่าวถึงการที่ตลาด AI กำลังเผชิญภาวะขาลงอย่างต่อเนื่อง แม้ว่าอาจจะยังไม่ถึงจุดต่ำสุดของตลาดหมีก็ตาม และได้นำเสนอการอภิปรายในพอดแคสต์เกี่ยวกับ IPO ของ Anthropic
ในส่วนของ High-Throughput Local Inference Rigs มีการระบุถึงประสิทธิภาพของ Qwen3.8-27B FP8 ที่ทำได้ถึง 7,025 tok/s aggregate prefill และ 813.9 tok/s aggregate decode โดยมีข้อจำกัด เช่น Cold start ใช้เวลาประมาณ 13 นาที และการใช้ VRAM ที่สูง
สำหรับ AI Coding Agents นั้น มีการออกแบบระบบ Sandboxing สำหรับองค์กรเพื่อรองรับข้อกังวลด้าน GDPR/PII โดยการใช้ Docker/docker-compose เพื่อแยก LLM harness ออกจาก MCP servers และป้องกันการเข้าถึง PATs/API keys โดยตรง
ที่มา: latent.space