GPU Taskman ให้การตรวจสอบ VRAM ต่อโปรเซส, ข้อมูลทางเทเลเมตรีของ GPU และข้อมูลเชิงลึกเกี่ยวกับการใช้หน่วยความจำของ AI models ได้อย่างละเอียด
เครื่องมือนี้รวมการใช้ VRAM, หน่วยความจำระบบที่เข้าถึงได้ของ GPU, กิจกรรมของโปรเซสแต่ละตัว และข้อมูลฮาร์ดแวร์ไว้ในอินเทอร์เฟซแบบเทอร์มินัลเดียว ซึ่งแตกต่างจาก Windows Task Manager ทั่วไป
ตามเอกสาร GitHub ของโปรเจกต์นี้ GPU Taskman สามารถระบุ AI models ที่รองรับและให้ข้อมูลเพิ่มเติมเกี่ยวกับสถาปัตยกรรม, การควอนไทซ์, จำนวนพารามิเตอร์, น้ำหนักของโมเดล และการประมาณการ KV-cache ได้
ปัจจุบันรองรับ AI runtimes และแอปพลิเคชัน เช่น llama.cpp, Ollama และ LM Studio แม้ว่าระดับรายละเอียดจะแตกต่างกันไปตาม runtime และข้อมูลที่มีอยู่
GPU Taskman รองรับ NVIDIA และ AMD GPUs บน Windows 10/11 รวมถึง Linux, WSL และ Apple Silicon macOS ด้วยความสามารถที่แตกต่างกันไปตามแพลตฟอร์มและฮาร์ดแวร์
ศัพท์ที่ควรรู้
- VRAM – หน่วยความจำเฉพาะของ GPU ที่ใช้ในการประมวลผลข้อมูลกราฟิกและ AI
- GPU Taskman – เครื่องมือโอเพนซอร์สที่ช่วยตรวจสอบการใช้งานทรัพยากรของ GPU อย่างละเอียด
- Quantization – กระบวนการลดความแม่นยำของข้อมูลใน AI model เพื่อให้ใช้หน่วยความจำน้อยลง
- KV-cache – ส่วนหนึ่งของหน่วยความจำที่ใช้ในการจัดเก็บข้อมูลระหว่างการรัน AI model เพื่อเพิ่มความเร็ว
- Telemetry – ข้อมูลทางเทคนิคที่ถูกรวบรวมจากฮาร์ดแวร์เพื่อการวิเคราะห์
ที่มา: Wccftech