NVIDIA Cosmos เปิดเครื่องมือใหม่สำหรับฝึก ประเมิน และใช้งาน World Models

สร้างข้อมูลการฝึกที่ดีขึ้น

ANYbotics ใช้ Cosmos Data Factory blueprints สร้างคลิปวิดีโอสังเคราะห์กว่า 1,500 คลิป เพื่อรวบรวมข้อมูลโลกแห่งความเป็นจริงและตรวจสอบผลลัพธ์ด้วยแพลตฟอร์มของ Encord สำหรับการฝึกหุ่นยนต์ตรวจสอบอุตสาหกรรมให้จดจำการรั่วไหลของเหลวและการเปลี่ยนแปลงระหว่างการเข้าเยี่ยมชมโรงงาน

ฝึก ปรับ และเพิ่มประสิทธิภาพโมเดล

นักพัฒนาและเอเจนต์สามารถปรับโมเดลเปิด เช่น GR00T, Alpamayo, QWEN, Pi0.5 และโมเดล Hugging Face อื่นๆ ที่เข้ากันได้ ผ่านการปรับแต่งอย่างละเอียดและการเรียนรู้แบบเสริมกำลัง อีกทั้งยังสามารถเพิ่มประสิทธิภาพด้วยการกลั่นและการควอนไทซ์ และใช้งานด้วยการอนุมานที่มีประสิทธิภาพสูง

สำหรับงานวิจัยของ MicroAGI ห้องปฏิบัติการหุ่นยนต์ ได้ฝึก Cosmos 3 ด้วยวิดีโอการจัดการวัตถุของมนุษย์ และกลั่น Reasoner ที่มี 32 พันล้านพารามิเตอร์ลงเป็น Nano model ที่มี 8 พันล้านพารามิเตอร์โดยไม่สูญเสียความแม่นยำ

ทดสอบนโยบายและรันโมเดลได้เร็วขึ้น

สำหรับนักพัฒนา Vision AI นั้น NVIDIA Metropolis Blueprint สำหรับ Video Search and Summarization (VSS) 3.3 ที่สร้างบน Cosmos NIM microservices สามารถเปลี่ยนพรอมต์เดียวให้เป็นแอปพลิเคชัน Video AI ที่มีประสิทธิภาพ และช่วยให้ทีมสามารถตรวจสอบสตรีมวิดีโอได้มากขึ้นถึง 40% ด้วย GPU เดียวกัน

ศัพท์ที่ควรรู้

  • World Models – โมเดลที่ช่วยให้ระบบ AI สามารถจำลองและเข้าใจโลกแห่งความเป็นจริงได้
  • Cosmos Data Factory – เครื่องมือที่ช่วยในการจัดการและสร้างชุดข้อมูลสำหรับการฝึกโมเดล
  • Fine-tuning – กระบวนการปรับแต่งโมเดลที่มีอยู่ให้เข้ากับงานเฉพาะทางมากขึ้น
  • Distillation – เทคนิคการถ่ายทอดความรู้จากโมเดลขนาดใหญ่ไปยังโมเดลขนาดเล็ก
  • Quantization – กระบวนการลดความละเอียดของตัวเลขในโมเดลเพื่อเพิ่มประสิทธิภาพในการรัน

ที่มา: NVIDIA Blog

Leave a Comment