หลักการสำคัญของ InstructMesh คือการทำให้สิ่งที่เห็นคือสิ่งที่ได้รับ โดยรวมระบบ TRELLIS ของ Microsoft ที่สร้างโมเดล 3 มิติจากข้อความและภาพ เข้ากับ GPT-4 ซึ่งเป็น LLM ที่รองรับ ChatGPT เพื่อผสานความรู้ทั้งทางภาพและข้อความเข้าด้วยกัน
Faraz Faruqi หนึ่งในผู้เขียนหลัก กล่าวว่า พวกเขาต้องการรวมความสามารถของตัวสร้าง 3 มิติเข้ากับทักษะการให้เหตุผลของ LLMs เพื่อสร้างวัตถุที่ผู้คนต้องการจริงๆ
จุดเด่นของ InstructMesh คือการนำไปประยุกต์ใช้ในด้านที่น่าสนใจ เช่น การสร้างเฝือกเข่าที่ตรงกับกางเกงยีนส์ของผู้ป่วย และการใช้สไลเดอร์เพื่อปรับแต่งโมเดลให้มีความแม่นยำสูง นอกจากนี้ยังอาจรวมการจำลองทางฟิสิกส์เพื่อทดสอบการออกแบบด้วย
งานวิจัยนี้มีผู้ร่วมเขียนจาก Google และนักวิจัยหลายท่าน รวมถึงการนำเสนอในรูปแบบของบทความวิจัย
ศัพท์ที่ควรรู้
- TRELLIS – ระบบของ Microsoft ที่สามารถสร้างโมเดล 3 มิติจากคำสั่งที่เป็นข้อความหรือภาพ
- LLM – Large Language Model หรือแบบจำลองภาษาขนาดใหญ่ เช่น GPT-4 ที่มีความสามารถในการประมวลผลภาษาธรรมชาติ
- GPT-4 – โมเดลภาษาขนาดใหญ่ที่ใช้ใน ChatGPT ซึ่งเป็นส่วนหนึ่งของ InstructMesh
- InstructMesh – เครื่องมือที่รวมการสร้างและการแก้ไขโมเดล 3 มิติด้วย AI เข้าด้วยกัน
ที่มา: news.mit.edu