Google เปิดตัวความสามารถ Computer use ในแอป Gemini บน Mac ให้ผู้ใช้สั่งงาน AI คลิกและพิมพ์เพื่อทำภารกิจหลายขั้นตอนในแอปเดสก์ท็อปและเว็บไซต์ได้ โดยทำงานในหน้าต่างพื้นหลังที่แยกต่างหากพร้อมพรีวิวสด ในขณะที่หน้าจอหลักและเคอร์เซอร์ยังใช้งานได้ตามปกติ
ด้านความปลอดภัย ผู้ใช้หยุดการทำงานของ Gemini ได้ทุกเมื่อ ควบคุมแอปที่อนุญาตให้เข้าถึง และระบบจะหยุดรอการยืนยันก่อนล็อกอิน ชำระเงิน หรือดำเนินการที่ละเอียดอ่อน ตัวอย่างการใช้งานรวมถึงการปรับสีภาพเป็นชุดในซอฟต์แวร์ออกแบบ ดึงข้อมูลจาก PDF ท้องถิ่นกรอกแบบฟอร์มส่งของ สร้างสไลด์นำเสนอจากแดชบอร์ดหลายภูมิภาค และจัดการขายสินค้าบนแพลตฟอร์มมือสอง
การใช้งานเพียงเพิ่ม @Computer use ในพรอมต์ ในเมนู Customize > Connectors จะเห็นแอปเดสก์ท็อปใหม่ๆ เช่น Blender และ Autodesk Fusion เข้าร่วมกับ Git และ Obsidian ที่มีอยู่แล้ว ฟีเจอร์เปิดให้บริการภาษาอังกฤษสหรัฐตั้งแต่วันนี้สำหรับผู้สมัคร Google AI Plus Pro และ Ultra
ศัพท์ที่ควรรู้
- Computer use – ความสามารถของ AI ที่คลิกและพิมพ์ควบคุมคอมพิวเตอร์แทนผู้ใช้ได้
- Connected Apps – การเชื่อมต่อแอปภายนอก เช่น Gmail หรือ Google Calendar ให้ AI เข้าถึงข้อมูลได้
- Isolated background window – หน้าต่างทำงานแยกต่างหากที่ไม่รบกวนหน้าจอหลักของผู้ใช้
- Google AI Plus/Pro/Ultra – แผนสมาชิกรายเดือนของ Google ที่เปิดให้ใช้ฟีเจอร์ AI ขั้นสูง
- Blender – ซอฟต์แวร์สร้างกราฟิก 3D โอเพนซอร์สยอดนิยม
- Autodesk Fusion – ซอฟต์แวร์ CAD/CAM สำหรับออกแบบและผลิตภัณฑ์จาก Autodesk
ที่มา: 9to5Google