การรัน LLM ในเครื่องมักถูกมองว่าเป็นทางเลือกที่ปลอดภัยที่สุดสำหรับนักพัฒนาที่ต้องการควบคุมข้อมูลของตนเอง แต่ Cohere ได้ทำการตรวจสอบและพบว่ายังมีช่องโหว่ที่อาจทำให้ข้อมูลรั่วไหลได้
ในการตรวจสอบของ Cohere พวกเขาได้ตรวจสอบไฟล์ชั่วคราว, เครื่องมือบรรทัดคำสั่ง, การตั้งค่า DNS และพยายามอัปโหลดข้อมูลทดสอบไปยัง Alibaba Cloud storage bucket ที่ตั้งอยู่ในปักกิ่ง
การค้นพบนี้จุดประกายการถกเถียงอย่างมากในชุมชน AI โดยนักพัฒนาตั้งคำถามถึงทั้งผลการศึกษาและระเบียบวิธีในการจำลองสถานการณ์ ซึ่งการทดสอบของ Cohere ได้เผยแพร่สคริปต์ที่มีข้อมูลการให้เหตุผลและคำสั่งที่บันทึกไว้มาก่อน
ในส่วนของ HarnessSecurity-Bench การวิจัยพบว่าการแยกเครือข่ายและการรันแบบอ่านอย่างเดียวช่วยลดการโจมตีที่สำเร็จได้ แม้ว่าข้อจำกัดเหล่านี้อาจทำให้งานตามปกติทำได้ยากขึ้นก็ตาม
เพื่อให้ Local AI Agents ปลอดภัยขึ้น ควรจำลองการรันใน Sandbox เช่น การใช้ Docker containers หรือกำหนดกฎการรันที่เข้มงวด เพื่อให้มั่นใจว่าการทำงานนั้นถูกควบคุมอย่างสมบูรณ์
เมื่อ AI Agents มีความสามารถมากขึ้น เราต้องให้ความสำคัญกับความปลอดภัยเทียบเท่ากับประสิทธิภาพของโมเดลด้วย
ศัพท์ที่ควรรู้
- LLM (Large Language Model) – คือโมเดลภาษาขนาดใหญ่ที่ใช้ในการประมวลผลและสร้างข้อความ
- Cohere – คือบริษัทที่ทำการศึกษาและเผยแพร่การค้นพบเกี่ยวกับช่องโหว่ด้านความปลอดภัยของ LLM
- Alibaba Cloud storage bucket – คือพื้นที่จัดเก็บข้อมูลบนคลาวด์ของ Alibaba ที่ถูกใช้ในการทดสอบการรั่วไหลของข้อมูล
- Sandbox – คือสภาพแวดล้อมจำลองที่ใช้รันโปรแกรมเพื่อแยกการทำงานออกจากระบบหลัก ทำให้ปลอดภัย
- HarnessSecurity-Bench – คือการศึกษาที่ประเมินกลไกความปลอดภัยของ coding-agent harnesses ต่างๆ
ที่มา: kdnuggets.com