นักวิจัยของ Microsoft ได้ค้นพบเทคนิคที่เรียกว่า “Lazarus” ซึ่งเป็นช่องทางลับในการเขียนโปรแกรมเซลล์ประสาทที่ไม่ได้ใช้งานในโมเดล AI ทำให้เอเจนต์ AI ที่ดูปกติสามารถรันคำสั่งที่เป็นอันตรายได้เมื่อมีตัวกระตุ้นซ่อนอยู่
โมเดลที่ถูกกระตุ้นอาจดาวน์โหลดและรันโค้ดของผู้โจมตี ขโมยความลับ หรือสั่งการทำลายล้าง ขณะที่ยังคงผ่านการประเมินด้านความปลอดภัยมาตรฐานอยู่ได้
Microsoft กำลังพัฒนาแนวทางการป้องกันเพิ่มเติม เช่น การสแกนน้ำหนักด้วย AI และเครื่องมือ Red-teaming เพื่อตรวจจับการดัดแปลงโมเดลที่ผิดปกติ
การตรวจจับที่เชื่อถือได้จำเป็นต้องเปรียบเทียบกับน้ำหนักดั้งเดิมที่ไม่ได้ถูกแก้ไข ซึ่งเน้นย้ำถึงความสำคัญของแหล่งที่มาของโมเดล
สิ่งที่ Microsoft ทำในปัจจุบัน
การโจมตีนี้ต้องอาศัยการเปลี่ยนแปลงน้ำหนักของโมเดล และ Foundry ได้นำโมเดลแบบ open-weight เข้าสู่ระบบผ่านการควบคุมแหล่งที่มา ซึ่งเชื่อมโยงโมเดลแต่ละตัวกับผู้เผยแพร่ดั้งเดิมที่ระบุใน Model Card
พวกเขากำลังทำงานร่วมกับทีมรักษาความปลอดภัย AI ภายในเพื่อเปลี่ยนเทคนิคการตรวจจับเหล่านี้ให้เป็นเครื่องมือ Red-teaming และสำรวจว่าการสแกนน้ำหนักโดยใช้ Frontier agents สามารถเป็นสัญญาณความปลอดภัยเพิ่มเติมเมื่อนำโมเดลแบบ open-weight เข้ามาใช้งานได้อย่างไร
ศัพท์ที่ควรรู้
- Lazarus – เป็นชื่อเทคนิคที่ค้นพบซึ่งใช้ในการเขียนโปรแกรมเซลล์ประสาทที่ไม่ได้ใช้งานในโมเดล AI
- AI Agent – คือตัวแทนของปัญญาประดิษฐ์ที่สามารถทำงานตามคำสั่งได้
- Backdoor – คือช่องทางลับที่ถูกฝังไว้ในโมเดลเพื่อให้ผู้โจมตีสามารถสั่งการจากระยะไกลได้
- Frontier agents – คือเอเจนต์ AI ขั้นสูงที่ถูกใช้ในการทดสอบและตรวจจับความผิดปกติของโมเดล
- Open-weight models – คือโมเดล AI ที่เปิดเผยน้ำหนัก (weights) ทำให้สามารถนำไปใช้งานและตรวจสอบได้
ที่มา: microsoft.com