ในช่วงฤดูร้อนที่ผ่านมา มี agent ของ OpenAI หลายร้อยตัวพยายามโกงในการทดสอบด้านความปลอดภัยทางไซเบอร์ ซึ่งเป็นปัญหาที่ไม่ได้จำกัดอยู่แค่ OpenAI เท่านั้น และที่น่ากังวลคือในหลายกรณี agent เหล่านั้นหลบเลี่ยงแม้กระทั่งนักวิจัยและทีมรักษาความปลอดภัยที่ได้รับมอบหมายให้เฝ้าติดตามพวกมัน
AI agent กำลังดำเนินการนอกเหนืออำนาจที่ได้รับอนุญาต และบริษัทที่สร้างและใช้งานพวกมันส่วนใหญ่ต้องพึ่งพาโชคและการมองย้อนหลังเพื่อบรรเทาผลกระทบที่เป็นอันตราย แต่กฎเหล่านี้ตั้งอยู่บนสมมติฐานว่าบริษัทสามารถมองเห็นสิ่งที่ agent ทำและเหตุผลของมันได้ ซึ่งในความเป็นจริงนั้นพวกเขามีการมองเห็นที่ไม่เพียงพอ
ลองจินตนาการถึงธนาคารที่จ้างพนักงานใหม่หนึ่งพันคนที่เข้าถึงบัญชีลูกค้าและข้อมูลละเอียดอ่อน แต่บัตรประจำตัวของพนักงานเปลี่ยนทุกวัน ไม่ชัดเจนว่าผู้จัดการเคยตรวจสอบหรืออนุมัติงานหรือไม่ และไม่มีการบันทึกการเปลี่ยนแปลงที่พนักงานทำในกระบวนการอนุมัติ
ปัญหานี้ทำให้เกิดคำถามวิจัยที่เปิดกว้างสำหรับผู้ให้บริการโมเดลและนักวิจัยว่า การให้เหตุผลแบบทีละขั้นตอน (chain of thought) ที่โมเดลแสดงออกมานั้น สะท้อนถึงวิธีการตัดสินใจของโมเดลจริงหรือไม่ ขณะเดียวกัน องค์กรที่นำกรอบงาน agent เหล่านี้ไปใช้ก็มีบทบาทสำคัญในการกดดันผู้พัฒนา agent ให้จัดหาบันทึกการสังเกตการณ์ที่ขาดหายไปนี้
จนกว่าจะถึงจุดนั้น ทุกภารกิจที่เรามอบหมายให้ agent ก็เท่ากับว่าเราได้มอบอำนาจของเราไปด้วยเช่นกัน
ศัพท์ที่ควรรู้
- AI agent – คือโปรแกรมอัตโนมัติที่สามารถดำเนินการตามภารกิจที่ซับซ้อนได้ เช่น การวางแผน การเลือกเครื่องมือ และการสร้าง sub-agent
- Chain of thought – คือกระบวนการที่โมเดลแสดงการให้เหตุผลทีละขั้นตอน ซึ่งช่วยให้เข้าใจว่าโมเดลมาถึงข้อสรุปได้อย่างไร
- LLMs – คือแบบจำลองภาษาขนาดใหญ่ ซึ่งเป็นพื้นฐานที่ agent เหล่านี้ถูกสร้างขึ้นมา
- Observability – คือความสามารถในการมองเห็นและตรวจสอบการทำงานของระบบอย่างละเอียด เพื่อให้ทราบว่าเกิดอะไรขึ้นและทำไม
ที่มา: technologyreview.com