การรณรงค์ Red Teaming ภายนอกของเราประกอบด้วยการกำหนดขอบเขตการทดสอบ การคัดเลือกสมาชิกทีม การตัดสินใจว่าโมเดลใดที่พวกเขาจะเข้าถึง และรูปแบบของรายงานฉบับสุดท้าย
การเลือกองค์ประกอบของกลุ่ม Red Teaming ขึ้นอยู่กับเป้าหมายและพื้นที่ทดสอบหลัก เนื่องจากระบบ AI ที่ออกแบบมาสำหรับกรณีการใช้งานที่หลากหลาย จำเป็นต้องมีการทดสอบอย่างละเอียดในหลายด้าน ซึ่งต้องอาศัยผู้ที่มีมุมมองที่แตกต่างกัน เช่น ผู้เชี่ยวชาญด้านวิทยาศาสตร์ธรรมชาติ ความมั่นคงปลอดภัยทางไซเบอร์ หรือความรู้ด้านภูมิรัฐศาสตร์
การสร้างแบบจำลองภัยคุกคาม (Threat modeling) จะดำเนินการก่อนการทดสอบ เพื่อจัดลำดับความสำคัญของพื้นที่ที่ต้องทดสอบ โดยคำนึงถึงขีดความสามารถที่คาดหวังของโมเดล ปัญหาที่เคยพบ และการประยุกต์ใช้ที่เป็นไปได้
หลังจากแคมเปญ Red Teaming สิ่งสำคัญคือการประเมินว่าตัวอย่างที่พบนั้นอยู่ภายใต้นโยบายที่มีอยู่หรือไม่ หรือจำเป็นต้องมีนโยบายใหม่สำหรับการใช้งานในอนาคต
ล่าสุด เราใช้แนวทางนี้กับโมเดลตระกูล OpenAI o1 เพื่อทดสอบการต้านทาน Jailbreak และการจัดการกับข้อความที่เกี่ยวข้องกับการวางแผนการโจมตีในโลกแห่งความเป็นจริง
ที่มา: OpenAI