OpenAI ได้ประกาศเข้าซื้อกิจการ Promptfoo ซึ่งเป็นแพลตฟอร์มด้านความปลอดภัยสำหรับ AI ที่ช่วยให้องค์กรสามารถระบุและแก้ไขช่องโหว่ในระบบ AI ได้ระหว่างขั้นตอนการพัฒนา
ทีมงานของ Promptfoo ซึ่งนำโดย Ian Webster และ Michael D’Angelo ได้สร้างชุดเครื่องมือที่ได้รับการยอมรับจากบริษัท Fortune 500 กว่า 25% รวมถึง CLI และไลบรารีโอเพนซอร์สสำหรับการประเมินและการทำ Red-teaming แอปพลิเคชัน LLM
Srinivas Narayanan CTO ของ B2B Applications, OpenAI กล่าวว่า การเข้าซื้อนี้จะนำความสามารถเหล่านี้เข้าสู่ Frontier เพื่อช่วยให้ธุรกิจสามารถปรับใช้แอปพลิเคชัน AI ที่ปลอดภัยและเชื่อถือได้
ภายใต้ Frontier ความสามารถหลักจะถูกผนวก เช่น การทดสอบความปลอดภัยและการทำ Red-teaming ในตัว เพื่อช่วยระบุและแก้ไขความเสี่ยง เช่น Prompt Injection, Jailbreaks, และการรั่วไหลของข้อมูล
นอกจากนี้ ยังมีการรวมระบบรายงานและการตรวจสอบย้อนกลับ เพื่อช่วยให้องค์กรปฏิบัติตามข้อกำหนดด้านธรรมาภิบาลและความเสี่ยงของ AI ที่เพิ่มขึ้น
ศัพท์ที่ควรรู้
- Promptfoo – คือแพลตฟอร์มด้านความปลอดภัยสำหรับ AI ที่ช่วยองค์กรทดสอบและแก้ไขจุดอ่อนในระบบ AI
- Frontier – คือแพลตฟอร์มของ OpenAI ที่จะผนวกความสามารถใหม่ๆ เข้าไปเพื่อรองรับการพัฒนา AI ขั้นสูง
- Prompt Injection – คือการโจมตีที่ผู้ใช้ป้อนคำสั่งที่ไม่พึงประสงค์เข้าไปในโมเดล AI เพื่อให้ทำงานผิดพลาด
- Red-teaming – คือกระบวนการจำลองการโจมตีเพื่อค้นหาและทดสอบจุดอ่อนของระบบ AI ก่อนนำไปใช้งานจริง
ที่มา: OpenAI