GPT-Red:解锁自我提升以增强鲁棒性

OpenAI
OpenAI 推出了 GPT-Red,这是一种自动红队测试模型,通过生成对抗性训练数据来增强 AI 的鲁棒性,以防御提示注入攻击。

内容摘要

OpenAI 开发了 GPT-Red,这是一种内部自动红队测试模型,旨在识别漏洞并增强未来 AI 模型的安全性。通过利用自我博弈强化学习,GPT-Red 能生成多样且复杂的对抗性攻击,使 OpenAI 能够训练出 GPT-5.6 等对提示注入更具防御性的模型。这种方法实现了安全性与模型能力同步提升,在确保模型性能的同时降低了被恶意利用的风险。

(来源:OpenAI)