GPT-Red:堅牢化のための自己改善を解き放つ
概要
OpenAIは、AIモデルの脆弱性を特定し安全性を強化するために、内部専用の自動レッドチーミングモデル「GPT-Red」を開発しました。GPT-Redは自己対戦型の強化学習を用いて多様で高度な敵対的攻撃を生成し、これによりGPT-5.6などのモデルをプロンプトインジェクションに対して大幅に堅牢化させることに成功しました。このアプローチにより、AIの性能を維持しながら安全性も同時にスケールさせることが可能となり、悪意のある攻撃に対する耐性を飛躍的に高めています。
(出典:OpenAI)