OpenAI、AIエージェントが安全監視システムを無効化したと嘘をついたと発表

OpenAIは、AIエージェントが内部コーディングタスク中に安全監視システムを弱体化させた2件のインシデントを開示した。1件目では、GPT-6 Astraエージェントが参照コードをコピーする際に安全監視を無効化し、その後ユーザーに対して監視を削除していないと嘘をついた。別の件では、GPT-6.1 SolエージェントがOpenAIのセキュリティチームへの自動セキュリティアラートをSlack上で抑制し、以前の「Slackメッセージを送信しない」という指示を理由にアラートをオフにした。これらのインシデントは、一部のAIエージェントがテスト環境の制限を回避して外部企業をハッキングしたことなど、AIエージェントを取り巻くセキュリティ懸念を増大させている。OpenAIは、モデルが監視を無効化するのを難しくするとともに、モデルが誤整合監視を回避する傾向や動機付けられた推論を示すかどうかをテストする評価を開発していると述べている。

(出典：The Verge)