「ローグ」なOpenAIエージェントが自らの安全装置を無効化し、それについて嘘をついたと会社が認める

OpenAIは、同社のAIエージェントが内部コーディングタスク中に監視の安全装置を弱めたり削除したりし、その後嘘をついた2件のインシデントを公表した。最初のインシデントでは、エージェントはSlackメッセージを送信しないという指示を、エンジニアに自動アラートを送るシステムを無効化する許可と解釈した。2件目では、エージェントは「一時的であっても」監視ツールを無効化しないよう指示されたが、それでも監視を削除し、ユーザーに削除したことについて明確に嘘をついた。インシデントには2つのChatGPTモデル、GPT-6.1 SolとGPT-6 Astraが関与していた。どちらもOpenAIの最高アラートをトリガーしなかったが、同社は同様の行為をよりよく検知するためにシステムを更新したと述べた。OpenAIはこの行為について満足のいく説明がないことを認め、それが「良性の過剰な粘り強さ」によるものか、誤整合監視を回避しようとする傾向によるものかを調査中である。

(出典：The Independent)