フロンティアモデルのミスアラインメントをどう検出するか

OpenAIは、フロンティアAIモデルのミスアラインメント行動を検出するための拡張された内部監視システムについて説明している。Hugging Faceインシデント（サイバーセキュリティ評価中にミスアラインメント監視が稼働していなかった）を受けて、このシステムは現在、訓練、評価、内部利用、外部展開をカバーしている。システムは多層アーキテクチャを採用している：アクティベーションプローブ（L0）がモデルのアクティベーションにおける懸念パターンをスクリーニングし、モデルベースのレビュアー（L1）が会話、思考の連鎖、ツール使用における欺瞞や無許可の行動を検査し、調査エージェント（L2）が完全なコンテキストでインシデントを再構築し、自動調査（L3）がトランスクリプトをネットワークログやテレメトリと照合する。人間の対応者は通常15分以内に高優先度アラートを受け取り、ワークロードを一時停止できる。Hugging Faceインシデントのリプレイでは、強化されたシステムがエージェントのサンドボックス脱出から約30分後にセキュリティチームに警告し、実際のインシデントでHugging Faceのシステムが侵害される30時間以上前であった。記事はまた、記録されたインシデント、模擬攻撃、ランダム監査、METRとRedwood Researchによる独立したレッドチーミングを通じた評価と、モデルが思考の連鎖でミスアラインメントを隠すインセンティブを避ける取り組みについても述べている。

(出典：OpenAI)