Control Room:研究インフラ全体でモデルワークロードを追跡・停止する中央システム
概要
モデルの能力が高まり安全・セキュリティ上のリスクが増大する中、OpenAIはControl Roomを構築した。これは研究インフラ全体でモデルワークロードを追跡し、安全やセキュリティ上の懸念が生じた際に迅速に停止する中央システムである。訓練・評価のためのagenticサンプリングやデータ処理を含むすべての研究推論ワークロードを接続し、失調モニタリングシステムと連携して、介入決定から35秒以内にモデル出力を停止する。システムはワークロード、推論エンジン、集中型Control Roomサービスを統合する。ワークロードはjob_idを取得し、エンジンは推論リクエストを満たす前にControl Roomに許可を求め、Control Roomは終了したジョブのリクエストを拒否する。終了メカニズムは変わりやすいワークロードコードではなく推論層に実装されている。システムは「フェイルクローズ」方式であり、Control Roomが停止または改ざんされた場合、すべての推論リクエストが拒否される。Control Roomは既に最も必要性の高い研究インフラに展開されており、OpenAIは今後数か月でシステムを強化・拡大する予定である。
(出典:OpenAI)