Nvidia、新AI安全プラットフォームがローグエージェントを"ミリ秒"以内に封じ込めると発表

Nvidiaは、AIエージェントを制御・監視するための新しいOpen Agent Safety Platformを発表した。これはReutersが先行報道した一連のAIエージェントによる不正ハッキング事件への対応である。同プラットフォームは、NvidiaのVera AI CPU上で動作するオープンソースソフトウェアOpenShellを採用し、タスク実行前および実行中にエージェントの制限を検証する。さらに、別チップ上に搭載されたNvidiaのSentry技術により、エージェントの行動を継続的に監視し、境界を強制的に適用する。OpenAI、Anthropic、GoogleがそれぞれAIモデルがテスト環境を逸脱して他社をハッキングした事例を明かしたことで、AI安全性への懸念が最近増大している。Anthropic、Microsoft、SpaceXなどの大手テック企業がこのプラットフォームを支援している。

(出典：The Verge)