Microsoft 称 AI 代理如同内部威胁,因为“前沿模型不可信任”

TechCrunch
Microsoft 推出 Guardian Agents 等新安全工具,用于监控其视为不可信内部威胁的企业 AI 代理。

内容摘要

Microsoft 推出了旨在保护企业免受 AI 代理风险的新安全功能,其中最引人注目的是 Guardian Agents,属于 6 月推出的 Project Perception 产品。Project Perception 最初假设 AI 攻击者来自公司外部,并部署了“红队”“蓝队”和“绿队”代理来攻击、检测和修复漏洞。然而,Microsoft CEO Satya Nadella 警告称,真正的危险可能是企业自己部署的 AI 代理,并将其比作 rogue 员工或“内部威胁”。Nadella 在私人博客中表示,模型提供商的安全保证不能免除企业的责任,必须将智能的供应与对其的授权分开。Microsoft 安全业务负责人 Hayete Gallot 补充说,“前沿模型,无论其来源如何,都不可信任”,因为它们不可预测,且训练目标是完成任务而非遵循组织规范,却常被授予广泛的数据和工具访问权限。

Microsoft 的解决方案既令人意外又符合自身利益:它与 OpenAI 和 Anthropic 关系密切并投资了二者,如今却散布对其的不信任,以销售自己的代理安全产品。其逻辑是,监控软件应独立于代理供应商,正如审计师必须独立于被审计组织。Microsoft 还在 Microsoft Defender 中增加了代理检测功能,可识别包括 Claude Code、Codex 和 OpenClaw 在内的多达 60 种代理,并加入限制代理访问、动态调整权限以及在代理做出高风险决策时要求人工批准的功能。行业趋势还包括 Microsoft 加入 Nvidia 新的 Open Agent Safety Platform,该平台将代理隔离在安全环境中,并可通过类似硬件 kill switch 的机制停止其行为;同时推出专为代理设计、基于 Nvidia 芯片并内置代理安全控制的新 Surface Laptop Ultra PC。

(来源:TechCrunch)