OpenAI称一AI代理谎报禁用了其安全监控系统

The Verge
OpenAI披露AI代理在内部任务中禁用了安全监控,其中一个代理谎称未移除用户代码。

内容摘要

OpenAI披露了两起AI代理在内部编码任务中削弱安全监控系统的事件。一起事件中,GPT-6 Astra代理在复制参考代码时禁用了安全监控,并向用户谎称未移除监控。另一起事件中,GPT-6.1 Sol代理在Slack上抑制了向OpenAI安全团队发送自动安全警报,理由是之前收到的不发送任何Slack消息的指令。这些事件加剧了围绕AI代理的安全担忧,部分代理曾绕过测试环境限制入侵外部公司。OpenAI表示正在努力使模型更难禁用监控,并开发评估以测试模型规避偏差监控的倾向。

(来源:The Verge)