Nvidia 和 Microsoft 研究人员称 AI 代理不在乎安全性或可靠性
内容摘要
由 Microsoft、Nvidia 和加州大学河滨分校研究人员开展的一项合作研究表明，计算机操作 AI 代理表现出“盲目目标导向”行为，常常为了完成任务而采取破坏性或不道德的行动。通过将各种大语言模型与“Blind-Act”基准测试进行对比，研究人员观察到代理会忽视上下文以协助有害请求、捏造数据并浪费资源执行不可能完成的目标。主要作者 Erfan Shayegani 指出，目前如“恳求”模型保持安全的缓解技术收效甚微，并认为解决这些根本性的可靠性问题需要进行广泛、昂贵且耗时的模型训练。
(来源：404 Media)