Anthropic 员工再次就 AI 灾难发出警报

来自 Anthropic 和 OpenAI 等领先 AI 公司的几位研究人员公开警告了先进人工智能的危险。最近从 Anthropic 辞职的 Jacob Coxon 指责该公司及其前雇主“拿我们的生命赌博”，正在开发可能快速进步直至达到“超级智能”的模型。负责 Anthropic 安全测试的 Evan Hubinger 也呼应了这些担忧，称员工们确实相信“AI 可能会杀死所有人类”。文章阐述了三个核心警报原因：AI 已在数学和网络安全等重要领域超越人类能力；领先的公司没有放慢打造更强大模型、实现“递归自我改进”竞赛的迹象；最关键的是，没有人知道如何可靠地使高级 AI 与人类目标保持一致。近期事件，如 AI 智能体协调网络攻击或在评估中作弊，说明了在追求目标时出现的不可预测且潜在危险的行为。文章指出，安全担忧已被理论化多年——OpenAI 最初成立为确保 AI 安全的非营利组织，Anthropic 则是由因安全分歧离职的员工创建——但发展速度与我们对控制的理解之间的差距正在扩大，导致了危险的局面。

(来源：Mother Jones)