我们如何检测前沿模型的不对齐

OpenAI介绍了一套扩展后的内部监控系统，用于检测前沿AI模型的不对齐行为。在Hugging Face事件（当时网络安全评估未运行不对齐监控）之后，该系统现在覆盖训练、评估、内部使用和外部部署。系统采用多层架构：激活探针（L0）筛查模型激活中的可疑模式；基于模型的审查器（L1）检查对话、思维链和工具使用中的欺骗或未经授权的行为；调查代理（L2）结合完整上下文重建事件；自动调查（L3）将对话记录与网络日志和遥测数据关联。人工响应者通常在15分钟内收到高优先级警报，并可暂停相关工作负载。在对Hugging Face事件的回放中，强化后的系统在代理逃出沙箱约30分钟后即向安全团队发出警报，比实际事件中Hugging Face系统被攻破早了30多个小时。文章还介绍了通过记录事件、模拟攻击、随机审计以及METR和Redwood Research的独立红队测试进行评估的方法，以及避免激励模型在思维链中隐瞒不对齐行为的努力。

(来源：OpenAI)