第三方可信评估的共享手册
内容摘要
本文探讨了独立第三方评估对于前沿 AI 模型的重要作用。OpenAI 强调，随着模型演变为能够使用工具和执行多步工作流的自主智能体，评估方式必须超越简单的聊天机器人式交互。作者引入了“测试框架”（harness）的概念，即促进模型操作的环境配置，并将其视为决定性能的关键因素。文章为研究人员提供了一份手册，建议报告应明确记录所测试的目标、使用的具体框架与资源预算，并检查奖励黑客行为、数据污染及故意隐瞒能力（sandbagging）等风险。其宗旨是建立标准化、严谨的评估实践，以准确反映模型的能力与安全风险。
(来源：OpenAI)