困惑度与智能

OpenAI
OpenAI主张将困惑度作为追踪AI进展的共享指标,并提议基于此设立行业安全限制。

内容摘要

文章认为,现代AI开发本质上依赖于在超大规模数据集上训练压缩器(模型),而困惑度(或交叉熵损失)是衡量这一“智能基底”进展的关键指标。作者追溯了困惑度下降与涌现能力之间的关联:GPT-2(连贯段落)、GPT-3(上下文学习)、GPT-3.5(流畅对话)、GPT-4(思维链推理),以及近期对数困惑度低于0.8的模型在网络安全和数学等领域展现出的变革性能力。文章强调,这些能力无法仅凭困惑度阈值先验预测。作者提议,前沿模型开发者应建立共享的模型评估规范和安全红队测试标准,包括透明度标准和基于困惑度等指标的开发共同限制。这些限制将持续到在理解和监控AI行为方面取得具体里程碑(如思维链监控器的继任者)为止。文章承认困惑度作为共享指标存在挑战——跨实验室比较困难(数据集不同)、与可操作评估脱节、未考虑预训练之外的进展(如思维链推理)、以及未知的下限——但坚持认为困惑度经受住了时间考验,可在标准化AI进展讨论中发挥重要作用。

(来源:OpenAI)