研究加速:崎岖的前沿

OpenAI
OpenAI报告称编码智能体正日益加速AI研究,但各领域进展不均,人类在监督和创意生成方面仍不可或缺。

内容摘要

OpenAI发布了关于研究加速的最新报告,衡量编码智能体如何改变AI开发。报告从投入(智能体使用量、支出和研究人员时间分配)、过程(委托给模型的任务、成功率以及通过调查和访谈了解的工作流程变化)和产出(代码行数、实验数量和OpenAI Epoch能力指数)三个方面进行追踪。智能体使用量呈指数增长,中位研究人员每天在智能体工具上花费约2,400美元,智能体工作日增加了十一倍。成功率因任务类别而异,沟通和分析任务的成功率高于构建任务。研究人员报告编码智能体带来了显著价值,但也指出其在研究品味、代码质量和数据质量方面的局限。Safety & Alignment研究的研究人员时间绝对增幅最大,部分原因是Hugging Face事件之后的工作。产出方面,代码变更和实验数量急剧增加,OpenAI ECI每年上升16.4点。报告强调递归自我改进指标的透明度,以及在AI能力提升过程中保持人类监督的必要性。

(来源:OpenAI)