LifeVal

OpenAI
OpenAI推出LifeVal,一个评估日常任务的基准,展示过去一年模型性能的提升。

内容摘要

OpenAI的使命是确保人工通用智能惠及全人类。随着每周超过十亿的ChatGPT用户,OpenAI旨在构建能帮助解决日常实际挑战的AI,如儿童照护、预算管理、膳食计划等。为了成为真正有用的个人助理,ChatGPT应能采取行动实际完成任务。OpenAI构建了名为LifeVal的评估来衡量模型在日常任务上的表现。他们通过大型时间使用研究和3995名受访者的代表性调查,确定了人们最重视的任务,涵盖护理、健康、教育、家庭管理、个人财务、购物和政府服务等领域。示例显示高成功率,如93.1%的幼儿园入学和100%的找房任务。过去一年,模型在浏览器使用、计算机使用和连接器任务上变得更快、更强大,推动ChatGPT向代理型个人助理发展。LifeVal旨在衡量和改善模型在人们日常生活中重要事项上的进展。

(来源:OpenAI)