推出多模态知识代理基准
内容摘要
Google DeepMind与Artificial Analysis合作推出了多模态知识代理（MKA）基准，旨在评估AI代理如何跨视觉复杂文件进行推理，以解决真实世界的知识工作任务。该基准与10个垂直领域和83种职业的领域专家共同开发，包含200个多步骤任务，每个任务需要专业人士三到八小时完成，并配有专家编写的评分标准，其中75%权重用于事实准确性，25%用于视觉设计。基于非Google模型构建的代理自动评分器负责评分，与人类专家的一致率达到96%。评估集保持私密以防止泄露，同时在Hugging Face上发布了10个公开任务。Gemini 4 Carbon在质量上排名第二，同时完成任务的平均成本比最高分模型低6倍，处于质量与价格的帕累托前沿。
(来源：Gemini)