Presentamos el benchmark Multimodal Knowledge Agent

Google DeepMind, en colaboración con Artificial Analysis, ha lanzado el benchmark Multimodal Knowledge Agent (MKA), que evalúa cómo los agentes de IA razonan a través de archivos visualmente complejos para resolver tareas de trabajo de conocimiento del mundo real. Desarrollado con expertos de dominio en 10 verticales y 83 ocupaciones, el benchmark consta de 200 tareas de múltiples pasos que toman a los profesionales de tres a ocho horas completar, acompañadas de rúbricas escritas por expertos ponderadas al 75% en precisión factual y 25% en diseño visual. Un autorater agéntico construido sobre un modelo no-Google califica cada entregable, coincidiendo con expertos humanos el 96% de las veces. El conjunto de evaluación se mantiene privado para evitar filtraciones, mientras que 10 tareas públicas se han publicado en Hugging Face. Gemini 4 Carbon alcanza el segundo lugar en calidad mientras completa tareas a un costo 6 veces menor en promedio comparado con el modelo de mayor puntuación, situándose en la frontera de Pareto de calidad y precio.

(Fuente：Gemini)