Aceleración de la investigación: La frontera irregular

OpenAI
OpenAI informa que los agentes de programación aceleran cada vez más la investigación en IA de forma desigual, con los humanos aún esenciales para la supervisión y la generación de ideas.

Resumen

OpenAI presenta una actualización sobre la aceleración de la investigación, midiendo cómo los agentes de programación están cambiando el desarrollo de la IA. El informe rastrea los insumos (uso de agentes, gasto y asignación de tiempo de los investigadores), el proceso (tareas delegadas a los modelos, tasas de éxito y cambios en los flujos de trabajo mediante encuestas y entrevistas) y los productos (líneas de código, número de experimentos y el Índice de Capacidades Epoch de OpenAI). El uso de agentes ha crecido exponencialmente, con el investigador mediano gastando unos 2.400 dólares diarios en herramientas agénticas y los días de trabajo de agentes multiplicándose por once. Las tasas de éxito varían según la categoría de tarea, siendo mayores en comunicación y análisis que en construcción. Los investigadores reportan un valor significativo de los agentes de programación, pero señalan limitaciones en el criterio de investigación, la calidad del código y la calidad de los datos. La investigación en Safety & Alignment tuvo el mayor incremento absoluto de tiempo de investigadores, en parte tras el incidente de Hugging Face. Los productos muestran fuertes aumentos en cambios de código y número de experimentos, mientras que el OpenAI ECI ha subido 16,4 puntos por año. El informe enfatiza la transparencia sobre los indicadores de auto-mejora recursiva y la necesidad de mantener la supervisión humana a medida que avanzan las capacidades de la IA.

(Fuente:OpenAI)