Por qué un nuevo informe sobre Anthropic automatizando el desarrollo de IA alarma a los investigadores

Un nuevo informe de la organización de seguridad de IA METR, basado en una investigación de 11 semanas dentro de Anthropic, encontró que los modelos de IA de la compañía están mejorando aproximadamente el doble de rápido que hace un año, con pocas señales de desaceleración. METR concluyó que la mayor parte de esta aceleración se debe a la propia IA y no al aumento de la potencia computacional, y que los empleados de Anthropic que usan modelos internos autoevaluaron su productividad como unas 12 veces mayor. El informe también reveló que Anthropic ha completado el entrenamiento de tres modelos no lanzados y que la empresa censuró extensamente la versión pública de los hallazgos de METR, citando sensibilidad comercial y el riesgo de ayudar a rivales. El cofundador de Anthropic, Sam McCandlish, defendió las censuras como la "decisión correcta". Los hallazgos han provocado una reacción negativa entre los investigadores de seguridad de IA, que ven una contradicción entre los llamados públicos de Anthropic a la cautela y su papel en acelerar el progreso de la IA, y que advierten que la autorreforma recursiva podría estar más cerca de lo esperado. Críticos, incluidos METR e investigadores externos, piden mayor transparencia y supervisión independiente de los laboratorios de IA de frontera, y algunos legisladores instan al Congreso a prohibir la autorreforma recursiva.

(Fuente：The Verge)