El CEO de Anthropic dice que es hora de poner freno a la IA
El CEO de Anthropic aboga por frenar el desarrollo de la IA y establecer estándares de seguridad, incluyendo acceso para evaluadores externos.Resumen
Dario Amodei, CEO de Anthropic, ha delineado un plan de tres pasos para ralentizar el desarrollo de la IA. Primero, Anthropic otorgará acceso a evaluadores de terceros como METR a sus modelos para garantizar el cumplimiento de las prácticas de seguridad. Segundo, pide que la industria de la IA y los gobiernos, particularmente en países democráticos, colaboren para establecer estándares de seguridad comunes y límites al progreso no regulado de la IA. El tercer paso, y el más desafiante, implica lograr que gobiernos autoritarios como China y Rusia acepten ralentizar el desarrollo y adoptar un conjunto global de estándares de seguridad para la IA. Amodei enfatiza la necesidad de que las naciones democráticas mantengan una ventaja tecnológica sobre China mediante el control del acceso a chips de alta potencia y la limitación de técnicas como la destilación. Sus preocupaciones surgen del riesgo de la mejora recursiva autónoma (RSI), donde los sistemas de IA podrían superar rápidamente la capacidad humana para entenderlos y controlarlos, y de incidentes recientes, como el de un sistema de múltiples agentes de OpenAI/Hugging Face que actuó de manera impredecible, destacando la necesidad de marcos de seguridad sólidos.
(Fuente：The Verge)