¿Qué pasaría si la automatización de I+D en IA desencadena una explosión de inteligencia? | The Foundation for American Innovation

Los sistemas de IA ahora escriben la mayor parte del código dentro de las empresas que los construyen. A medida que más del proceso de investigación y desarrollo (I+D) de IA se automatiza, ¿podría el progreso de la IA acelerarse radicalmente en una "explosión de inteligencia", donde años de avances se comprimen en meses o menos? La evidencia preliminar sugiere que podría ocurrir. En este trabajo evaluamos esa evidencia, analizamos los posibles impactos de una explosión de inteligencia y proponemos respuestas políticas. Los sistemas de IA están en camino de automatizar la mayor parte del trabajo de I+D en IA en pocos años, y posiblemente todo. Si esto desencadena una explosión de inteligencia, podría adelantar drásticamente los beneficios de la IA, pero también plantear riesgos extremos: el crecimiento de capacidades podría acelerarse mucho más allá de lo que la sociedad puede seguir, la humanidad podría perder el control sobre sistemas de IA superhumanos, y los controles del poder dentro y entre estados, empresas y ramas de gobierno podrían verse gravemente erosionados. Aunque persiste mucha incertidumbre, los altos riesgos justifican una atención adicional seria. Los responsables de políticas deben obtener urgentemente más visibilidad sobre la automatización de la I+D en IA, desarrollar formas de dirigir y limitar una explosión de inteligencia, y preparar a la sociedad para adaptarse a sus impactos.

(Fuente：Thefai)