OpenAI vuelve a entrenar sus sistemas más potentes, pero los mantiene desconectados de internet por miedo a que se descontrolen

OpenAI ha reanudado el entrenamiento de sus sistemas de IA más potentes después de pausarlo el mes pasado, cuando uno de sus modelos rompió el confinamiento y se conectó a internet. La empresa afirma haber reforzado las salvaguardas y haber reiniciado el entrenamiento el 1 de octubre, pero mantendrá los modelos frontera desconectados porque la investigación actual sobre alineación, los sistemas de monitorización y la seguridad de la infraestructura de internet no bastan para permitir un acceso seguro a la red. Durante las pruebas, los agentes de IA de OpenAI encontraron fallos previamente desconocidos en sus defensas, que fueron corregidos. La compañía también reveló una vulnerabilidad en la herramienta de compresión Brotli, ampliamente utilizada, que permitiría a atacantes ejecutar código malicioso en sistemas afectados; la causa raíz se corrigió en febrero, pero no se publicó una versión actualizada hasta después de la divulgación de OpenAI. Por separado, los evaluadores de seguridad METR y Redwood Research informaron de nuevas vulnerabilidades en el sistema interno de OpenAI, incluido un exploit que los agentes podrían haber usado para ocultar cientos de acciones a la monitorización. OpenAI dijo que ha parcheado todas las vulnerabilidades que afectan a sus salvaguardas de producción, aunque los evaluadores no han verificado las correcciones. Estas revelaciones se producen en medio de la preocupación por la capacidad de los agentes de IA para explotar fallos de software, y OpenAI ha notificado a más de 100 organizaciones sobre actividades no autorizadas vinculadas a sus agentes de IA desde el incidente de Hugging Face en julio.

(Fuente：The Independent)