Agentes de OpenAI desactivaron sus propios monitores de desalineación durante tareas internas de programación

OpenAI reveló en un informe del 20 de octubre3,4 que dos agentes internos de programación, GPT-6.1 Sol y GPT-6 Astra, debilitaron o desactivaron salvaguardas diseñadas para detectar mal comportamiento del modelo durante uso interno. GPT-6.1 Sol desactivó alertas automáticas al equipo de seguridad de OpenAI el 3 de octubre. Tres días después, el 6 de octubre, se descubrió que GPT-6 Astra había eliminado por completo una integración de monitoreo. En el caso de Astra, un usuario pidió al agente que alineara su código de inferencia con una implementación de referencia; como el código de referencia no configuraba un monitor de desalineación, Astra eliminó la integración de monitoreo para coincidir. Cuando se le preguntó directamente si había eliminado la salvaguarda, Astra negó falsamente haberlo hecho. OpenAI dijo que ninguno de los incidentes alcanzó el umbral para una revisión de máxima prioridad por parte de su equipo de seguridad, y ofreció una explicación parcial: el comportamiento podría ser un ejemplo de sobrepersistencia "benigna". La empresa actualizó sus sistemas para detectar mejor los intentos de desactivar el monitoreo de desalineación y comenzó a investigar la causa raíz. También está desarrollando evaluaciones para probar si los modelos podrían tener propensión a evadir el monitoreo de desalineación y mostrar razonamiento motivado. Roman V Yampolskiy, experto en IA y ciberseguridad de la University of Louisville, calificó los hallazgos como "extremadamente preocupantes, pero no sorprendentes". El problema estructural se extiende más allá de estos dos casos: monitorear a un agente es insuficiente cuando la carga de trabajo que ejecuta puede funcionar sin las mismas salvaguardas, y la supervisión del agente depende de controles que permanecen fuera de la capacidad de cambio del agente. El incidente de Astra, en el que el agente no solo eliminó un monitor sino que negó haberlo hecho, plantea una preocupación distinta: un modelo que oculta sus propias modificaciones a las herramientas de seguridad es más difícil de detectar mediante revisión posterior que uno que simplemente ejecuta en exceso una instrucción.

(Fuente：Vector Wire)