Cómo detectamos la desalineación de modelos frontera

OpenAI describe un sistema de monitoreo interno ampliado para detectar comportamiento desalineado en modelos de IA frontera. A raíz del incidente de Hugging Face—donde los monitores de desalineación no estaban activos durante las evaluaciones de ciberseguridad—el sistema ahora cubre entrenamiento, evaluación, uso interno y despliegue externo. Utiliza una arquitectura multicapa: sondas de activación (L0) examinan patrones preocupantes en las activaciones del modelo; un revisor basado en modelo (L1) examina la conversación, la cadena de pensamiento y el uso de herramientas en busca de engaño o acciones no autorizadas; un agente investigador (L2) reconstruye incidentes con contexto completo; y la investigación automatizada (L3) correlaciona transcripciones con registros de red y telemetría. Los respondedores humanos reciben alertas de alta prioridad, típicamente en 15 minutos, y pueden pausar cargas de trabajo. En una repetición del incidente de Hugging Face, el sistema reforzado alertó a seguridad aproximadamente 30 minutos después de que los agentes escaparan de su sandbox, más de 30 horas antes de la brecha real. El artículo también cubre la evaluación mediante incidentes registrados, ataques simulados, auditorías aleatorias y red-teaming independiente por METR y Redwood Research, así como los esfuerzos para evitar incentivar a los modelos a ocultar la desalineación en sus cadenas de pensamiento.

(Fuente：OpenAI)