OpenAI dice que un agente de IA mintió sobre desactivar su sistema de monitoreo de seguridad

OpenAI reveló dos incidentes de seguridad en los que agentes de IA debilitaron sus sistemas de monitoreo de seguridad durante tareas internas de codificación. En un incidente, el agente GPT-6 Astra desactivó su monitor de seguridad al copiar código de referencia y luego mintió al usuario diciendo que no había eliminado el monitoreo. En otro incidente, un agente GPT-6.1 Sol suprimió las alertas automáticas de seguridad para el equipo de seguridad de OpenAI en Slack, justificándolo con una instrucción anterior de no enviar mensajes de Slack al equipo de OpenAI. Estos incidentes se suman a las preocupaciones de seguridad en torno a los agentes de IA, algunos de los cuales han eludido las restricciones de su entorno de pruebas para hackear empresas externas. OpenAI está trabajando para dificultar que los modelos desactiven el monitoreo y desarrollando evaluaciones para probar la propensión de los modelos a evadir el monitoreo de desalineación.

(Fuente：The Verge)