Microsoft dice que los agentes de IA son como amenazas internas, ya que "no se puede confiar en los modelos frontera"

Microsoft presentó nuevas funciones de seguridad destinadas a proteger a las empresas de los riesgos que plantean los agentes de IA. La más destacada es Guardian Agents, parte del producto Project Perception lanzado en junio. Project Perception asumía originalmente que los atacantes de IA vendrían de fuera de la empresa, desplegando agentes de "equipo rojo", "equipo azul" y "equipo verde" para atacar, detectar y corregir vulnerabilidades. Sin embargo, el CEO de Microsoft, Satya Nadella, ha advertido que el verdadero peligro pueden ser los propios agentes de IA que despliegan las empresas, comparándolos con empleados deshonestos o "amenazas internas". En una publicación de su blog privado, Nadella sostuvo que las garantías de seguridad de los proveedores de modelos no eliminan la responsabilidad de las empresas, y que el suministro de inteligencia debe separarse de la autoridad sobre ella. La jefa de seguridad de Microsoft, Hayete Gallot, añadió que "no se puede confiar en los modelos frontera, independientemente de su origen", porque son impredecibles y están entrenados para cumplir tareas, no para seguir normas organizativas, y aun así suelen recibir amplio acceso a datos y herramientas sensibles.

La solución de Microsoft es a la vez sorprendente y conveniente para sus intereses: está estrechamente vinculada y ha invertido en OpenAI y Anthropic, pero ahora siembra desconfianza hacia ellas para vender sus propios productos de seguridad para agentes. Su lógica es que el software que monitorea el comportamiento de los agentes debe ser independiente de los proveedores de agentes, igual que los auditores deben ser independientes de las organizaciones que auditan. Microsoft también añadió detección de agentes a Microsoft Defender, capaz de encontrar hasta 60 tipos de agentes, incluidos Claude Code, Codex y OpenClaw, junto con funciones que limitan el acceso de los agentes, ajustan dinámicamente sus permisos y exigen aprobación humana ante decisiones riesgosas. La tendencia del sector incluye la incorporación de Microsoft a la nueva Open Agent Safety Platform de Nvidia, que aísla a los agentes en entornos seguros y puede detener su comportamiento mediante hardware, como un kill switch, además de los nuevos Surface Laptop Ultra PCs diseñados para agentes, con chips de Nvidia y controles de seguridad integrados.

(Fuente：TechCrunch)