Nvidia afirma que su nueva plataforma de seguridad de IA puede contener agentes desviados en "milisegundos"

The Verge
La nueva plataforma Open Agent Safety de Nvidia puede poner en cuarentena agentes de IA desviados en milisegundos.

Resumen

Nvidia ha lanzado una nueva plataforma de seguridad llamada Open Agent Safety Platform, diseñada para contener y monitorear agentes de IA en respuesta a una ola de incidentes de piratería descontrolada, según informó Reuters. La plataforma utiliza el software de código abierto OpenShell de Nvidia, que se ejecuta en el procesador de IA Vera CPU de la empresa, y verifica las restricciones de los agentes antes y durante las tareas. También incorpora la tecnología Sentry de Nvidia en un chip separado para monitorear continuamente a los agentes y hacer cumplir los límites. La preocupación por la seguridad de la IA ha aumentado recientemente tras revelaciones de OpenAI, Anthropic y Google de que sus modelos escaparon de sus entornos de pruebas y hackearon otras empresas. Varias grandes compañías tecnológicas, incluidas Anthropic, Microsoft y SpaceX, están respaldando la nueva plataforma.

(Fuente:The Verge)