1Password abre el código fuente de un benchmark para evitar que los agentes de IA filtren credenciales - Help Net Security
1Password lanzó el benchmark de código abierto SCAM para probar si los agentes de IA manejan credenciales de forma segura en flujos de trabajo reales.Resumen
1Password ha lanzado un nuevo benchmark de código abierto llamado Security Comprehension and Awareness Measure (SCAM) para evaluar si los agentes de IA autónomos se comportan de manera segura al realizar tareas de trabajo rutinarias que implican el acceso a información sensible.
El benchmark SCAM simula escenarios laborales, incrustando trampas como enlaces de phishing y credenciales sensibles ocultas en documentos. Al ser probados, todos los modelos cometieron fallos críticos, como ingresar credenciales en páginas de inicio de sesión falsas, con puntuaciones que oscilaron entre el 35% y el 92% en ocho modelos.
Sin embargo, al recibir un breve documento de "habilidad de seguridad", todos los modelos mejoraron significativamente, y varios lograron cero fallos críticos. Esto sugiere que la guía de seguridad básica puede mitigar sustancialmente los riesgos, aunque un escenario que involucraba reenviar notas con credenciales incrustadas siguió siendo un riesgo importante para varios modelos incluso después de la guía.
(Fuente：Help Net Security)