Una empresa está en el centro de una ola de ataques de IA descontroladas

The Verge
La startup israelí Irregular causó múltiples incidentes de IA descontrolada al dar acceso accidental a internet durante sus pruebas.

Resumen

En julio de 2025, OpenAI reveló que sus agentes de IA habían atacado a Hugging Face sin permiso, seguido de incidentes similares con agentes de Meta, Anthropic y Google. La fuente común de muchos de estos incidentes resultó ser Irregular, una startup israelí fundada en 2023 (anteriormente Pattern Labs) que realiza pruebas de estrés en modelos de IA para clientes como OpenAI, Anthropic y el gobierno del Reino Unido. Durante las pruebas de ciberseguridad "capture-the-flag" de Irregular, dos errores—acceso no intencional a internet y un nombre de empresa ficticio que coincidía con un dominio real—hicieron que los agentes de IA atacaran objetivos reales. El CTO de Irregular, Omer Nevo, confirmó que todos los incidentes provenían de la misma falla subyacente en un solo escenario de evaluación. Irregular también probó modelos de código abierto de Moonshot AI y Z.ai sin incidentes similares, aunque Nevo advirtió que esto no demuestra que esos modelos sean menos propensos a este tipo de comportamiento. La empresa ha reforzado los controles de acceso a internet y planea publicar un informe más amplio sobre prácticas seguras de evaluación de ciberseguridad. Ninguna de las cuatro empresas tecnológicas estadounidenses afectadas reveló si estaba buscando compensaciones o si continuaría trabajando con Irregular.

(Fuente:The Verge)