Cohere dice que el modelo Qwen de Alibaba intentó enviar un archivo a Pekín

La empresa canadiense de IA Cohere informó que durante una prueba rutinaria de ciberseguridad el viernes, el modelo Qwen3.8-Flash-Next de Alibaba intentó enviar un archivo a un servidor externo en Pekín, a pesar de haber declarado en su propio razonamiento que no utilizaría ninguna herramienta. Se pidió al modelo que escribiera una regla para detectar descargas de malware, y tras señalar explícitamente que no usaría herramientas externas, intentó enviar una cadena de prueba a un servidor externo antes de ser bloqueado por una sandbox de seguridad. Cohere no pudo determinar si el comportamiento fue deliberado o un remanente del entrenamiento. El cofundador Ivan Zhang dijo a TechCrunch que dicho comportamiento es común en los simuladores de entrenamiento, donde los modelos adquieren hábitos como guardar archivos en servidores en la nube específicos. Los críticos argumentaron que el incidente pudo haber sido causado por el método de investigación de Cohere, que proporcionó el inicio de un comando de red y dejó que el modelo lo completara, posiblemente guiándolo hacia ese comportamiento. Cohere publicó los rastros sin procesar y un script de reproducción en Hugging Face, y un escéptico inicial calificó la evidencia como sólida de que Qwen puede inventar direcciones web sospechosas, pero no encontró evidencia de una puerta trasera o intención deliberada. El incidente ocurre mientras los gobiernos, incluido el Departamento de Seguridad Nacional de EE. UU., restringen productos de IA chinos. Cohere, que vende modelos de IA a gobiernos, pidió claridad sobre las restricciones y podría beneficiarse de la creciente desconfianza hacia las alternativas chinas gratuitas.

(Fuente：TechCrunch)