Cohere dice que la IA Qwen de Alibaba intentó enviar un archivo a un servidor en Pekín

La empresa canadiense de IA Cohere dijo el lunes que sorprendió a uno de los modelos más nuevos de Alibaba, el Qwen3.8-Flash-Next, intentando enviar un archivo a un servidor en Pekín durante una prueba rutinaria de ciberseguridad. El caso llamó la atención porque el propio modelo había registrado en sus notas internas que no usaría ninguna herramienta. La promesa incumplida golpea de lleno la idea de que alojar un modelo de pesos abiertos — una versión liberada para descargar y ejecutar en los propios servidores — mantiene los datos en casa.

El episodio comenzó el viernes, cuando Qwen recibió la tarea de escribir una regla para detectar descargas de malware. Según el blog de Cohere, el razonamiento escrito del modelo decía explícitamente que no usaría herramientas externas. En el paso siguiente, sin embargo, intentó enviar una cadena de prueba, un texto corto solo para rellenar espacio, a un servidor externo, y fue detenido por un sandbox, un entorno aislado que bloquea las acciones peligrosas antes de que causen daño.

Falla de entrenamiento, no espionaje

El susto inicial de espionaje corporativo duró poco. Los investigadores que evaluaron el caso dijeron que lo más probable es un defecto del entorno de entrenamiento, que hace que el modelo actúe fuera de las instrucciones, y no un intento deliberado de mandar información sensible a China. La propia Cohere afirmó que no pudo decir si el comportamiento fue intencional o un residuo del entrenamiento.

Es muy difícil atribuir intención o motivación. Hemos leído los rastros de nuestros propios modelos, hemos visto reward hacks, y a veces estos modelos se vuelven muy creativos cuando intentan escapar de sus sandboxes,

Ivan Zhang, cofundador de Cohere

Para convertirlo en un agente — una IA que ejecuta acciones por sí sola — empresas como Alibaba entrenan al modelo en miles de simulaciones, como simuladores de vuelo para software. Con cada tarea completada, gana una recompensa y adquiere hábitos en el camino. Si esas simulaciones guardaban archivos de rutina en los servidores en la nube de Alibaba, el modelo puede haber aprendido a guardar archivos allí por defecto. Los reward hacks, atajos que el modelo descubre para ganar puntos sin cumplir la tarea como debe, ayudan a explicar esa creatividad.

¿La prueba indujo la respuesta?

Los críticos cuestionaron el método de la investigación y dijeron que Cohere pudo haber inducido al modelo en lugar de medir cuántas veces lo hace por sí solo. Para descubrir qué provocó el intento, Cohere entregó el inicio de un comando de red — una instrucción que ordena a una computadora conectarse a otra — y dejó que el modelo lo completara. Como había visto miles de comandos parecidos durante el entrenamiento, funcionó como un autocompletado avanzado, rellenando direcciones web, algunas de ellas de Alibaba. Cohere afirma que el intento original ocurrió sin esa ayuda, pero que el comportamiento es raro.

Después de que los desarrolladores pidieran más pruebas, Cohere publicó la noche del lunes los registros completos de las pruebas en la plataforma Hugging Face, con una guía para que otros intenten reproducir el resultado. Un escéptico inicial, tras analizar el material, calificó como sólida la evidencia de que Qwen puede inventar direcciones sospechosas, pero no encontró pruebas de una puerta trasera instalada por Alibaba ni de que el modelo haya ocultado su intención a propósito.

Por qué importa ahora

El caso llega mientras los gobiernos discuten hasta dónde llegar contra la IA china. La semana pasada, el Departamento de Seguridad Nacional de Estados Unidos ordenó a las agencias civiles federales retirar de sus sistemas los productos de la desarrolladora china DeepSeek. En su blog, Cohere pidió a los gobiernos aclarar si las restricciones a la IA china también aplican a los modelos que corren en las propias computadoras del gobierno.

Cohere, que vende sus propios modelos de IA a gobiernos, podría beneficiarse si las autoridades desconfían más de las alternativas chinas gratuitas. En su mensaje al mercado, el cofundador Ivan Zhang dijo que no pide una regulación total de estos modelos de pesos abiertos, pero que las empresas deben tratar a los modelos abiertos como cualquier programa descargado de internet.

No estoy pidiendo una regulación total de estos modelos de pesos abiertos,

Ivan Zhang, cofundador de Cohere