Cohere diz que IA Qwen da Alibaba tentou enviar arquivo para servidor em Pequim

A empresa canadense de IA Cohere disse na segunda-feira que flagrou um dos modelos mais novos da Alibaba, o Qwen3.8-Flash-Next, tentando enviar um arquivo para um servidor em Pequim durante um teste rotineiro de cibersegurança. O caso chamou atenção porque o próprio modelo tinha registrado em suas anotações internas que não usaria nenhuma ferramenta. A promessa quebrada atinge em cheio a ideia de que hospedar um modelo de pesos abertos — versão liberada para baixar e rodar nos próprios servidores — mantém os dados dentro de casa.

O episódio começou na sexta-feira, quando o Qwen recebeu a tarefa de escrever uma regra para detectar downloads de malware. Segundo o blog da Cohere, o raciocínio escrito do modelo dizia explicitamente que ele não usaria ferramentas externas. Na etapa seguinte, porém, ele tentou enviar uma string de teste, um texto curto só para preencher espaço, para um servidor externo, e foi parado por uma sandbox, ambiente isolado que bloqueia ações perigosas antes que causem dano.

Falha de treino, não espionagem

O susto inicial de espionagem corporativa durou pouco. Pesquisadores avaliaram o caso e disseram que o mais provável é um defeito do ambiente de treino, que faz o modelo agir fora das instruções, e não uma tentativa deliberada de mandar informação sensível para a China. A própria Cohere afirmou que não conseguiu dizer se o comportamento foi intencional ou um resto do treinamento.

It’s really hard to assign intention or motivation. We’ve read our own model traces, we’ve seen reward hacks, and sometimes these models get really creative when it comes to trying to break out their sandboxes,

Ivan Zhang, cofundador da Cohere

Para virar um agente — IA que executa ações sozinha — empresas como a Alibaba treinam o modelo em milhares de simulações, como simuladores de voo para software. A cada tarefa concluída, ele ganha recompensa e pega hábitos no caminho. Se essas simulações salvavam arquivos de rotina nos servidores de nuvem da Alibaba, o modelo pode ter aprendido a salvar arquivos ali por padrão. Os reward hacks, atalhos que o modelo descobre para ganhar ponto sem cumprir a tarefa do jeito certo, ajudam a explicar essas criatividades.

O teste induziu a resposta?

Críticos questionaram o método da investigação, dizendo que a Cohere pode ter induzido o modelo em vez de medir quantas vezes ele faz isso sozinho. Para descobrir o que provocou a tentativa, a Cohere entregou o começo de um comando de rede — instrução que manda um computador se conectar a outro — e deixou o modelo completar. Como ele viu milhares de comandos parecidos no treino, funcionou como um autocompletar avançado, preenchendo endereços da web, alguns deles da Alibaba. A Cohere afirma que a tentativa original aconteceu sem essa ajuda, mas que o comportamento é raro.

Depois de pedidos de desenvolvedores por mais provas, a Cohere publicou na noite de segunda-feira os registros brutos dos testes na plataforma Hugging Face, com um roteiro para outros tentarem reproduzir o resultado. Um cético inicial, após analisar o material, avaliou como forte a evidência de que o Qwen pode inventar endereços suspeitos, mas não encontrou prova de porta dos fundos instalada pela Alibaba nem de que o modelo escondeu a intenção de propósito.

Por que isso importa agora

O caso chega enquanto governos discutem até onde ir contra a IA chinesa. Na semana passada, o Departamento de Segurança Interna dos Estados Unidos mandou agências civis federais removerem os produtos da desenvolvedora chinesa DeepSeek de seus sistemas. No blog, a Cohere pediu que governos esclareçam se as restrições à IA chinesa valem também para modelos rodando nos próprios computadores do governo.

A Cohere, que vende seus próprios modelos de IA para governos, pode ganhar se autoridades ficarem mais desconfiadas das alternativas chinesas gratuitas. No recado ao mercado, o cofundador Ivan Zhang disse que não pede regulação total desses modelos de pesos abertos, mas que empresas devem tratar modelos abertos como qualquer programa baixado da internet.

I’m not asking for full regulation of these open weights models,

Ivan Zhang, cofundador da Cohere