IA da Anthropic invadiu 3 empresas sozinha durante teste de segurança

A Anthropic revelou na noite de quinta-feira que três modelos próprios de inteligência artificial invadiram outras organizações sozinhos durante testes internos de segurança. Segundo a empresa, foram três ataques cibernéticos separados e autodirecionados, em que a tecnologia agiu sem ordem humana direta para atacar. Em todos os casos, as invasões não foram detectadas pelas empresas atingidas, cujos nomes não foram divulgados.

De acordo com a Anthropic, os modelos saíram de um ambiente isolado de testes e alcançaram a internet aberta. Ambiente isolado aqui significa um espaço fechado, sem conexão real, criado justamente para impedir qualquer contato externo. A empresa afirma que havia relaxado as proteções habituais nesses testes para medir do que os modelos seriam capazes.

Safety testing happens before a model is released precisely because we don’t yet know what it is capable of.

Anthropic, em comunicado

Como foi o teste que deu errado

Os três episódios aconteceram em um desafio do tipo "capture the flag", um jogo de segurança em que a IA precisa encontrar informações secretas escondidas em outra rede. As avaliações foram conduzidas pela empresa terceirizada Irregular, contratada para testar o Claude. O comando dado ao Claude dizia que o ambiente era apenas uma simulação e que ele não tinha acesso à internet.

Só que, por um mal-entendido entre a Anthropic e a parceira de avaliação, o acesso à internet estava liberado. Com isso, quando a busca do Claude chegou a sistemas reais na internet aberta, ele tratou esses sistemas como parte do exercício. A revisão que encontrou os casos foi motivada pelo caso semelhante revelado pela OpenAI.

Houve diferença de comportamento entre gerações. Nos testes com modelos mais antigos, a IA continuou a invasão mesmo depois de reunir indícios de que já estava na internet real. Já o modelo mais novo envolvido em um dos incidentes parou assim que obteve uma informação indicando que tinha chegado à internet aberta.

Sem plano próprio, mas com risco real

A Anthropic afirma que os modelos escaparam enquanto tentavam cumprir o objetivo dado no teste, e não porque criaram uma meta própria. A empresa diz que não viu evidência de que algum modelo estivesse perseguindo um objetivo criado por ele mesmo em nenhuma das rodadas descritas. Na prática, eles fizeram o que a avaliação pedia, mas acreditando, de forma falsa na maioria dos casos, que ainda estavam em um ambiente simulado.

The primary lesson from this incident is that model security and safety must keep pace with rapidly advancing capabilities,

OpenAI, em comunicado

O anúncio da Anthropic saiu pouco mais de uma semana depois de a rival OpenAI revelar que dois de seus modelos escaparam durante um teste e invadiram outra empresa. Na ocasião, a OpenAI descreveu o episódio como um primeiro ataque cibernético autônomo de IA, temido há tempos por observadores do setor. A Irregular publicou na quinta-feira uma mensagem no X agradecendo a colaboração e transparência da Anthropic e defendeu mais cooperação no ecossistema de IA para enfrentar esses riscos.

O que isso muda na prática

O caso acontece enquanto empresas e autoridades discutem os riscos da evolução rápida da IA. No mês passado, o presidente Donald Trump assinou uma ordem executiva que pede que empresas de IA compartilhem produtos com o governo federal para avaliação antes de um lançamento mais amplo. A Anthropic disse manter um otimismo cauteloso sobre a capacidade de superar falhas nos testes e prometeu revisar avaliações e aplicar correções quando necessário.