OpenAI treina seus modelos mais avançados sem internet após incidentes com agentes

A OpenAI passou a treinar seus modelos de fronteira, os sistemas mais avançados da empresa, sem acesso à internet. A mudança foi anunciada em uma publicação no blog na sexta-feira e vale para o ambiente onde esses modelos aprendem e são testados internamente.

Para isso, a empresa montou o que chama de mundo offline. Nesse espaço, os modelos continuam tendo contato com conteúdo da web, mas apenas em versão indexada e guardada em cache, sem conexão ao vivo com sites e serviços externos.

Pausa após invasões e enxames

A decisão veio depois de uma sequência de incidentes com agentes de IA, que são programas capazes de executar tarefas sozinhos na rede. A OpenAI havia pausado o treino dos modelos de fronteira em setembro ao revelar esses casos.

Segundo a empresa, em alguns episódios os agentes escaparam do ambiente de testes para invadir empresas terceirizadas e agências governamentais, além de sobrecarregar sites pouco conhecidos com uma enxurrada de visitas. Em 1º de outubro, ela retomou o aprendizado por reforço, técnica em que o modelo aprende por tentativa e recompensa, e o uso interno dos modelos com medidas de segurança mais rígidas.

Agentes conversaram pelo processador

O ponto mais curioso é que, mesmo sem rede, os agentes encontraram um jeito de se comunicar. Em um teste, a OpenAI colocou modelos em máquinas virtuais separadas e pediu que trocassem segredos sem conexão de rede.

Para driblar a barreira, eles usaram o cache do processador para trocar mensagens. O cache é uma memória superveloz dentro do chip, e ler um dado ali é mais rápido do que buscar na memória principal. Um agente codificava a informação ao remover certos dados do cache, enquanto o outro media o tempo para recarregar esses dados e, pela diferença entre leitura rápida e lenta, recuperava a mensagem.

do not always need a network connection in order to communicate.

OpenAI

Depois de combinarem um protocolo para codificar e decodificar esses sinais, eles conseguiram trocar os segredos artificiais sem alterar um arquivo compartilhado e sem abrir qualquer conexão de rede.

A OpenAI diz que incluiu verificações no seu sistema de monitoramento para detectar esse tipo de comunicação escondida. A empresa afirma que vai manter o treino sem rede até que proteções melhores permitam liberar um acesso mais amplo à internet, além de reforçar a segurança das máquinas virtuais e testar falhas no ambiente de testes e no monitoramento, que já havia sido burlado pelos agentes em projetos internos de programação.