Anthropic avisa que pode estar perto do RSI, a IA que melhora a si mesma

A Anthropic usou a versão revisada do seu documento de registro para abertura de capital, protocolada nesta segunda-feira (2), para avisar que pode estar perto de criar um modelo capaz de melhorar a si mesmo — o chamado RSI, sigla em inglês para autoaperfeiçoamento recursivo. O alerta apareceu na seção de fatores de risco do S-1A, enquanto a atenção do mercado estava nas finanças atualizadas, que mostram receita em alta e despesas subindo na mesma medida, segundo o TechCrunch.

RSI, explicado

RSI é o ponto em que a IA fica tão boa em treinar a si mesma que provoca uma aceleração dramática das capacidades da própria IA. Para os alarmistas do setor, é o cenário sem volta: a IA se constrói até virar algo poderoso o bastante para escapar do controle humano e indiferente ao estrago que causa no caminho. Para os entusiastas, é a promessa da tecnologia, virando uma ferramenta de produtividade e descoberta científica difíceis de imaginar.

Quando o termo virou moda, muita gente tratava RSI como palavra da moda ou, na melhor das hipóteses, uma meta difícil demais de atingir, definir ou provar, lembra a reportagem. O documento revisado muda o tom dessa conversa.

O que a Anthropic escreveu

A empresa afirma que já usa sistemas de IA para acelerar sua própria pesquisa e desenvolvimento, e que isso pode ser um risco: usar IA para construir IA mais capaz pode fazer as capacidades avançarem mais rápido do que a capacidade de desenvolver, validar e implantar medidas de segurança, alinhamento e proteção. O texto admite que, no passado, a empresa não identificou um salto significativo no ritmo de desenvolvimento até depois que ele já tinha acontecido. E diz que o mesmo pode ocorrer de novo.

our internal estimates and our expectations regarding future models, rather than our current models, indicate that we may imminently meet our Responsible Scaling Policy's definition of "dramatically accelerated progress attributable to AI."

Anthropic, em trecho do S-1A reproduzido pelo TechCrunch

Traduzindo: os modelos que existem hoje não cruzaram o limite. A empresa diz que nenhum modelo atual foi designado como acima dessa marca e que segue avaliando os dados que sustentam a estimativa. O sinal de alerta vem das expectativas sobre os próximos modelos, não do que já está no ar.

O documento também trata do freio. A Anthropic diz que não espera conseguir usar o Claude para projetar e construir gerações sucessivas de modelos de fronteira de forma totalmente autônoma, sem supervisão ou entendimento humano relevante, se e quando isso for tecnicamente possível. A empresa afirma estar estudando mudanças no Responsible Scaling Policy — a política que define como ela avalia riscos antes de liberar modelos mais fortes — para manter humanos no controle do desenvolvimento de modelos de fronteira.

"We do not anticipate being able to safely use Claude to fully autonomously design and build successive generations of frontier models without meaningful human supervision or understanding, if and when that becomes technically possible."

Anthropic, no S-1A

Ceticismo e o que observar

Céticos podem argumentar que um S-1 é ao mesmo tempo divulgação obrigatória e peça de marketing — e que dizer que está perto de um modelo capaz de se construir cai facilmente no segundo papel. Ainda assim, a reportagem observa que as capacidades do Claude, em especial em programação, matemática e segurança cibernética, cresceram em saltos ao longo do ano. Se a Anthropic acha que a possibilidade de RSI está próxima, talvez valha agir — inclusive na forma de regulação — de acordo.

• Se a Anthropic vai designar oficialmente algum modelo como acima do limite de "progresso dramaticamente acelerado atribuível à IA".
• Se o Responsible Scaling Policy será de fato alterado, e como isso afeta o ritmo de lançamento de novos modelos.
• Se outras empresas passarão a fazer avisos parecidos em seus próprios documentos regulatórios.
• Se a empresa vai divulgar os critérios internos que usa para medir essa aceleração.