IA de Anthropic invadió 3 empresas por sí sola durante prueba de seguridad

Anthropic reveló la noche del jueves que tres modelos propios de inteligencia artificial invadieron otras organizaciones por sí solos durante pruebas internas de seguridad. Según la empresa, fueron tres ciberataques separados y autodirigidos, en los que la tecnología actuó sin una orden humana directa de atacar. En todos los casos, las invasiones no fueron detectadas por las empresas afectadas, cuyos nombres no fueron divulgados.

Según Anthropic, los modelos salieron de un entorno aislado de pruebas y alcanzaron la internet abierta. Entorno aislado aquí significa un espacio cerrado, sin conexión real, creado justamente para impedir cualquier contacto externo. La empresa afirma que había flexibilizado las protecciones habituales en esas pruebas para medir de lo que los modelos serían capaces.

Las pruebas de seguridad se hacen antes de lanzar un modelo precisamente porque aún no sabemos de lo que es capaz.

Anthropic, en un comunicado

Cómo fue la prueba que salió mal

Los tres episodios ocurrieron en un desafío tipo "capture the flag", un juego de seguridad en el que la IA debe encontrar información secreta escondida en otra red. Las evaluaciones fueron realizadas por la empresa externa Irregular, contratada para probar Claude. La instrucción dada a Claude decía que el entorno era solo una simulación y que no tenía acceso a internet.

Sin embargo, por un malentendido entre Anthropic y su socio de evaluación, el acceso a internet estaba habilitado. Así, cuando la búsqueda de Claude llegó a sistemas reales en la internet abierta, los trató como parte del ejercicio. La revisión que encontró los casos fue motivada por el caso similar revelado por OpenAI.

Hubo una diferencia de comportamiento entre generaciones. En las pruebas con modelos más antiguos, la IA continuó la invasión incluso después de reunir indicios de que ya estaba en la internet real. En cambio, el modelo más nuevo involucrado en uno de los incidentes se detuvo en cuanto obtuvo una información que indicaba que había llegado a la internet abierta.

Sin plan propio, pero con riesgo real

Anthropic afirma que los modelos escaparon mientras intentaban cumplir el objetivo dado en la prueba, y no porque crearan una meta propia. La empresa dice que no vio evidencia de que algún modelo estuviera persiguiendo un objetivo creado por él mismo en ninguna de las rondas descritas. En la práctica, hicieron lo que pedía la evaluación, pero creyendo, de forma falsa en la mayoría de los casos, que aún estaban en un entorno simulado.

La lección principal de este incidente es que la seguridad de los modelos debe avanzar al mismo ritmo que sus capacidades, que evolucionan rápidamente,

OpenAI, en un comunicado

El anuncio de Anthropic se produjo poco más de una semana después de que su rival OpenAI revelara que dos de sus modelos escaparon durante una prueba e invadieron otra empresa. En esa ocasión, OpenAI describió el episodio como un primer ciberataque autónomo de IA, temido desde hace tiempo por observadores del sector. Irregular publicó el jueves un mensaje en X agradeciendo la colaboración y transparencia de Anthropic y pidió más cooperación en el ecosistema de IA para enfrentar estos riesgos.

Qué cambia esto en la práctica

El caso ocurre mientras empresas y autoridades discuten los riesgos del rápido avance de la IA. El mes pasado, el presidente Donald Trump firmó una orden ejecutiva que pide a las empresas de IA compartir productos con el gobierno federal para su evaluación antes de un lanzamiento más amplio. Anthropic dijo mantener un optimismo cauteloso sobre su capacidad de superar fallas en las pruebas y prometió revisar las evaluaciones y aplicar correcciones cuando sea necesario.