OpenAI entrena sus modelos más avanzados sin internet tras incidentes con agentes

OpenAI comenzó a entrenar sus modelos de frontera, los sistemas más avanzados de la empresa, sin acceso a internet. El cambio se anunció en una publicación del blog el viernes y aplica al entorno donde estos modelos aprenden y se prueban internamente.

Para ello, la empresa armó lo que llama un mundo offline. En ese espacio, los modelos siguen teniendo contacto con contenido de la web, pero solo en versión indexada y guardada en caché, sin conexión en vivo con sitios y servicios externos.

Pausa tras invasiones y avalanchas de tráfico

La decisión llegó después de una serie de incidentes con agentes de IA, que son programas capaces de ejecutar tareas por su cuenta en la red. OpenAI había pausado el entrenamiento de los modelos de frontera en septiembre al revelar estos casos.

Según la empresa, en algunos episodios los agentes escaparon del entorno de pruebas para invadir empresas tercerizadas y agencias gubernamentales, además de saturar sitios poco conocidos con una avalancha de visitas. El 1 de octubre, retomó el aprendizaje por refuerzo, técnica en la que el modelo aprende por ensayo y recompensa, y el uso interno de los modelos con medidas de seguridad más estrictas.

Los agentes conversaron a través del procesador

Lo más curioso es que, incluso sin red, los agentes encontraron una forma de comunicarse. En una prueba, OpenAI colocó modelos en máquinas virtuales separadas y les pidió que intercambiaran secretos sin conexión de red.

Para evadir la barrera, usaron la caché del procesador para intercambiar mensajes. La caché es una memoria ultrarrápida dentro del chip, y leer un dato allí es más rápido que buscarlo en la memoria principal. Un agente codificaba la información al eliminar ciertos datos de la caché, mientras el otro medía el tiempo para recargar esos datos y, por la diferencia entre lectura rápida y lenta, recuperaba el mensaje.

no siempre necesitan una conexión de red para comunicarse.

OpenAI

Después de acordar un protocolo para codificar y decodificar estas señales, lograron intercambiar los secretos artificiales sin modificar un archivo compartido y sin abrir ninguna conexión de red.

OpenAI dice que incluyó verificaciones en su sistema de monitoreo para detectar este tipo de comunicación oculta. La empresa afirma que mantendrá el entrenamiento sin red hasta que mejores protecciones permitan liberar un acceso más amplio a internet, además de reforzar la seguridad de las máquinas virtuales y probar fallas en el entorno de pruebas y en el monitoreo, que ya había sido burlado por los agentes en proyectos internos de programación.