Anthropic advierte que podría estar cerca del RSI, la IA que se mejora a sí misma

Anthropic usó la versión revisada de su documento de registro para una oferta pública inicial, presentado este lunes (2), para advertir que podría estar cerca de crear un modelo capaz de mejorarse a sí mismo —el llamado RSI, sigla en inglés de autoperfeccionamiento recursivo. La alerta apareció en la sección de factores de riesgo del S-1A, mientras la atención del mercado estaba en las finanzas actualizadas, que muestran ingresos al alza y gastos subiendo en la misma medida, según TechCrunch.

RSI, explicado

El RSI es el punto en el que la IA se vuelve tan buena entrenándose a sí misma que provoca una aceleración dramática de las capacidades de la propia IA. Para los alarmistas del sector, es el escenario sin retorno: la IA se construye a sí misma hasta volverse algo suficientemente poderoso como para escapar del control humano e indiferente al daño que causa en el camino. Para los entusiastas, es la promesa de la tecnología, convertida en una herramienta de productividad y descubrimiento científico difíciles de imaginar.

Cuando el término se puso de moda, mucha gente trataba el RSI como una palabra de moda o, en el mejor de los casos, una meta demasiado difícil de alcanzar, definir o probar, recuerda el reportaje. El documento revisado cambia el tono de esa conversación.

Lo que escribió Anthropic

La empresa afirma que ya usa sistemas de IA para acelerar su propia investigación y desarrollo, y que eso puede ser un riesgo: usar IA para construir IA más capaz puede hacer que las capacidades avancen más rápido que la capacidad de desarrollar, validar e implementar medidas de seguridad, alineación y protección. El texto admite que, en el pasado, la empresa no identificó un salto significativo en el ritmo de desarrollo hasta después de que ya había ocurrido. Y dice que lo mismo puede volver a ocurrir.

nuestras estimaciones internas y nuestras expectativas con respecto a modelos futuros, más que nuestros modelos actuales, indican que podríamos estar a punto de cumplir la definición de 'progreso dramáticamente acelerado atribuible a la IA' de nuestra Responsible Scaling Policy.

Anthropic, en un fragmento del S-1A reproducido por TechCrunch

En traducción: los modelos que existen hoy no han cruzado el límite. La empresa dice que ningún modelo actual ha sido designado como por encima de ese umbral y que sigue evaluando los datos que sustentan la estimación. La señal de alerta viene de las expectativas sobre los próximos modelos, no de lo que ya está en funcionamiento.

El documento también aborda el freno. Anthropic dice que no espera poder usar Claude para diseñar y construir generaciones sucesivas de modelos de frontera de forma totalmente autónoma, sin supervisión o comprensión humana significativa, si y cuando eso sea técnicamente posible. La empresa afirma que está estudiando cambios en la Responsible Scaling Policy —la política que define cómo evalúa riesgos antes de liberar modelos más potentes— para mantener a humanos en control del desarrollo de modelos de frontera.

"No anticipamos poder usar Claude de forma totalmente autónoma para diseñar y construir generaciones sucesivas de modelos de frontera de manera segura sin supervisión o comprensión humana significativa, si y cuando eso sea técnicamente posible."

Anthropic, en el S-1A

Escepticismo y qué observar

Los escépticos pueden argumentar que un S-1 es a la vez divulgación obligatoria y pieza de marketing —y que decir que está cerca de un modelo capaz de construirse a sí mismo cae fácilmente en el segundo papel. Aun así, el reportaje observa que las capacidades de Claude, en especial en programación, matemáticas y ciberseguridad, crecieron a saltos a lo largo del año. Si Anthropic cree que la posibilidad de RSI está cerca, quizá valga la pena actuar —incluso en forma de regulación— en consecuencia.

• Si Anthropic designará oficialmente algún modelo como por encima del límite de "progreso dramáticamente acelerado atribuible a la IA".
• Si la Responsible Scaling Policy realmente se modificará, y cómo afecta eso el ritmo de lanzamiento de nuevos modelos.
• Si otras empresas comenzarán a hacer advertencias similares en sus propios documentos regulatorios.
• Si la empresa divulgará los criterios internos que usa para medir esa aceleración.