Google, Microsoft y OpenAI aceptarán un opt-out único contra el entrenamiento de IA

Google, Microsoft y OpenAI anunciaron el viernes planes para respetar una línea compartida en el robots.txt que indica la preferencia sobre el entrenamiento de IA. En la práctica, un sitio podría declarar una sola vez que no quiere que su contenido se use para entrenar modelos, en lugar de crear una regla distinta para el rastreador de cada empresa.

La línea proviene de un Internet Draft enviado por Kevin Kelley, de Anthropic, al grupo de trabajo AI Preferences del IETF. El documento aparece en el rastreador del IETF como un borrador individual, lo que no representa una estandarización oficial del IETF. En un mensaje a la lista de correo del grupo, Kelley indicó que Anthropic ya comenzó el desarrollo para ofrecer la función.

Cómo funciona la nueva línea

El borrador no crea una directiva nueva para el robots.txt, ese archivo que dice a los robots de búsqueda a qué pueden acceder en un sitio. Utiliza un grupo normal de reglas, escrito bajo lo que el texto llama token de política, el __usage_ai-training, con los ya conocidos comandos Allow y Disallow. El ejemplo del borrador muestra cómo bloquear el entrenamiento de IA en todo el sitio, liberando solo la carpeta /press-kit/.

El significado del token proviene de otro borrador del grupo, sobre vocabulario. Allí, el entrenamiento de IA se define como usar contenido para modificar los parámetros aprendidos de un modelo generativo de IA. Los modelos que solo realizan tareas no generativas, como clasificación o ranking, quedan fuera de esa definición.

Hay dos límites importantes. Un grupo con User-Agent: * nunca aplica a este token, y un archivo sin un grupo __usage_ai-training indica que no hay preferencia, lo que, según Kelley, vale para todos los archivos robots.txt publicados hoy. El token tampoco controla el rastreo en sí, solo la preferencia de uso para entrenamiento.

Google y Microsoft lo aplican de formas distintas

Ninguna de las tres empresas admite la línea hoy, según los plazos informados. En el caso de Google, si el sitio usa la línea compartida y no detalla Google-Extended, Google planea tratarlo como un bloqueo de Google-Extended. Ese control también vale para el grounding dentro de Gemini Apps.

como si el editor hubiera bloqueado Google-Extended

John Mueller, en la publicación de Google

Google planea dar soporte al control en 2027, y la documentación de rastreadores habla de principios de 2027. Según la documentación, Google-Extended controla si el contenido puede entrenar futuros modelos Gemini y si puede usarse para grounding en Gemini Apps y Vertex AI. Grounding, en la descripción de Google, es proporcionar contenido del índice de búsqueda al modelo al momento de responder. Google-Extended no afecta la inclusión en la Búsqueda de Google, y AI Overviews y AI Mode tienen otro opt-out separado.

Microsoft adoptó la línea compartida para entrenamiento y creó una preferencia separada de AI Grounding. Esa segunda opción se define solo a nivel de página y controla si el contenido puede ayudar a informar respuestas generadas por IA. Microsoft también permite definir la preferencia de entrenamiento de una página por metaetiqueta o encabezado HTTP, lo que prevalece sobre el robots.txt en esa página.

Plazos, OpenAI y Anthropic

Microsoft es la única que está sustituyendo controles que los sitios ya usan. Empezará a respetar las dos nuevas opciones el 1 de febrero de 2027 y dejará de reconocer las antiguas etiquetas NoArchive y NoCache como opciones de entrenamiento o grounding después del 1 de marzo de 2027. Los sitios que usan las etiquetas antiguas y quieren quedar fuera del grounding también deben registrar una preferencia temporal en Bing Webmaster Tools, que abre el 15 de diciembre y solo vale para los sitios que aún usaban esas etiquetas en esa fecha.

OpenAI planea respetar la señal en los próximos meses, pero su política actual de robots.txt sigue vigente. Ni la publicación de la empresa ni su documentación de rastreadores, verificada el 30 de octubre, dicen qué ocurre cuando hay un conflicto entre la regla compartida y una regla de GPTBot. Hasta el 30 de octubre, no había ningún anuncio en la sala de prensa de Anthropic sobre la señal, y Kelley dijo que llevará algún tiempo implementar el soporte en todos los servicios de la empresa.

El borrador de Kelley vence el 3 de mayo de 2027, a menos que una nueva versión lo sustituya, y planea proponer el diseño como un cambio para el borrador Content-Usage. OpenAI anima a otros proveedores de IA a respetar la señal, y Kelley escribió que espera que otros participen. En la práctica, un grupo único podría sustituir varias reglas por empresa, pero el efecto no será igual en todas partes, porque entrenamiento y grounding están separados en Microsoft y quedan juntos bajo Google-Extended en Google.