Google, OpenAI y Microsoft respetarán una sola señal contra el entrenamiento de IA

Quienes querían excluir un sitio web del entrenamiento de IA tenían que escribir una regla distinta para cada empresa y aprenderse, uno por uno, nombres como GPTBot, ClaudeBot y Google-Extended. Ahora Google, OpenAI, Anthropic y Microsoft dicen que todas leerán la misma línea: un «token de política» compartido en robots.txt, el pequeño archivo de texto que desde los primeros tiempos de la web les indica a los motores de búsqueda adónde no deben entrar. Con escribir esa regla una sola vez, se dará la misma respuesta a cuatro de los mayores desarrolladores de IA.

La idea es de Kevin Kelley, líder técnico de estándares en Anthropic, quien la presentó ante el Internet Engineering Task Force, el organismo que redacta las reglas técnicas de internet. Su ingenioso giro consiste en que no inventa una sintaxis nueva. El propietario de un sitio escribe un grupo de reglas común, pero en la línea User-Agent indica un uso, no un rastreador: __usage_ai-training. Debajo, «Disallow: /» significa que no se debe entrenar con ningún contenido del sitio, mientras que una línea «Allow» permite establecer excepciones, como un kit de prensa que a una empresa le gustaría que un modelo pudiera usar para aprender.

Para un blog, una tienda o un medio de comunicación, el detalle más útil es aquello que esta línea no modifica. Expresa una preferencia sobre cómo se utiliza el contenido, no sobre quién puede visitarlo, así que las búsquedas siguen funcionando. Google afirma que, cuando un sitio se excluye mediante el token compartido y no menciona por separado Google-Extended, interpretará la regla como un bloqueo de Google-Extended, que cubre el entrenamiento de Gemini, pero mantiene la página en Google Search. Microsoft hace la misma promesa para Bing: esta configuración no cambia la posibilidad de que una página aparezca en sus resultados.

Microsoft va un paso más allá que las demás empresas. Además de la preferencia sobre el entrenamiento, añadirá otra, independiente, sobre la fundamentación, que se configura página por página mediante una metaetiqueta o un encabezado HTTP y determina si una página puede alimentar las respuestas que Bing, Copilot y Microsoft 365 generan al instante. Un sitio podría rechazar el entrenamiento y, aun así, permitir la fundamentación, para que sus citas y enlaces aparezcan en las respuestas de IA. Microsoft advierte que rechazar la fundamentación «reducirá significativamente» la visibilidad de un sitio en esas experiencias y que ninguna de las dos opciones garantiza que se lo incluya, que genere tráfico o que reciba un pago.

Hay una trampa escondida en el archivo que la mayoría de los sitios ya tiene. El borrador de Kelley hace que, deliberadamente, la conocida regla comodín «User-agent: *» no reconozca el nuevo token, así que un robots.txt que hoy bloquea a todos los bots no expresa ninguna preferencia sobre el entrenamiento de IA. Quienes quieran excluirse tienen que añadir el nuevo grupo por nombre. La señal también solo tiene efecto hacia adelante: todo lo que las empresas rastrearon antes de que aparezca la línea ya está en sus conjuntos de entrenamiento, y el borrador no obliga a ninguna compañía a respetarla. Es una solicitud que cuatro empresas prometieron atender, no un bloqueo absoluto.

La ausencia más notoria es Meta. Andy Stone, su director de comunicaciones, le dijo a The Verge que una señal común que llegue a varios proveedores a la vez es «un paso importante», pero no aclaró si Meta la respetará. El momento resulta incómodo. El mismo día en que las cuatro empresas anunciaron su apoyo, entraron en vigor las condiciones comerciales actualizadas de Meta, que le permiten enviar rastreadores a sitios web vinculados con cuentas comerciales de Facebook, Instagram y WhatsApp, y usar lo que recopilen para entrenar sus productos.

La implementación avanza a distintas velocidades. Anthropic ya comenzó a implementar el token, aunque Kelley escribió que llevará tiempo cubrir todos sus servicios. Microsoft lo respetará en los rastreos que haga a partir del 1 de febrero de 2027 y, después del 1 de marzo, dejará de interpretar sus antiguas etiquetas NoArchive y NoCache como señales sobre entrenamiento o fundamentación. Google espera admitir el token en 2027 y promete informar sobre los avances, mientras que OpenAI solo se comprometió a hacerlo en los próximos meses. La propuesta todavía debe pasar por el grupo de trabajo AI Preferences del IETF antes de convertirse en una norma formal, y Google señala que se ajusta al código de práctica de la UE para modelos de IA de propósito general, que ya considera robots.txt el principal medio para que los editores expresen preferencias legibles por máquinas.

Lo que hace notable este momento es la sencillez de la solución. Tras años de demandas y disputas por licencias sobre quién es dueño de la web abierta, la primera respuesta compartida consiste en unos cuantos caracteres dentro de un archivo de texto sencillo que cualquiera puede editar en un minuto. Cuánto protegerá dependerá de quién más se sume, y la empresa que tiene más páginas comerciales en sus plataformas todavía no ha dicho que sí.

Etiquetas: inteligencia artificial, OpenAI, Google, Anthropic, microsoft, meta