Dejar que los rastreadores de IA lean tus páginas según robots.txt
Descripción
Este criterio lee el archivo robots.txt de tu web como lo hacen los rastreadores de IA, según la norma RFC 9309. Comprueba que el archivo responde sin errores y que los rastreadores de búsqueda de IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) pueden leer la página, al igual que Google-Extended, el token que controla el uso de tus páginas por Gemini; después, los rastreadores que la consultan en nombre de un usuario, los rastreadores de entrenamiento y tu archivo llms.txt.
Basta con un solo rastreador de búsqueda bloqueado para que el criterio quede en Malo. Los rastreadores que ignoran robots.txt según su propio editor, como ChatGPT-User, no se cuentan.
Por qué importa para las IA
Un asistente solo cita las páginas que su rastreador ha podido leer. Una regla Disallow, un robots.txt con errores o un cortafuegos demasiado estricto pueden bastar para que tu página desaparezca de las respuestas de ChatGPT, Perplexity o Claude. Google también recomienda comprobar que robots.txt y tu CDN o tu proveedor de alojamiento permiten el rastreo.
- El silencio equivale a permiso: un rastreador sin grupo propio sigue el grupo User-agent: *, y una página que ninguna regla prohíbe le queda abierta. No hace falta autorizar a cada rastreador por su nombre.
- Un robots.txt que responde con un error 5xx o 429, confirmado en un segundo intento, hace que los rastreadores que siguen la RFC 9309 consideren prohibida toda la web. Un archivo ausente (404) no prohíbe nada.
- Bloquear los rastreadores de entrenamiento (GPTBot, ClaudeBot, CCBot…) aparta tus páginas de los futuros datos de entrenamiento sin cerrar la puerta a los rastreadores de búsqueda: es una opción legítima, que conviene tomar con conocimiento de causa.
Cómo corregirlo
- 1 Haz que robots.txt sea accesible y legible La dirección /robots.txt debe responder 200 con un archivo de texto, o 404 si el archivo no existe. Corrige cualquier error 5xx o 429, o una página HTML servida en su lugar. Un cortafuegos o un CDN puede bloquear a los rastreadores de IA sin pasar por robots.txt: revisa su configuración. Ante una página de desafío, iPand no puede llegar a ninguna conclusión.
- 2 Abre la página a los rastreadores de búsqueda y de consulta En los grupos User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User o MistralAI-User, y en el grupo *, retira las reglas Disallow que cubren la página. Un rastreador sin grupo propio sigue el grupo *: basta con no prohibírselo. OpenAI indica que un cambio en robots.txt se tiene en cuenta en unas 24 horas.
- 3 Decide qué hacer con los rastreadores de entrenamiento GPTBot, ClaudeBot, CCBot, Applebot-Extended y Meta-ExternalAgent recogen páginas para entrenar modelos. Permitirlos deja que tus textos entren en esos datos; bloquearlos pide que dejen de usarse para ello, sin efecto en los rastreadores de búsqueda. Google-Extended es la excepción: no es un rastreador, sino un token que leen los rastreadores de Google y que controla a la vez el entrenamiento y la fundamentación de las respuestas de Gemini. Bloquearlo no retira tu web de la Búsqueda de Google ni de AI Overviews, que dependen de Googlebot.
- 4 Corrige o retira llms.txt llms.txt es una propuesta (llmstxt.org), no una norma: un archivo Markdown situado en la raíz de la web, que empieza con un título # con el nombre de la web, seguido de enlaces a tus páginas clave. Si existe, debe responder 200 como texto, no como HTML. Su ausencia (404 o 410) no se cuenta, y esta comprobación pesa poco.
- 5 Deja que iPandBot analice la página iPand lee tus páginas con su propio rastreador, iPandBot (agente de usuario iPandBot/1.0 (+https://ipand.io)). Respeta una regla Disallow situada en un grupo que lo nombra, User-agent: iPandBot, y que cubre la página: en ese caso, el análisis se detiene y la página no se analiza. Un grupo User-agent: * no lo detiene, porque es el propietario de la web quien solicita el análisis.
Claves
Un rastreador de búsqueda bloqueado es una IA que no puede citar tu página. Bloquea solo lo que hayas decidido bloquear y mantén un robots.txt que responda sin errores.
