Laisser les robots des IA lire vos pages selon robots.txt
Description
Ce critère lit le fichier robots.txt de votre site comme le font les robots des IA, selon la norme RFC 9309. Il vérifie que le fichier répond sans erreur et que les robots de recherche des IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) peuvent lire la page, ainsi que Google-Extended, le jeton qui commande l’usage de vos pages par Gemini ; puis les robots qui la consultent pour un utilisateur, les robots d’entraînement et votre fichier llms.txt.
Un seul robot de recherche bloqué rend le critère mauvais. Les robots qui ignorent robots.txt d’après leur éditeur, comme ChatGPT-User, ne sont pas comptés.
Pourquoi c’est important pour les IA
Un assistant ne cite que les pages que son robot a pu lire. Une règle Disallow, un robots.txt en erreur ou un pare-feu trop strict peut suffire à retirer votre page des réponses de ChatGPT, de Perplexity ou de Claude. Google recommande lui aussi de vérifier que l’exploration est permise par robots.txt et par votre CDN ou votre hébergeur.
- Le silence vaut permission : un robot sans groupe propre suit le groupe User-agent: *, et une page qu’aucune règle n’interdit lui est ouverte. Inutile d’autoriser chaque robot nommément.
- Un robots.txt qui répond par une erreur 5xx ou 429, confirmée par une seconde tentative, fait considérer tout le site comme interdit par les robots qui suivent RFC 9309. Un fichier absent (404) n’interdit rien.
- Bloquer les robots d’entraînement (GPTBot, ClaudeBot, CCBot…) écarte vos pages des futures données d’entraînement sans fermer la porte aux robots de recherche : c’est un choix légitime, à faire en connaissance de cause.
Comment corriger
- 1 Rendez robots.txt joignable et lisible L’adresse /robots.txt doit répondre 200 avec un fichier texte, ou 404 si le fichier n’existe pas. Corrigez toute erreur 5xx ou 429, ou une page HTML servie à la place. Un pare-feu ou un CDN peut bloquer les robots des IA sans passer par robots.txt : vérifiez ses réglages. Face à une page de défi, iPand ne peut pas conclure.
- 2 Ouvrez la page aux robots de recherche et de consultation Dans les groupes User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User ou MistralAI-User, et dans le groupe *, retirez les règles Disallow qui couvrent la page. Un robot sans groupe propre suit le groupe * : ne pas l’interdire suffit. OpenAI indique qu’un changement de robots.txt est pris en compte en 24 heures environ.
- 3 Décidez pour les robots d’entraînement GPTBot, ClaudeBot, CCBot, Applebot-Extended et Meta-ExternalAgent collectent des pages pour entraîner les modèles. Les autoriser laisse vos textes entrer dans ces données ; les bloquer demande qu’ils n’y servent plus, sans effet sur les robots de recherche. Google-Extended fait exception : ce n’est pas un robot mais un jeton, lu par les robots de Google, qui commande à la fois l’entraînement et l’ancrage des réponses de Gemini. Le bloquer ne retire votre site ni de la recherche Google ni des Aperçus IA (AI Overviews), qui relèvent de Googlebot.
- 4 Corrigez ou retirez llms.txt llms.txt est une proposition (llmstxt.org), pas une norme : un fichier Markdown placé à la racine du site, qui commence par un titre # au nom du site, suivi de liens vers vos pages clés. S’il existe, il doit répondre 200 en texte, pas en HTML. Son absence (404 ou 410) n’est pas comptée, et ce contrôle pèse peu.
- 5 Laissez iPandBot analyser la page iPand lit vos pages avec son propre robot, iPandBot (agent utilisateur iPandBot/1.0 (+https://ipand.io)). Il respecte une règle Disallow placée dans un groupe qui le nomme, User-agent: iPandBot, et qui couvre la page : l’analyse s’arrête alors et la page n’est pas analysée. Un groupe User-agent: * ne l’arrête pas, car c’est le propriétaire du site qui demande l’analyse.
À retenir
Un robot de recherche bloqué, c’est une IA qui ne peut pas citer votre page. Ne bloquez que ce que vous avez choisi de bloquer, et gardez un robots.txt qui répond sans erreur.
