robots.txt et robots des IA : le réglage à vérifier

Bloquer un robot d’IA vous retire-t-il des réponses ?

Oui, si vous bloquez le robot qui alimente la recherche de l’assistant. Non, si vous bloquez seulement celui qui collecte des textes pour entraîner les modèles. Tout le réglage tient dans cette distinction, que beaucoup de fichiers robots.txt ignorent.

OpenAI le dit sans détour : un site qui refuse OAI-SearchBot n’apparaît plus dans les réponses de la recherche de ChatGPT^[1]. GPTBot, lui, sert à l’entraînement : le bloquer indique que vos pages ne doivent pas servir à entraîner les modèles, sans vous retirer des réponses. Anthropic sépare de la même façon Claude-SearchBot, qui indexe pour la recherche, et ClaudeBot, qui collecte pour l’entraînement^[2]. Perplexity recommande d’autoriser PerplexityBot pour que votre site apparaisse dans ses résultats^[3].

Chez Google, Google-Extended n’est pas un robot mais un jeton de contrôle : il décide si vos pages servent à entraîner Gemini et à ancrer ses réponses, et il ne change rien à votre présence dans Google Search^[4]. Les Aperçus IA dépendent de Googlebot et de l’indexation classique.

Quels robots laisser passer ?

Laissez passer au minimum les robots de recherche des assistants : OAI-SearchBot, PerplexityBot, Claude-SearchBot, et Googlebot comme toujours. Les robots d’entraînement relèvent d’un choix d’éditeur : les bloquer protège vos textes, sans effet sur les réponses d’aujourd’hui.

Le tableau ci-dessous reprend les robots que l’analyse technique d’iPand vérifie en priorité, avec leur rôle tel que leur éditeur le décrit. Les robots déclenchés par un utilisateur, comme ChatGPT-User, sont à part : ils visitent une page parce qu’une personne l’a demandée, et OpenAI prévient que les règles de robots.txt peuvent ne pas s’y appliquer^[1].

Liste tenue par iPand d’après les pages des éditeurs, citées en sources.

Vérifier son robots.txt en deux minutes

Ouvrez l’adresse de votre site suivie de /robots.txt dans un navigateur, puis cherchez deux choses : une ligne « Disallow: / » sous « User-agent: * », et un groupe qui nomme un robot d’IA. Si le fichier n’existe pas, tout est autorisé par défaut.

La lecture demande une règle à connaître. Un robot applique le groupe qui porte son nom, et seulement lui ; il ne lit le groupe « * » que si aucun groupe ne le nomme^[5]. Un groupe « User-agent: OAI-SearchBot » vide de toute règle laisse donc ce robot tout lire, même si le groupe « * » bloque une partie du site. À l’inverse, une ligne « Disallow: / » sous « * » bloque tous les robots que vous n’avez pas nommés.

Sur WordPress, Shopify ou Wix, le fichier est souvent produit par le CMS ou par une extension SEO, et non posé à la main sur le serveur. Corrigez-le là où il est généré, sinon votre modification sera écrasée à la prochaine mise à jour. Une extension de sécurité peut aussi ajouter des règles sans vous le dire : relisez le fichier tel qu’il est servi, pas tel que vous croyez l’avoir écrit.

Quand deux règles se contredisent dans un même groupe, la plus longue l’emporte : « Allow: /blog/ » gagne sur « Disallow: / » pour les pages du blog^[5].

• Un « Disallow: / » sous « User-agent: * » : tout le site est fermé aux robots non nommés.
• Un groupe GPTBot ou ClaudeBot bloqué : sans effet sur les réponses, c’est un choix sur l’entraînement.
• Un groupe OAI-SearchBot, PerplexityBot ou Claude-SearchBot bloqué : vous sortez de leurs réponses.
• Aucune ligne « Sitemap: » : ajoutez l’adresse de votre plan du site, elle aide à découvrir vos pages.

Le piège du pare-feu et du CDN

Un robots.txt parfait ne sert à rien si votre hébergeur bloque les robots avant qu’ils ne le lisent. C’est le cas le plus fréquent de site « autorisé » mais absent des réponses.

Depuis le 1er juillet 2025, Cloudflare demande à chaque nouveau domaine, à l’inscription, s’il autorise ou non les robots d’IA^[6]. Un réglage accepté sans y penser peut donc bloquer OAI-SearchBot ou PerplexityBot au niveau du réseau, quel que soit votre robots.txt. Perplexity note aussi que les changements de règles de pare-feu peuvent mettre du temps à se propager^[3].

Vérifiez donc deux endroits : le fichier robots.txt, et les règles de « bot management » ou de pare-feu de votre hébergeur ou de votre CDN. La fiche robots.txt de la documentation détaille ce que l’analyse technique contrôle.

Un exemple de réglage

Le réglage le plus courant ouvre la recherche des assistants et laisse le choix pour l’entraînement. Voici un fichier qui autorise les robots de recherche, bloque deux robots d’entraînement et ferme un dossier d’administration à tous.

# Robots de recherche des assistants : autorisés
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
Disallow: /admin/

# Entraînement des modèles : refusé (votre choix)
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Tous les autres robots
User-agent: *
Disallow: /admin/

Sitemap: https://www.exemple.fr/sitemap.xml

Notez que « Disallow: /admin/ » est répété dans le premier groupe : un robot nommé n’applique que son groupe, il ne lit pas celui de « * ». Après une modification, comptez environ 24 heures pour qu’OpenAI et Perplexity la prennent en compte, selon leurs propres pages^[1][3].

Après la correction : vérifier l’effet

Ouvrir la porte ne garantit pas d’être cité : cela vous rend seulement éligible. Un assistant choisit ensuite parmi les pages qu’il peut lire, selon la question posée et les sources qu’il recoupe.

Notez la date de votre correction, puis suivez vos réponses sur plusieurs semaines. Une absence persistante après l’ouverture vient alors d’ailleurs : contenu trop générique, fiche d’établissement incomplète, ou concurrents mieux présents dans les sources que les assistants citent. Les articles sur la fiche d’établissement et sur les avis clients détaillent ces deux leviers.

Et llms.txt ?

llms.txt n’est pas nécessaire pour apparaître dans les réponses des IA. C’est une proposition, publiée en septembre 2024, de fichier qui résume un site pour les agents^[7] ; aucun moteur ne l’exige.

Google l’écrit pour ses Aperçus IA et son AI Mode : il n’y a pas d’exigence supplémentaire, ni fichier texte destiné aux IA, ni balisage particulier ; une page doit être indexée et pouvoir afficher un extrait^[8]. Si vous publiez un llms.txt, faites-le pour aider les agents à naviguer, pas en espérant un effet sur votre visibilité. Le robots.txt, lui, reste la porte d’entrée.

Pour savoir si les assistants vous citent une fois les portes ouvertes, lancez le test gratuit sur vos propres questions, puis suivez les indicateurs de visibilité dans le temps.

Sources

1. OpenAI — Overview of OpenAI Crawlers — developers.openai.com/api/docs/bots , consultée le 23 octobre 2026
2. Anthropic — robots d’exploration et blocage — support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler , consultée le 23 octobre 2026
3. Perplexity — Perplexity Crawlers — docs.perplexity.ai/guides/bots , consultée le 23 octobre 2026
4. Google Search Central — robots d’exploration courants — developers.google.com/search/docs/crawling-indexing/google-common-crawlers , consultée le 23 octobre 2026, page datée du 15 octobre 2026
5. IETF — RFC 9309, Robots Exclusion Protocol — www.rfc-editor.org/rfc/rfc9309.html , consultée le 23 octobre 2026
6. Cloudflare — communiqué sur les robots d’IA — www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/ , consultée le 23 octobre 2026, page datée du 1 juillet 2025
7. llmstxt.org — la proposition llms.txt — llmstxt.org/ , consultée le 23 octobre 2026, page datée du 3 septembre 2024
8. Google Search Central — AI features and your website — developers.google.com/search/docs/appearance/ai-features , consultée le 23 octobre 2026, page datée du 10 décembre 2025