Laat AI-crawlers je pagina’s lezen volgens robots.txt
Beschrijving
Dit criterium leest het robots.txt-bestand van je site zoals AI-crawlers dat doen, volgens de norm RFC 9309. Het controleert of het bestand zonder fout reageert en of de zoekcrawlers van de AI-platforms (OAI-SearchBot, PerplexityBot, Claude-SearchBot) de pagina kunnen lezen, en ook Google-Extended, het token dat regelt hoe Gemini je pagina’s gebruikt. Daarna komen de crawlers die de pagina voor een gebruiker ophalen, de trainingscrawlers en je llms.txt-bestand aan de beurt.
Is er één zoekcrawler geblokkeerd, dan scoort het criterium slecht. Crawlers die robots.txt volgens hun uitgever negeren, zoals ChatGPT-User, tellen niet mee.
Waarom dit belangrijk is voor AI
Een AI-assistent citeert alleen pagina’s die zijn crawler heeft kunnen lezen. Een Disallow-regel, een robots.txt met een fout of een te strenge firewall kan al genoeg zijn om je pagina uit de antwoorden van ChatGPT, Perplexity of Claude te halen. Ook Google raadt aan te controleren of robots.txt en je CDN of hostingprovider het crawlen toestaan.
- Zwijgen betekent toestemming: een crawler zonder eigen groep volgt de groep User-agent: *, en een pagina die door geen enkele regel verboden wordt, staat voor hem open. Je hoeft niet elke crawler bij naam toe te staan.
- Antwoordt robots.txt met een 5xx- of 429-fout, ook bij een tweede poging, dan beschouwen crawlers die RFC 9309 volgen de hele site als verboden. Een ontbrekend bestand (404) verbiedt niets.
- Trainingscrawlers blokkeren (GPTBot, ClaudeBot, CCBot…) houdt je pagina’s buiten toekomstige trainingsdata, zonder de deur te sluiten voor zoekcrawlers: dat is een legitieme keuze, die je bewust moet maken.
Zo los je het op
- 1 Maak robots.txt bereikbaar en leesbaar Het adres /robots.txt moet 200 teruggeven met een tekstbestand, of 404 als het bestand niet bestaat. Los elke 5xx- of 429-fout op, of een HTML-pagina die in plaats daarvan geserveerd wordt. Een firewall of CDN kan AI-crawlers blokkeren buiten robots.txt om: controleer de instellingen ervan. Krijgt iPand een challengepagina te zien, dan kan het geen conclusie trekken.
- 2 Open de pagina voor zoekcrawlers en gebruikerscrawlers Verwijder in de groepen User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User of MistralAI-User, en in de groep *, de Disallow-regels die de pagina dekken. Een crawler zonder eigen groep volgt de groep *: hem daar niet verbieden is genoeg. Volgens OpenAI wordt een wijziging in robots.txt binnen ongeveer 24 uur toegepast.
- 3 Beslis over de trainingscrawlers GPTBot, ClaudeBot, CCBot, Applebot-Extended en Meta-ExternalAgent verzamelen pagina’s om modellen te trainen. Laat je ze toe, dan komen je teksten in die gegevens terecht; blokkeer je ze, dan vraag je dat je teksten er niet meer voor gebruikt worden, zonder gevolgen voor zoekcrawlers. Google-Extended is de uitzondering: het is geen crawler maar een token dat de crawlers van Google lezen, en het regelt zowel de training als de onderbouwing (grounding) van de antwoorden van Gemini. Blokkeer je het, dan verdwijnt je site niet uit Google Zoeken en niet uit AI Overviews, die van Googlebot afhangen.
- 4 Verbeter of verwijder llms.txt llms.txt is een voorstel (llmstxt.org), geen norm: een Markdown-bestand in de root van de site, dat begint met een kop # met de naam van de site, gevolgd door links naar je belangrijkste pagina’s. Bestaat het bestand, dan moet het 200 teruggeven als tekst, niet als HTML. Ontbreekt het (404 of 410), dan telt dat niet mee, en deze controle weegt weinig.
- 5 Laat iPandBot de pagina analyseren iPand leest je pagina’s met een eigen crawler, iPandBot (user agent iPandBot/1.0 (+https://ipand.io)). Die respecteert een Disallow-regel in een groep die hem bij naam noemt, User-agent: iPandBot, en die de pagina dekt: de analyse stopt dan en de pagina wordt niet geanalyseerd. Een groep User-agent: * houdt hem niet tegen, want de eigenaar van de site vraagt zelf om de analyse.
In het kort
Een geblokkeerde zoekcrawler is een AI-assistent die je pagina niet kan citeren. Blokkeer alleen wat je bewust wilt blokkeren, en zorg voor een robots.txt die zonder fouten reageert.
