KI-Crawler Ihre Seiten gemäß robots.txt lesen lassen
Beschreibung
Dieses Kriterium liest die Datei robots.txt Ihrer Website so, wie es die KI-Crawler tun, nach dem Standard RFC 9309. Es prüft, ob die Datei fehlerfrei antwortet und ob die Such-Crawler der KI-Plattformen (OAI-SearchBot, PerplexityBot, Claude-SearchBot) die Seite lesen können, ebenso Google-Extended, das Token, das die Nutzung Ihrer Seiten durch Gemini steuert; danach die Crawler, die sie im Auftrag eines Nutzers abrufen, die Trainings-Crawler und Ihre Datei llms.txt.
Ist ein einziger Such-Crawler gesperrt, wird das Kriterium als schlecht bewertet. Crawler, die robots.txt nach Angaben ihres Betreibers ignorieren, wie ChatGPT-User, werden nicht gezählt.
Warum es für KI-Assistenten zählt
Ein KI-Assistent zitiert nur Seiten, die sein Crawler lesen konnte. Eine Disallow-Regel, eine fehlerhafte robots.txt oder eine zu strenge Firewall kann schon genügen, um Ihre Seite aus den Antworten von ChatGPT, Perplexity oder Claude zu entfernen. Auch Google empfiehlt zu prüfen, ob das Crawling durch robots.txt und durch Ihr CDN oder Ihren Hoster erlaubt ist.
- Schweigen bedeutet Erlaubnis: Ein Crawler ohne eigene Gruppe folgt der Gruppe User-agent: *, und eine Seite, die keine Regel verbietet, steht ihm offen. Sie müssen nicht jeden Crawler namentlich zulassen.
- Antwortet robots.txt mit einem Fehler 5xx oder 429, der sich bei einem zweiten Versuch bestätigt, behandeln Crawler, die RFC 9309 folgen, die gesamte Website als gesperrt. Eine fehlende Datei (404) verbietet nichts.
- Wenn Sie Trainings-Crawler (GPTBot, ClaudeBot, CCBot…) sperren, halten Sie Ihre Seiten aus künftigen Trainingsdaten heraus, ohne die Such-Crawler auszuschließen: Das ist eine legitime Entscheidung, die Sie bewusst treffen sollten.
So korrigieren Sie es
- 1 Machen Sie robots.txt erreichbar und lesbar Die Adresse /robots.txt muss mit 200 und einer Textdatei antworten oder mit 404, wenn die Datei nicht existiert. Beheben Sie jeden Fehler 5xx oder 429 und auch eine HTML-Seite, die stattdessen ausgeliefert wird. Eine Firewall oder ein CDN kann KI-Crawler sperren, ohne dass robots.txt beteiligt ist: Prüfen Sie deren Einstellungen. Bei einer Challenge-Seite kann iPand kein Ergebnis feststellen.
- 2 Öffnen Sie die Seite für Such- und Abruf-Crawler Entfernen Sie in den Gruppen User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User oder MistralAI-User sowie in der Gruppe * die Disallow-Regeln, die die Seite abdecken. Ein Crawler ohne eigene Gruppe folgt der Gruppe *: Es genügt, ihn dort nicht zu sperren. OpenAI gibt an, dass eine Änderung an robots.txt nach etwa 24 Stunden berücksichtigt wird.
- 3 Entscheiden Sie über die Trainings-Crawler GPTBot, ClaudeBot, CCBot, Applebot-Extended und Meta-ExternalAgent sammeln Seiten, um Modelle zu trainieren. Lassen Sie sie zu, fließen Ihre Texte in diese Daten ein; sperren Sie sie, verlangen Sie, dass Ihre Texte dort nicht mehr verwendet werden, ohne Auswirkung auf die Such-Crawler. Google-Extended ist die Ausnahme: Es ist kein Crawler, sondern ein Token, das die Crawler von Google lesen, und steuert sowohl das Training als auch die Fundierung der Antworten von Gemini. Wenn Sie es sperren, verschwindet Ihre Website weder aus der Google-Suche noch aus den AI Overviews, die von Googlebot abhängen.
- 4 Korrigieren oder entfernen Sie llms.txt llms.txt ist ein Vorschlag (llmstxt.org), kein Standard: eine Markdown-Datei im Stammverzeichnis der Website, die mit einer Überschrift # mit dem Namen der Website beginnt, gefolgt von Links zu Ihren wichtigsten Seiten. Falls es sie gibt, muss sie mit 200 als Text antworten, nicht als HTML. Fehlt sie (404 oder 410), wird das nicht gezählt, und diese Prüfung wiegt wenig.
- 5 Lassen Sie iPandBot die Seite analysieren iPand liest Ihre Seiten mit einem eigenen Crawler, iPandBot (User-Agent iPandBot/1.0 (+https://ipand.io)). Er befolgt eine Disallow-Regel, die in einer Gruppe steht, die ihn nennt, User-agent: iPandBot, und die die Seite abdeckt: Die Analyse bricht dann ab, und die Seite wird nicht analysiert. Eine Gruppe User-agent: * hält ihn nicht auf, denn die Analyse beantragt der Inhaber der Website.
Fazit
Ein gesperrter Such-Crawler bedeutet einen KI-Assistenten, der Ihre Seite nicht zitieren kann. Sperren Sie nur, was Sie bewusst sperren wollen, und sorgen Sie dafür, dass robots.txt fehlerfrei antwortet.
