Przejdź do treści
Zaloguj sięSprawdź widocznośćWypróbuj za darmo
Zaloguj się
Język Polski
Wypróbuj za darmo Sprawdź widoczność

Pozwól robotom AI czytać twoje strony zgodnie z robots.txt

Technika Aktualizacja: 4 paź 2026

Opis

To kryterium odczytuje plik robots.txt twojej witryny tak, jak robią to roboty AI, zgodnie ze standardem RFC 9309. Sprawdza, czy plik odpowiada bez błędu i czy wyszukujące roboty AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot) mogą odczytać stronę, podobnie jak Google-Extended, token, który steruje wykorzystaniem twoich stron przez Gemini, a następnie roboty, które pobierają ją na prośbę użytkownika, roboty treningowe i twój plik llms.txt.

Wystarczy jeden zablokowany robot wyszukujący, by kryterium dostało ocenę „Słaby”. Roboty, które według ich wydawcy ignorują robots.txt, takie jak ChatGPT-User, nie są brane pod uwagę.

Dlaczego to ważne dla AI

Asystent AI cytuje tylko strony, które jego robot zdołał odczytać. Reguła Disallow, robots.txt zwracający błąd lub zbyt restrykcyjna zapora sieciowa mogą wystarczyć, by twoja strona zniknęła z odpowiedzi w ChatGPT, Perplexity czy Claude. Google również zaleca sprawdzenie, czy robots.txt oraz twój CDN lub dostawca hostingu pozwalają na skanowanie.

  • Brak reguły oznacza zgodę: robot bez własnej grupy stosuje grupę User-agent: *, a strona, której nie blokuje żadna reguła, jest dla niego otwarta. Nie trzeba zezwalać każdemu robotowi z osobna.
  • Plik robots.txt, który zwraca błąd 5xx lub 429, potwierdzony przy drugiej próbie, sprawia, że roboty zgodne z RFC 9309 traktują całą witrynę jako zablokowaną. Brak pliku (404) niczego nie blokuje.
  • Zablokowanie robotów treningowych (GPTBot, ClaudeBot, CCBot…) wyklucza twoje strony z przyszłych danych treningowych, ale nie zamyka drogi robotom wyszukującym: to uzasadniony wybór, który warto podjąć świadomie.

Jak to poprawić

  1. 1 Zadbaj, by robots.txt był dostępny i czytelny Adres /robots.txt musi zwracać kod 200 z plikiem tekstowym albo 404, jeśli plik nie istnieje. Usuń każdy błąd 5xx lub 429, a także sytuację, w której zamiast pliku serwowana jest strona HTML. Zapora sieciowa lub CDN może blokować roboty AI z pominięciem robots.txt: sprawdź ich ustawienia. Gdy zamiast strony pojawia się weryfikacja (challenge), iPand nie może wydać oceny.
  2. 2 Otwórz stronę robotom wyszukującym i działającym dla użytkownika W grupach User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User lub MistralAI-User oraz w grupie * usuń reguły Disallow, które obejmują stronę. Robot bez własnej grupy stosuje grupę *: wystarczy nie blokować w niej strony. OpenAI podaje, że zmiana w robots.txt jest uwzględniana po około 24 godzinach.
  3. 3 Zdecyduj w sprawie robotów treningowych GPTBot, ClaudeBot, CCBot, Applebot-Extended i Meta-ExternalAgent zbierają strony do trenowania modeli. Jeśli im na to pozwolisz, twoje teksty trafią do tych danych; jeśli je zablokujesz, zażądasz, by nie były już do tego używane, bez wpływu na roboty wyszukujące. Wyjątkiem jest Google-Extended: to nie robot, lecz token odczytywany przez roboty Google, który steruje jednocześnie trenowaniem i ugruntowaniem (grounding) odpowiedzi Gemini. Jego zablokowanie nie usuwa witryny ani z wyszukiwarki Google, ani z AI Overviews, które zależą od Googlebota.
  4. 4 Popraw lub usuń llms.txt llms.txt to propozycja (llmstxt.org), a nie standard: plik Markdown umieszczony w katalogu głównym witryny, który zaczyna się od nagłówka # z nazwą witryny, a potem zawiera linki do twoich kluczowych stron. Jeśli istnieje, musi zwracać kod 200 jako tekst, a nie HTML. Jego brak (404 lub 410) nie jest brany pod uwagę, a ta kontrola ma niewielką wagę.
  5. 5 Pozwól robotowi iPandBot przeanalizować stronę iPand odczytuje twoje strony własnym robotem, iPandBot (agent użytkownika iPandBot/1.0 (+https://ipand.io)). Robot respektuje regułę Disallow umieszczoną w grupie, która go wymienia, User-agent: iPandBot, i która obejmuje stronę: analiza zostaje wtedy przerwana, a strona nie jest analizowana. Grupa User-agent: * go nie zatrzymuje, bo to właściciel witryny zleca analizę.

Do zapamiętania

Zablokowany robot wyszukujący to asystent AI, który nie może zacytować twojej strony. Blokuj tylko to, co świadomie chcesz zablokować, i utrzymuj robots.txt, który odpowiada bez błędów.

Dowiedz się więcej