Ir para o conteúdo
EntrarTestar minha visibilidadeTestar grátis
Entrar
Idioma Português (Brasil)
Testar grátis Testar minha visibilidade

Deixar os rastreadores de IA lerem as suas páginas segundo o robots.txt

Técnica Atualizado em 4 de out. de 2026

Descrição

Este critério lê o arquivo robots.txt do seu site como os rastreadores de IA fazem, segundo a norma RFC 9309. Ele verifica se o arquivo responde sem erro e se os rastreadores de busca das IAs (OAI-SearchBot, PerplexityBot, Claude-SearchBot) podem ler a página, assim como o Google-Extended, o token que controla o uso das suas páginas pelo Gemini; depois verifica os rastreadores que a consultam em nome de um usuário, os rastreadores de treinamento e o seu arquivo llms.txt.

Um único rastreador de busca bloqueado deixa o critério com avaliação ruim. Os rastreadores que ignoram o robots.txt segundo a própria empresa responsável, como o ChatGPT-User, não são contados.

Por que isso importa para as IAs

Um assistente só cita as páginas que o rastreador dele conseguiu ler. Uma regra Disallow, um robots.txt com erro ou um firewall rígido demais pode bastar para tirar a sua página das respostas do ChatGPT, do Perplexity ou do Claude. O Google também recomenda verificar se o rastreamento é permitido pelo robots.txt e pelo seu CDN ou pela sua hospedagem.

  • O silêncio vale como permissão: um rastreador sem grupo próprio segue o grupo User-agent: *, e uma página que nenhuma regra proíbe está aberta para ele. Não é preciso autorizar cada rastreador pelo nome.
  • Um robots.txt que responde com um erro 5xx ou 429, confirmado por uma segunda tentativa, faz os rastreadores que seguem a RFC 9309 considerarem todo o site proibido. Um arquivo ausente (404) não proíbe nada.
  • Bloquear os rastreadores de treinamento (GPTBot, ClaudeBot, CCBot…) afasta as suas páginas dos futuros dados de treinamento sem fechar a porta para os rastreadores de busca: é uma escolha legítima, que deve ser feita com conhecimento de causa.

Como corrigir

  1. 1 Deixe o robots.txt acessível e legível O endereço /robots.txt deve responder 200 com um arquivo de texto, ou 404 se o arquivo não existir. Corrija qualquer erro 5xx ou 429, ou uma página HTML servida no lugar dele. Um firewall ou um CDN pode bloquear os rastreadores de IA sem passar pelo robots.txt: verifique as configurações dele. Diante de uma página de desafio, o iPand não consegue concluir.
  2. 2 Abra a página para os rastreadores de busca e de consulta Nos grupos User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User ou MistralAI-User, e no grupo *, remova as regras Disallow que cobrem a página. Um rastreador sem grupo próprio segue o grupo *: basta não proibir esse rastreador. A OpenAI indica que uma mudança no robots.txt é levada em conta em cerca de 24 horas.
  3. 3 Decida sobre os rastreadores de treinamento GPTBot, ClaudeBot, CCBot, Applebot-Extended e Meta-ExternalAgent coletam páginas para treinar os modelos. Autorizar esses rastreadores deixa os seus textos entrarem nesses dados; bloqueá-los pede que os textos não sejam mais usados ali, sem efeito sobre os rastreadores de busca. O Google-Extended é a exceção: não é um rastreador, mas um token lido pelos rastreadores do Google, que controla ao mesmo tempo o treinamento e o embasamento das respostas do Gemini. Bloqueá-lo não tira o seu site da Pesquisa Google nem dos AI Overviews, que dependem do Googlebot.
  4. 4 Corrija ou remova o llms.txt O llms.txt é uma proposta (llmstxt.org), não uma norma: um arquivo Markdown colocado na raiz do site, que começa com um título # com o nome do site, seguido de links para as suas páginas principais. Se ele existir, deve responder 200 como texto, não como HTML. A ausência dele (404 ou 410) não é contada, e esta verificação pesa pouco.
  5. 5 Deixe o iPandBot analisar a página O iPand lê as suas páginas com o próprio rastreador, o iPandBot (agente de usuário iPandBot/1.0 (+https://ipand.io)). Ele respeita uma regra Disallow colocada em um grupo que o nomeia, User-agent: iPandBot, e que cobre a página: a análise então para e a página não é analisada. Um grupo User-agent: * não o impede, porque é o proprietário do site que pede a análise.

Pontos-chave

Um rastreador de busca bloqueado é uma IA que não pode citar a sua página. Bloqueie apenas o que você escolheu bloquear e mantenha um robots.txt que responda sem erro.

Para saber mais