Lasciare che i crawler AI leggano le tue pagine secondo robots.txt
Descrizione
Questo criterio legge il file robots.txt del tuo sito come lo leggono i crawler AI, secondo lo standard RFC 9309. Verifica che il file risponda senza errori e che i crawler di ricerca delle AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot) possano leggere la pagina, così come Google-Extended, il token che regola l’uso delle tue pagine da parte di Gemini; poi i crawler che la consultano per conto di un utente, i crawler di addestramento e il tuo file llms.txt.
Basta un solo crawler di ricerca bloccato perché il criterio sia negativo. I crawler che ignorano robots.txt secondo il loro editore, come ChatGPT-User, non vengono contati.
Perché è importante per le AI
Un assistente cita solo le pagine che il suo crawler è riuscito a leggere. Una regola Disallow, un robots.txt in errore o un firewall troppo rigido possono bastare a togliere la tua pagina dalle risposte di ChatGPT, di Perplexity o di Claude. Anche Google consiglia di verificare che la scansione sia consentita da robots.txt e dal tuo CDN o dal tuo hosting.
- Il silenzio vale come permesso: un crawler senza un gruppo proprio segue il gruppo User-agent: *, e una pagina che nessuna regola vieta gli è aperta. Non serve autorizzare ogni crawler per nome.
- Un robots.txt che risponde con un errore 5xx o 429, confermato da un secondo tentativo, fa considerare vietato l’intero sito ai crawler che seguono RFC 9309. Un file assente (404) non vieta nulla.
- Bloccare i crawler di addestramento (GPTBot, ClaudeBot, CCBot…) esclude le tue pagine dai futuri dati di addestramento senza chiudere la porta ai crawler di ricerca: è una scelta legittima, da fare con cognizione di causa.
Come correggere
- 1 Rendi robots.txt raggiungibile e leggibile L’indirizzo /robots.txt deve rispondere 200 con un file di testo, oppure 404 se il file non esiste. Correggi ogni errore 5xx o 429, o una pagina HTML servita al suo posto. Un firewall o un CDN può bloccare i crawler AI senza passare da robots.txt: controlla le sue impostazioni. Davanti a una pagina di verifica (challenge), iPand non può concludere.
- 2 Apri la pagina ai crawler di ricerca e di consultazione Nei gruppi User-agent: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended, Claude-User o MistralAI-User, e nel gruppo *, togli le regole Disallow che coprono la pagina. Un crawler senza un gruppo proprio segue il gruppo *: basta non vietarlo. OpenAI indica che una modifica di robots.txt viene recepita in circa 24 ore.
- 3 Decidi per i crawler di addestramento GPTBot, ClaudeBot, CCBot, Applebot-Extended e Meta-ExternalAgent raccolgono pagine per addestrare i modelli. Autorizzarli lascia entrare i tuoi testi in questi dati; bloccarli chiede che non vengano più usati, senza effetto sui crawler di ricerca. Google-Extended fa eccezione: non è un crawler ma un token, letto dai crawler di Google, che controlla sia l’addestramento sia il grounding delle risposte di Gemini. Bloccarlo non toglie il tuo sito dalla Ricerca Google né dagli AI Overviews, che dipendono da Googlebot.
- 4 Correggi o togli llms.txt llms.txt è una proposta (llmstxt.org), non uno standard: un file Markdown nella radice del sito, che inizia con un titolo # con il nome del sito, seguito da link alle tue pagine chiave. Se esiste, deve rispondere 200 come testo, non come HTML. La sua assenza (404 o 410) non viene contata, e questo controllo pesa poco.
- 5 Lascia che iPandBot analizzi la pagina iPand legge le tue pagine con il proprio crawler, iPandBot (user agent iPandBot/1.0 (+https://ipand.io)). Rispetta una regola Disallow posta in un gruppo che lo nomina, User-agent: iPandBot, e che copre la pagina: l’analisi allora si ferma e la pagina non viene analizzata. Un gruppo User-agent: * non lo ferma, perché è il proprietario del sito a richiedere l’analisi.
In breve
Un crawler di ricerca bloccato è un’AI che non può citare la tua pagina. Blocca solo ciò che hai scelto di bloccare, e mantieni un robots.txt che risponde senza errori.
