Zet de pagina in een XML-sitemap die crawlers zelf vinden
Beschrijving
Dit criterium controleert of je site een XML-sitemap publiceert, of dat bestand geldig is en of de geanalyseerde pagina erin staat. iPand zoekt de sitemap in de Sitemap:-regels van robots.txt, en daarna op de adressen /sitemap.xml en /sitemap_index.xml.
Het bestand moet het formaat van sitemaps.org volgen: maximaal 50.000 adressen en 50 MB ongecomprimeerd. Een sitemapindex wordt één niveau diep gevolgd, tot 10 bestanden van dezelfde site.
Waarom dit belangrijk is voor AI
De sitemap geeft zoekmachines de lijst van pagina’s om te crawlen, ook pagina’s waar weinig links naar verwijzen. Bing benadrukt dat de sitemap een basissignaal blijft om alle pagina’s van een site te laten ontdekken en indexeren, ook voor de antwoorden van Copilot.
- Zonder sitemap ontdekken crawlers een pagina met weinig links ernaartoe, op een grote of nieuwe site, mogelijk pas laat.
- Met een Sitemap:-regel in robots.txt vindt elke crawler het bestand zelf, zonder dat je je bij elke zoekmachine apart hoeft aan te melden.
- Bing leest een opgegeven sitemap meestal minstens één keer per dag opnieuw, en gebruikt de <lastmod>-datums om te kiezen welke pagina’s opnieuw gecrawld worden.
Zo los je het op
- 1 Publiceer een XML-sitemap De meeste CMS’en en SEO-plug-ins maken er een voor je aan: zet die optie aan. Anders maak je een XML-bestand in UTF-8 in het formaat van sitemaps.org: een element <urlset>, daarna een element <url> per pagina, met het volledige adres in <loc>.
- 2 Vermeld de sitemap in robots.txt Voeg aan robots.txt een regel Sitemap: toe, gevolgd door het volledige adres van het bestand, bijvoorbeeld Sitemap: https://www.voorbeeld.nl/sitemap.xml. Je kunt er meerdere opgeven. Dien de sitemap ook in bij Search Console en Bing Webmaster Tools, zodat je kunt volgen hoe die gelezen wordt.
- 3 Blijf binnen de grenzen van het formaat Een bestand mag niet meer dan 50.000 adressen bevatten, ongecomprimeerd niet groter zijn dan 50 MB en geen DOCTYPE-declaratie bevatten. Heb je meer, verdeel de adressen dan over meerdere sitemaps, samengebracht in een index (<sitemapindex>). iPand leest één indexniveau en maximaal 10 sitemaps van dezelfde site: zet je belangrijke pagina’s in de eerste.
- 4 Voeg de pagina toe aan de sitemap Vermeld het adres van de pagina precies zoals het gepubliceerd is: hetzelfde protocol (https), hetzelfde domein (met of zonder www) en hetzelfde pad. Zet er alleen pagina’s in die 200 teruggeven en die je geïndexeerd wilt zien, dus hun canonieke adressen.
In het kort
Een geldige sitemap die in robots.txt vermeld staat, wijst crawlers op al je belangrijke pagina’s. Controleer of de geanalyseerde pagina erin staat, met het juiste adres.
