Wat een crawl-budget is en of jij je daar druk om maakt

Wat crawl-budget betekent voor je site

Crawl-budget is de hoeveelheid tijd en aandacht die Google besteedt aan het doorzoeken van jouw website. Elke keer dat Googlebot langskomt, bekijkt hij een deel van je pagina's en beslist hij hoe vaak hij terugkomt. Bij een site met een paar tientallen pagina's, zoals de meeste sites van coaches, adviseurs en trainers, is dat budget vrijwel nooit het probleem. Google zegt het zelf ook: als je site geen groot aantal snel wijzigende pagina's heeft, of als nieuwe pagina's dezelfde dag nog gecrawld worden, hoef je je met crawl-budget niet bezig te houden. Heb jij een kennisbank met tientallen artikelen in plaats van tienduizenden, dan val je precies in die categorie. Dat scheelt je meteen een hoop onnodige zorgen.

Wanneer het wel relevant wordt

Crawl-budget wordt pas een aandachtspunt bij sites met heel veel pagina's. Google noemt als richtlijn miljoenen pagina's die wekelijks veranderen, of tienduizenden pagina's die dagelijks wijzigen. Denk aan grote webshops met duizenden productpagina's of nieuwssites die continu artikelen publiceren, niet aan de website van een dienstverlener met een kennisbank en een paar diensten. Merk je toch dat je site flink gegroeid is, bijvoorbeeld met veel oude blogs, testpagina's of dubbele varianten van dezelfde pagina? Dan is een SEO-audit een goed startpunt om te zien waar Google vastloopt en welke pagina's alleen maar ruis toevoegen.

Wil je met eigen ogen zien hoe Google jouw site bezoekt? In Google Search Console vind je het Crawl Stats-rapport. Dat rapport laat zien hoeveel verzoeken Google deed, hoe snel je server reageerde en of er problemen waren. Voor de meeste kleine sites zie je daar een rustig, voorspelbaar patroon. Precies wat je wilt.

Wat je zelf kunt checken

Wat je wel altijd kunt doen, is zorgen dat Google je belangrijkste pagina's snel en makkelijk vindt. Een sitemap helpt daarbij. Het is een overzicht van al je pagina's dat je aan Google doorgeeft, zodat nieuwe content sneller gevonden wordt. Zorg dat nieuwe artikelen daarin terechtkomen en dat verwijderde pagina's eruit gaan. Check ook of je per ongeluk geen pagina's blokkeert die je juist wel gevonden wilt hebben, bijvoorbeeld via een verkeerd ingestelde instelling in je website-tool. Kleine dingen, maar ze schelen echt in hoe snel en volledig Google je site doorloopt.

Precies dat overzicht is waar dibbi voor zorgt. Elk artikel dat je schrijft komt automatisch op de juiste plek in je kennisbank terecht, netjes gestructureerd en opgenomen in de sitemap, zodat zoekmachines je pagina's blijven vinden zonder dat jij daar zelf induikt. Zo blijft je site technisch op orde, ook als je zelf nooit naar crawl-budget omkijkt. Lees op zo werkt het hoe dibbi dat precies regelt.