Crawlbudget: elke site start bij Google conservatief

Google heeft op 22 juli 2026 zijn documentatie over crawlbudget herschreven, en er staat één zin in die veel verklaart: "Every site starts with the same default, conservative crawl capacity limit." Elke site begint dus bij hetzelfde behoudende plafond. Barry Schwartz signaleerde de update op Search Engine Roundtable. Groeit jouw site daar niet uit, dan is dat geen pech – dan is er simpelweg te weinig vraag.

Google noemt het zelf een schrijfklus, geen beleidswijziging

Google paste de documentatie aan voor duidelijkheid, consistente terminologie en betere leesbaarheid – termen als crawl capacity limit worden nu overal op dezelfde manier gebruikt. Er is dus niets veranderd aan hóe Google crawlt.

Toch is de nieuwe tekst scherper dan wat er stond. Google voegt eraan toe dat het plafond vanzelf omhooggaat als er vraag is om meer te crawlen én de site gezond blijft. Twee voorwaarden, allebei nodig. Een razendsnelle server zonder vraag levert je niets op, en veel vraag op een wankele server ook niet.

Alle crawlers delen hetzelfde plafond

Dit is het stukje dat bij ons het meest is blijven hangen. Google schrijft nu expliciet dat de crawl capacity limit gedeeld wordt over alle crawlers, en dat hoge vraag van de ene crawler de beschikbare capaciteit voor de andere verkleint.

Zolang Googlebot zo'n beetje de enige bezoeker was die meetelde, was dat een voetnoot. Met crawlers die content ophalen voor AI-antwoorden is het dat niet meer. Wat de ene bot bij jou weghaalt, gaat van hetzelfde plafond af als de crawls voor de gewone index. Google zegt er niet bij welke crawlers precies onder die gedeelde limiet vallen, en ook niet dat het plafond in de praktijk krap zit. Doe daar dus geen dramatische aannames over. Maar als je logs laat zien dat bots een flink deel van je serverruimte opeten, weet je nu dat dat ergens vandaan komt.

Waar de vraag vandaan komt

Google noemt vier factoren die de crawlvraag bepalen: de omvang van je site, hoe vaak je bijwerkt, de kwaliteit van je pagina's, en je relevantie vergeleken met andere sites.

Die laatste is de lastigste, want het is de enige die niet over jouw server gaat. Relevantie ten opzichte van andere sites bepaal je niet zelf – dat is een oordeel dat buiten je site tot stand komt. Het verklaart wel waarom twee technisch identieke webshops totaal verschillend gecrawld worden.

De knoppen die je wél hebt

Google noemt er twee concreet. Verbeter je laadsnelheid: snellere serverresponstijden betekenen dat Googlebot binnen hetzelfde tijdsbudget meer pagina's haalt. En ondersteun HTTP-caching met een 304-status. Is een pagina niet gewijzigd sinds de laatste crawl, dan zegt die 304 dat Google de gecachte versie kan hergebruiken – dat scheelt bandbreedte en serverwerk aan beide kanten.

Nu de eerlijke nuance, want die ontbreekt in de meeste stukken hierover: heb je een site van een paar honderd tot een paar duizend URL's, dan is crawlbudget vrijwel nooit je bottleneck. Google zegt dat zelf al jaren. Zie je pagina's blijven hangen op crawled – currently not indexed, dan is de rem kwaliteit, niet capaciteit. Aan die 304-header sleutelen lost dat niet op.

Wat links hier wel en niet doen

De documentatie noemt links nergens als factor voor crawlvraag. Dat moet je niet mooier maken dan het is. Wie beweert dat een backlink je crawlbudget verhoogt, leest iets in dat er niet staat.

Wat externe links wél doen, is ontdekking. Googlebot vindt URL's door links te volgen, en op een verse site met een conservatief startplafond is er weinig anders dat Google een reden geeft om vaker terug te komen. En de factor "relevantie vergeleken met andere sites" is nu precies het terrein waar je linkprofiel meespeelt – hoe zwaar, dat kwantificeert Google nergens.

Praktisch gezien: een nieuwe site, een behoudend startplafond en nul verwijzingen van buitenaf is een trage combinatie. Een handvol relevante plaatsingen uit de catalogus verandert je crawlbudget niet rechtstreeks, maar het geeft Google wel routes naar je pagina's die er anders niet zijn.

Wat ik deze week zou doen

Drie dingen, in deze volgorde. Kijk in je serverlogs hoeveel van je crawlverkeer van Googlebot komt en hoeveel van andere bots – nu weet je tenminste waar je naar kijkt. Check daarna je serverresponstijd op je zwaarste sjablonen. Kijk meteen even of je interne zoekresultaten indexeerbaar zijn – dat is de goedkoopste manier om crawlcapaciteit weg te geven. En laat je niet gek maken: is je site kleiner dan tienduizend URL's, dan ligt je echte winst bij betrouwbare signalen over wat er gewijzigd is en bij de kwaliteit van je pagina's, niet bij crawlbudget.