Je backlinks tellen niet als Cloudflare Googlebot buitensluit

Een backlink telt pas als Google beide kanten kan ophalen: de pagina waar de link op staat én jouw pagina. Sluit je firewall Googlebot buiten, dan blijft alles wat je aan links hebt uitgegeven onzichtbaar. Deze week gingen er twee gevallen rond waarin precies dat gebeurde, en de oorzaak was één instelling in Cloudflare.

Wat er deze week gebeurde

SEO-consultant Jonathan Bird werd erbij gehaald door een bedrijf waarvan het verkeer plotseling stilviel. De IT-partij had in Cloudflare de crawl control aangezet met de instelling "alle bots blokkeren". Dat leek een nette beveiligingsmaatregel. In de praktijk kwam Googlebot er twee weken niet meer in: de organische posities verdwenen, de Merchant Center-listings verdwenen, en Google Ads bleef in de tussentijd gewoon draaien en factureren. Het herstel duurde daarna nog weken.

Brodie Clark deelde een tweede geval. Daar liep een online marktplaats zo vol met botverkeer dat de servers het niet trokken; het team zette een blokkade op de firewall om de site overeind te houden. De grafiek die volgde was niet te onderscheiden van een core update, maar er was geen update. Er stond een regel in de weg.

Barry Schwartz zette beide voorbeelden op 13 augustus 2026 naast elkaar met de opmerking dat hij dit veel te vaak voorbij ziet komen. Dat klopt met wat wij zien: het is geen zeldzame ramp, het is een instelling die iemand op een dinsdagmiddag aanzet.

Waarom dit juist voor linkbuilding vervelend is

Een link doet drie dingen achter elkaar. Google haalt de pagina op waar de link staat, ziet daar het anker en de bestemming, en haalt vervolgens jouw pagina op om te bepalen waar die waarde heen gaat. Breekt één van die twee stappen, dan gebeurt er niets — niet later, niet gedeeltelijk.

Dat maakt een crawlblokkade duurder dan hij lijkt. Stel dat je drie maanden lang links laat plaatsen terwijl je eigen site voor Googlebot dicht staat: je betaalt de volle prijs, de plaatsingen staan er echt, en je krijgt er nul voor terug. En omdat de schade eruitziet als een algemene daling, wordt de conclusie meestal "linkbuilding werkt niet bij ons" in plaats van "onze firewall staat verkeerd".

Het geldt trouwens aan beide kanten. Wij komen regelmatig sites tegen die zelf prima te crawlen zijn, maar waarvan een deel van het linkprofiel op pagina's staat die niemand ophaalt. Een link op een pagina die niet geïndexeerd is, is een link die niet bestaat.

De vijf instellingen die Googlebot buitensluiten

Er is niet één knop waar dit misgaat, en dat is precies het probleem. Deze vijf zitten in verschillende schermen en doen allemaal hetzelfde:

De regel op land is de gemeenste van het rijtje. "Alleen Nederland en België toelaten" klinkt logisch als je klanten hier zitten, maar de crawler die je pagina's moet ophalen zit in Amerika. Zo'n regel werkt alleen als je geverifieerde bots er expliciet buiten houdt. Cloudflare herkent Googlebot namelijk zelf en zet hem op een lijst van geverifieerde bots; die uitzondering moet je alleen wel in je regel zetten.

Wij hebben onze eigen 31 sites nagelopen

Zulke verhalen zijn pas nuttig als je ze op je eigen sites controleert. Op 13 augustus hebben we alle 31 domeinen die we zelf beheren door vier controles gehaald: de homepage opvragen met de user-agent van Googlebot, hetzelfde met Bingbot en met de agent achter de live-test in Search Console, de robots.txt nalopen, en de meta-robots en de X-Robots-Tag-header controleren op noindex.

Alle 31 gaven 200. Ter controle daarna nog van de andere kant gekeken, want een 200 zegt alleen iets over dit moment: in Search Console de vertoningen per dag van de laatste drie dagen naast het gemiddelde van de veertien dagen daarvoor. Een crawlblokkade zie je daar terug als een klif. Geen enkele klif.

Alleen deugde onze test niet helemaal. De machine waarop dat script draait staat in een Duits datacenter, en twee van onze sites geven bezoekers van buiten Nederland, België en Duitsland een challenge. Onze test kwam dus van binnen het toegestane gebied en zag daar niets van. Toen we dezelfde twee verzoeken via een proxy in Oekraïne stuurden, met exact dezelfde Googlebot-user-agent, kregen we twee keer een 403.

Die twee sites zijn niet stuk — de echte Googlebot staat op de lijst van geverifieerde bots en valt buiten die regel, en Search Console laat voor allebei duizenden vertoningen per dag zien. Maar onze controle had het verschil tussen veilig en kapot helemaal niet kunnen zien. Hij gaf twee keer groen. Wie dit soort checks doet vanaf zijn eigen kantoor of vanaf een Nederlandse server, meet dus precies het geval dat níét misgaat.

Zo controleer je het bij jezelf

Vier stappen, een kwartier werk:

1. Vraag je homepage op als Googlebot, vanaf een IP buiten je doelland. Een VPN op een Amerikaanse server volstaat. Alles behalve een 200 is een probleem.
2. Draai de live-test in Search Console. URL-inspectie, dan "Live-URL testen". Dit is de enige test die echt vanaf Google komt; staat er "Pagina-fetch mislukt", dan heb je je antwoord. Hoe je de rest van dat scherm leest staat in onze Search Console-gids.
3. Lees je robots.txt van boven naar beneden. Cloudflare plakt zijn eigen blok vóór het jouwe, dus wat jij ooit hebt neergezet is niet meer het hele bestand.
4. Loop je firewall-regels langs op landen en op "alle bots". Zoek naar regels zonder uitzondering voor geverifieerde bots — die uitzondering hoort in elke regel op land te staan.

De losse controle die je meteen kunt draaien:

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  https://jouwsite.nl/

Wil je begrijpen wat er ná het ophalen gebeurt — waarom een pagina wel gecrawld maar niet geïndexeerd wordt — lees dan crawlability en indexability.

En de pagina waar je link op staat

Dezelfde controle is de moeite waard voor de pagina's waar je backlinks op staan. Je hoeft daar geen firewall voor in te kunnen: zoek de exacte URL van de pagina in Google. Komt hij niet naar boven op zijn eigen titel, dan is hij niet geïndexeerd en geeft je link op dat moment niets door. Bij een nieuwe plaatsing is een paar weken geduld normaal; staat een pagina na twee maanden nog nergens, dan is er iets anders aan de hand.

Bij onze eigen plaatsingen controleren we dit standaard, en het is precies de reden dat we liever op sites publiceren die zelf verkeer krijgen dan op verzamelpagina's. Wat er in de catalogus staat, is doorlopend gecontroleerd op indexatie.

De gouden regel

Elke beveiligingsmaatregel die je aanzet, zet je ook aan voor Googlebot. Er bestaat geen knop met "wel de rotzooi, niet de zoekmachines" — dat onderscheid moet in je regel staan, en je moet het van buiten je eigen land controleren. Zet er een vaste gewoonte van: na elke wijziging aan je firewall diezelfde dag nog even die 200 opvragen. Dat kost een minuut en scheelt in het slechtste geval een kwartaal aan linkbudget.

Bronnen

• Search Engine Roundtable — Misconfiguring Cloudflare Can Hurt Your SEO Badly, 13 augustus 2026, met de voorbeelden van Jonathan Bird en Brodie Clark
• Cloudflare over AI Crawl Control — waar je per crawler toestaat of blokkeert
• Google over het verifiëren van Googlebot — inclusief de gepubliceerde IP-reeksen
• Eigen meting over 31 domeinen, 13 augustus 2026