Google's goto-links maken je rank tracker blind voor URL's

Op 27 augustus draaide ik mijn eigen SERP-script over een zoekwoord waarvan ik het antwoord uit mijn hoofd ken. "Diamond painting kopen". Mijn eigen shop staat daar bovenaan.

Het script gaf dit terug:

"results": []

Nul resultaten. Terwijl de zoekpagina er gewoon stond, tien webshops onder elkaar, mijn eigen site bovenaan. Het script keek naar precies dezelfde pagina als ik en zag niets.

Update, 27 augustus, twee keer bijgewerkt. Eerst: het pad is terug. Google draaide niets terug, er bleek een omweg te zijn. Ik heb hem getest op google.nl en google.it en hij werkt. Meteen naar dat stuk. Daarna kwam DataForSEO met cijfers over de uitrol, en die laten zien dat dit niet in augustus begon maar op 2 juli, in de AI Overviews.

Tien van de tien treffers waren geen link meer

De oorzaak stond diezelfde dag in het nieuws. Google rolt google.com/goto uit: elke link in de zoekresultaten wijst nu eerst naar Google zelf, en Google stuurt je daarna door naar de site. Barry Schwartz van Search Engine Roundtable kreeg op 26 augustus bevestiging van een woordvoerder: "We have a long history of deploying technical measures against evolving forms of abuse." Derek Perkins van rank tracker Nozzle meet bijna 100 procent uitrol over meerdere providers.

Dat is Amerikaans nieuws. Wat er nog nergens stond: of Nederland er ook in zit. Dus heb ik het gemeten. Op google.nl, met een schone browsercontext en personalisatie uit, waren tien van de tien organische treffers een goto-link. Zo ziet er zo een uit, ingekort:

https://www.google.nl/goto?url=CAESnwEB6zswFTifNAkWQ2PUjPnyhdrRqP39IInDAtAF...

Vroeger stond daar gewoon https://www.diamondpaintingwinkel.com/. Nu staat er een blok versleutelde tekens waar jij niets uit kunt lezen. Google wel.

Het domein staat er nog, het pad is weg

Er is één ding dat Google niet heeft dichtgezet, en dat redt de halve meetwereld. Onder de titel van elk resultaat staat nog steeds de zichtbare webadres-regel:

https://www.xenos.nl › Hobby › Knutselen

Daar staat het echte domein. Dus welk merk op plek drie staat, kun je nog gewoon aflezen. Maar het stukje achter het domein is afgekort, soms vertaald, en regelmatig helemaal weggelaten. Google toont daar een broodkruimel, geen adres.

Dat was vanochtend de hele impact in één zin: meten op domeinniveau werkt nog, meten op URL-niveau is voorbij. Die tweede helft klopt sinds vanmiddag niet meer. Het pad is nog op te halen, alleen niet meer op de plek waar je het zoekt. Eerst het probleem, want als de omweg dichtgaat is dit weer het verhaal.

Voor wie alleen wil weten of hij stijgt of daalt, verandert er weinig. Voor iedereen die wil weten wélke pagina rankt, en dat is precies wat je nodig hebt bij content-clusters, cannibalisatie of het beoordelen van een linkbuilding-campagne, is de externe tool zojuist een stap dommer geworden. Search Console blijft dat wel weten, want dat is Google's eigen data.

Zet de zoekpagina in het Latijn en het pad staat er weer

Natzir Turrado, technisch SEO uit Spanje, postte de omweg op 27 augustus. Hij is bijna te dom om waar te zijn: vraag de zoekpagina op in een taal die geen enkele website spreekt. Latijn.

https://www.google.nl/search?q=diamond+painting+kopen&hl=la

Google denkt dan dat je de Nederlandse resultaten niet kunt lezen, en hangt onder elke treffer een "Vertaal deze pagina"-link. In die link moet het adres staan van de pagina die vertaald moet worden. Leesbaar, want de vertaler moet er zelf ook heen:

https://translate.google.com/translate?u=https://www.xenos.nl/hobby/knutselen/diamond-paintings&sl=nl&tl=la

Daar staat hij weer. Volledig, met pad, dezelfde pagina waar die versleutelde goto-link je heen zou sturen. Google sluit de voordeur en laat het keukenraam open.

Ik heb het meteen gemeten, op precies het zoekwoord van vanochtend. Tien van de tien treffers gaven een exacte URL terug. Toen ik die tien daarna opvroeg gaven er negen een gewone 200; de tiende was action.com, en dat was een botblokkade van action zelf, geen fout adres. Op google.it, zoekwoord "diamond painting", kwamen er acht van de negen terug. De ene die miste was een forumblok zonder zichtbare adresregel.

De taalinstelling van je browser doet hier niks

Natzir schrijft erbij dat scrapers hun Accept-Language-header moeten omdraaien, de taalkop die je browser bij elk verzoek meestuurt. Bij mij deed die precies niets. Nederlandse zoekpagina ophalen met een Latijnse taalkop: nul vertaallinks. Het is de hl in het webadres die telt, niet wat je browser zegt te spreken. Klein verschil, en net groot genoeg om te denken dat de hele truc niet werkt.

In het Latijn klopt de volgorde niet meer

Hier sloopt je je rapportage mee, dus lees dit even voor je iets ombouwt. hl=la verandert niet alleen de knoppen om de resultaten heen. Het verandert de resultaten zelf. Op google.nl kreeg ik dezelfde tien domeinen terug, maar in een andere volgorde: één en twee wisselden, xenos zakte van drie naar zes. Op google.it stond er zelfs een domein in de top tien dat in de Italiaanse versie helemaal niet meedeed.

Alles in het Latijn opvragen en klaar zijn gaat dus niet. Je hebt twee zoekopdrachten nodig. Eén in de echte taal, daar komen de posities uit. Eén in het Latijn, daar komen de adressen uit. Die twee koppel je aan elkaar op de titel van het resultaat. Zo heb ik mijn eigen script vanmiddag omgebouwd, en nu krijgen alle tien de treffers weer een exacte URL terwijl de volgorde nog gewoon van de Nederlandse zoekpagina komt.

Gratis is dat niet. Twee zoekopdrachten per zoekwoord betekent twee keer zo snel tegen Google's captcha aanlopen. Bij mij ging het aantal zoekwoorden dat ik achter elkaar kan draaien van ongeveer 35 naar ongeveer 17.

Dit gat gaat dicht, en dat zegt genoeg over het slot

Ik ga niet doen alsof dit een overwinning is. Google kan die vertaallink net zo makkelijk door dezelfde goto-molen halen als de rest, en nu de omweg rondgaat op X is dat een kwestie van weken. Wie hier zijn meting op bouwt, bouwt op iets tijdelijks.

Maar er zit een pijnlijk kantje aan, en dat is voor mijn eigen kant net zo goed. Google zet een maatregel neer tegen scrapers, en binnen een dag loopt een halve industrie er via de vertaalknop omheen. Dat is geen slot, dat is een drempel. Voor de partij die dit echt op schaal doet is een drempel een rekensommetje. Voor de marketeer met een tool van veertig euro is het gewoon een week verkeerde cijfers. Precies de omgekeerde volgorde van wie je zou willen raken.

Een kapotte tool meldt geen storing, die meldt een crash

Hier zit voor mij de echte les, en die gaat verder dan dit ene nieuwtje.

Mijn script crashte niet. Het gaf geen foutmelding, geen waarschuwing, geen rood. Het gaf een keurige lege lijst terug en de melding "geen organische resultaten gevonden". Alles zag er gezond uit. Had ik het niet toevallig met de hand nagekeken, dan had ik gedacht dat de zoekpagina leeg was.

Reken dat nu door naar een betaalde rank tracker die dezelfde fout maakt. Die rapporteert geen storing. Die rapporteert dat je niet meer in de top 100 staat. En in een grafiek ziet dat er exact hetzelfde uit als een echte klap van een core update.

Dus als je de komende weken een onverklaarbare duikeling ziet in je tool, is de eerste vraag niet wat je fout deed. De eerste vraag is of je tool nog kan lezen. Leg de grafiek naast Search Console. Blijven de vertoningen daar gewoon vlak, dan zit het probleem in de meting, niet in je site.

Onmogelijk is het niet, alleen duur

Ik wil dit ook niet groter maken dan het is, want dat gebeurt nu overal. Die goto-links zijn niet onkraakbaar. Je kunt ze gewoon volgen: klik erop, kijk waar je uitkomt, klaar. Perkins zegt het zelf ook, en hij bouwt zo'n tool.

Het punt is de rekensom. Één zoekpagina heeft al snel honderden links. Als je die stuk voor stuk moet aanklikken om te zien waar ze heen gaan, doe je honderden keer zoveel werk voor dezelfde regel data, en je doet dat vanaf IP-adressen die Google graag wil herkennen. Dat is de bedoeling. Het hoeft niet onmogelijk te zijn om te werken, het hoeft alleen duurder te zijn dan het opbrengt.

Wat dat betekent voor de prijs van je SEO-abonnement, weet ik niet. Wat ik wel weet: die kosten worden ergens betaald, en dat ben jij.

En ja, wij zijn hier zelf de scraper

Nu het ongemakkelijke deel, want ik zit aan de verkeerde kant van dit verhaal.

De hele SEO-industrie, deze winkel incluis, leunt op data die van Google is geplukt zonder dat Google die wilde geven. Elke rank tracker, elke SERP-analyse, elke concurrentiescan is in de kern iemand die een pagina ophaalt die niet voor een robot bedoeld was. Wij noemen dat marktonderzoek. Google noemt het abuse. Op de feiten heeft Google gewoon gelijk.

En het wringt nog een tandje verder. In diezelfde SEO-wereld klaagt iedereen al twee jaar over AI-bots die onze sites leegtrekken zonder een klik terug te geven. Dat vinden we diefstal. Maar Google die zíjn resultaten afschermt tegen precies hetzelfde gedrag, dat vinden we ineens machtsmisbruik. Dat kan niet allebei.

Waar ik het niet mee eens ben, is de uitvoering. Google zet dit stil aan, zonder aankondiging, en de partij die het hardst geraakt wordt is niet de AI-gigant met een scraping-budget van miljoenen. Dat is de zzp'er met een tool van veertig euro per maand, die maandag naar een grafiek kijkt die niet meer klopt en niet weet waarom. De grote jongens lossen dit op. Die ene marketeer betaalt de rekening.

Test je eigen tool op één zoekwoord

Dit kost je vijf minuten en het is de moeite waard voor je ergens conclusies aan hangt.

Pak één zoekwoord waarvan je zeker weet welke pagina van je rankt. Niet je homepage, maar een specifiek artikel of een productpagina. Kijk dan in je rank tracker wat daar als bestemming staat.

• Staat de volledige URL er nog, inclusief het pad? Dan volgt je tool de redirects en betaal je daar waarschijnlijk binnenkort voor.
• Staat er alleen nog een domein? Dan leest hij de zichtbare adresregel. Werkt prima, maar je kunt er geen paginaniveau meer op sturen.
• Staat er iets van google.com, of is de regel leeg? Dan is je tool stuk en zijn de cijfers van deze week onbruikbaar.

Bij dat laatste: niet je site aanpassen. Eerst je meting repareren. Mijn eigen script heeft dat vandaag twee keer gehad. Vanochtend haalde ik het domein uit de zichtbare adresregel, met er expliciet bij dat de bestemming een domein was en geen pagina. Vanmiddag kwam de Latijnse omweg erbij en staat de exacte URL er weer. Allebei kostte het minder werk dan je denkt, en allebei scheelde het een verkeerde conclusie.

DataForSEO gaf dezelfde dag antwoord: 99,99 procent

Update, 27 augustus, later op de middag. Terwijl ik hierboven schreef dat de toolbouwers nog moeten kiezen, had een van de grootste data-leveranciers die keuze al gemaakt. DataForSEO, de SERP-API die onder de motorkap van een hoop SEO-tools zit, publiceerde een korte aankondiging: van de zoekpagina's die zij teruggeven bevat nog 0,01 procent minstens één onopgeloste goto-link bij de organische resultaten.

Het organische deel is bij hen dus klaar. Ze schrijven er ook bij dat ze het al hadden opgelost voordat de brede uitrol begon. Dat is een eerlijk antwoord op de vraag die ik hierboven stelde, en het kwam sneller dan ik had verwacht. Als je tool bij DataForSEO inkoopt, staat je URL-kolom waarschijnlijk gewoon nog vol.

Het scherpste cijfer uit die aankondiging gaat niet over organisch

In hetzelfde bericht staan drie andere getallen, en daar werd het voor mij pas echt interessant. Het gaat om het percentage teruggegeven zoekpagina's met minstens één onopgeloste goto-link per onderdeel:

• AI Overviews: 52,26 procent
• Local pack: 25,1 procent
• Featured snippet: 0,39 procent
• Organische resultaten: 0,01 procent

Let op wat dat cijfer precies zegt, want dat gaat gegarandeerd fout in de navertelling. Het is niet "de helft van alle AI Overview-bronnen is onleesbaar". Het is: op ruim de helft van de zoekpagina's mét een AI Overview zit minstens één bronlink die zij niet konden herleiden. DataForSEO waarschuwt daar zelf voor in het bericht. Eén onopgeloste link maakt de hele pagina meetellen.

Ook dan blijft het een groot verschil. Bij organisch praten we over één op de tienduizend, bij AI Overviews over één op de twee. De blinde vlek is dus niet weg, hij is verhuisd. Precies naar het deel van de zoekpagina waar iedereen op dit moment wil weten of hij nog als bron genoemd wordt.

In onze eigen data begon het op 2 juli, en niet bij de gewone resultaten

Dat rijtje kwam me bekend voor, dus ben ik in onze eigen archiefkast gaan kijken. Wij bewaren elke opgehaalde zoekpagina van de afgelopen maanden. Van 2.184 bewaarde pagina's met organische resultaten staan er twaalf met een goto-link in. Die twaalf vertellen een volgorde:

• 2 juli: goto zit alleen in de bronlinks onder de AI Overview. De gewone resultaten eronder zijn nog gewoon leesbaar.
• 10 juli: goto verschijnt in het local pack en in het kennispaneel. De organische lijst nog steeds niet.
• 31 juli en 1 augustus: nu ook de organische resultaten, en dan meteen compleet. Acht van de acht, negen van de negen, tien van de tien.

Dat laatste is geen toeval van ons kleine bakje. Binnen één zoekpagina is het alles of niets, wat er op wijst dat Google dit per zoekopdracht aanzette en niet per resultaat.

Leg die volgorde naast de cijfers van DataForSEO en ze lopen exact gelijk op. Waar goto het eerst kwam, staat nu het hoogste percentage onopgeloste links. Google heeft dit bijna twee maanden getest in de AI Overviews en het local pack voordat de gewone tien blauwe links aan de beurt waren. De uitrol van 26 augustus, waar iedereen over schreef, was het sluitstuk. Niet de start.

Die versleutelde link is echt versleuteld, en dat is te meten

Ik schreef hierboven dat de goto-link niet te decoderen is. Dat was toen een aanname. Inmiddels heb ik het nagerekend op 79 echte goto-links uit ons archief, en het klopt.

Elke link bevat hetzelfde skelet: twee bytes structuur, dan een lengte, dan een versiebyte die bij alle 79 op 1 staat, dan vier vaste bytes die bij alle 79 identiek zijn. Dat laatste is vrijwel zeker een sleutelnummer, zodat Google's eigen servers weten waarmee ze de rest moeten openmaken. En de rest is ruis. Geen letter leesbare tekst, en een willekeurigheid van 6,40 bits per byte, waar echt willekeurige bytes van dezelfde lengte op 6,24 uitkomen. Statistisch is dat niet van toeval te onderscheiden.

Eén ding lekt er wel uit. De links zijn niet allemaal even lang, ze lopen van 77 tot 197 bytes, en die lengte loopt mee met de lengte van het adres dat erin zit. Een korte homepage geeft een korte link, een diep artikel een lange. Je kunt er niet uit lezen wáár je heen gaat, maar wel ruwweg hoe diep de pagina zit.

Praktisch betekent dit: niemand "kraakt" die links, ook DataForSEO niet. Oplossen kan alleen door de link te volgen of door het adres ergens anders vandaan te halen. Precies de twee routes uit dit artikel, en precies de reden dat AI Overviews achterblijven. Daar staat geen zichtbare adresregel onder de titel en hangt geen vertaalknop naast. De omweg die bij de gewone resultaten werkt, bestaat daar niet.

Wij hadden dit zelf twee maanden in huis en zagen het niet

Nu het vervelende deel. Die twaalf zoekpagina's uit ons archief komen niet van DataForSEO, maar van een goedkopere SERP-API die wij voor het snelle werk gebruiken. In die data stond het adresveld gewoon vol met google.com/goto, terwijl het domeinveld ernaast keurig klopte. Vanaf 2 juli. Wij hebben daar tot 27 augustus overheen gekeken.

Dat is exact de fout waar ik hierboven anderen voor waarschuw. Er kwam geen storing, want er kwam antwoord. Het antwoord was alleen onbruikbaar op de plek waar bijna niemand kijkt. En omdat het domeinveld het wél deed, zag elk overzicht dat wij eruit trokken er gezond uit.

Dus als je nu je eigen tool test met de drie regels hierboven, doe er dan één ding bij: kijk niet alleen naar vandaag. Pak een export van begin juli en zoek daarin op "goto". Wij deden dat vanavond voor het eerst, en dat had twee maanden eerder gemoeten.

De keuze ligt bij de toolbouwers, de rekening bij jou

De rest van dit verhaal speelt zich af bij de toolbouwers. Ahrefs, Semrush, Nozzle en de kleinere Nederlandse trackers moeten kiezen: elke link volgen en de kosten opeten, of alleen nog domeinen rapporteren en dat hopelijk eerlijk zeggen. Sinds vanmiddag is er een derde optie die bijna niets kost, zolang hij werkt: de vertaallink meelezen. Bij de organische resultaten is die keuze inmiddels grotendeels gemaakt, en goed ook. Bij de bronlinks onder AI Overviews is hij dat niet, en daar hoor je voorlopig niemand over. Wie over twee weken nog steeds een leeg URL-veld toont, heeft het nieuws niet bijgehouden. Die keuze zie je terug op twee plekken, en op geen van beide staat een persbericht.

De eerste is je factuur. De tweede is de kolom waar vroeger een URL stond. Verdwijnt daar stilletjes het pad uit, dan is de keuze allang gemaakt.

Ondertussen verandert er aan de kant die je wel zelf stuurt helemaal niets. Rankings hangen nog steeds op een pagina die de vraag beantwoordt en op een domein dat Google vertrouwt. Hoe je die tweede opbouwt is geen meetprobleem. Zo kies je backlinks die echt wegen, en op de pagina over backlinks kopen zie je hoe een plaatsing hier werkt.

Het moment om hier opnieuw naar te kijken is de dag dat die vertaallink zelf een goto-link wordt, of de dag dat de AI Overviews van 52 procent naar bijna nul zakken. Vanaf dan is de zichtbare adresregel onder de titel het laatste stukje zoekresultaat dat een mens nog kan lezen.

Deze uitrol begon als test. In juli schreven we er al over toen het nog om losse waarnemingen ging: Google test tracking-URL's in de zoekresultaten. Toen was onduidelijk of het een experiment was. Dat is het nu niet meer.