ChatGPT Search: we maten 1.858 linksites

Cloudflare en OpenAI deelden op 15 oktober de eerste resultaten van hun proef voor ChatGPT Search. Met signalen uit ongeveer 1 procent van het Cloudflare-netwerk vond de zoekcrawler van OpenAI sinds juli honderden miljoenen pagina's die hij nog niet kende, schrijft Cloudflare. Wij hebben een dag later 1.858 sites uit onze eigen catalogus nagemeten. Kan de zoekbot van ChatGPT erbij, en geven die sites de signalen waar Cloudflare op let?

De uitkomst in het kort: robots.txt is zelden het probleem. Van de 1.239 sites die we konden meten, sluiten er 16 de zoekbot van ChatGPT uit. Alleen zijn dat vooral grote nieuws- en beurstitels. Het grootste gat zit ergens anders: bij vier op de tien sites vonden we in het eerste sitemapbestand geen datums waaraan een crawler ziet wat er veranderd is, of helemaal geen sitemap.

Wat geeft Cloudflare aan OpenAI door?

Volgens de blog van Cloudflare gaat het om gegevens óver pagina's, niet om de pagina's zelf. Cloudflare ziet welke adressen bestaan, welke veranderen en welke alleen door bots worden opgevraagd. Daarmee kiest de crawler van OpenAI gerichter wat hij ophaalt. Welke pagina's daarna in ChatGPT verschijnen, beslist OpenAI zelf.

Drie soorten adressen haalt Cloudflare er volgens de blog uit, nog voor de crawler ze ophaalt:

• adressen die niet bestaan, maar die bots steeds opnieuw opvragen;
• adressen op sites die elk onbekend adres naar de homepage doorsturen;
• adressen die naar een kopie van dezelfde inhoud leiden.

Daarnaast test Cloudflare een signaal voor schadelijke pagina's, zoals een nep-inlogformulier dat een aanvaller op een gewone site heeft gezet. Dan valt alleen die ene pagina af, niet het hele domein. Cloudflare schrijft er ook bij dat een signaal over een pagina geen toestemming geeft om hem op te halen, en dat de proef geen inhoud deelt voor het trainen van modellen.

De proef loopt sinds juli op een groep deelnemende sites. Hoe die zijn gekozen en of je je kunt aanmelden, zeggen Cloudflare en OpenAI niet: de blog en het persbericht van 8 juli noemen geen manier om mee te doen. Wat je wel zelf regelt: of de zoekbot van OpenAI bij je site kan, en of je site eerlijke signalen geeft.

Drie bots van OpenAI, en maar één bepaalt ChatGPT Search

OpenAI gebruikt meerdere crawlers. Wie ze door elkaar haalt, blokkeert snel de verkeerde. Dit staat in de documentatie van OpenAI:

Je kunt dus GPTBot weren en OAI-SearchBot gewoon toelaten. Dat is ook de lijn van Cloudflare zelf. Cloudflare kondigde aan dat het vanaf 15 september op nieuwe domeinen training- en agentbots standaard weghoudt van pagina's met advertenties, en zoekcrawlers wel doorlaat (Cloudflare, juli 2026).

Let daarbij op Googlebot. In dezelfde aankondiging schrijft Cloudflare dat klanten die AI-training blokkeren, ook crawlers tegenhouden die zoeken en trainen combineren, en noemt Googlebot, Applebot en Bingbot bij naam. Wat dat met je links doet, lees je in onze uitleg over Cloudflare die Googlebot buitensluit.

1.858 linksites gemeten: robots.txt is zelden de boosdoener

Op 16 oktober 2026 hebben we alle 1.858 sites gemeten die toen in de catalogus van BacklinksWinkel stonden. Daarvan komen er 292 uit ons eigen netwerk en 1.566 van partners. Per site deden we vier dingen:

1. robots.txt ophalen en per bot nagaan of de homepage open staat;
2. de homepage opvragen als gewone browser en met de user-agent van OAI-SearchBot;
3. een adres opvragen dat niet bestaat, en kijken of er een echte 404 terugkomt;
4. de sitemap openen en kijken of er lastmod-datums in staan.

619 sites gaven onze server een 403, een andere fout of helemaal geen antwoord, ook toen we het later langzamer opnieuw probeerden. Die hebben we niet beoordeeld. Vaak houdt een hostingfirewall verkeer uit datacenters tegen. Voor een gewone bezoeker of een geverifieerde crawler kan dat anders uitpakken. De cijfers hieronder gaan dus over 1.239 sites.

De sitemap is dus de zwakke plek. Juist dat soort veranderingssignaal wil Cloudflare beter maken, want een crawler die een ongewijzigde pagina opnieuw ophaalt, kost de site serverwerk zonder dat er iets nieuws te vinden is. Een kanttekening bij ons eigen cijfer: we keken alleen in het eerste sitemapbestand. Een site die de datums pas in een onderliggende sitemap zet, telt hier onterecht als zonder.

Twee sites gaven de zoekbot van OpenAI een 402 terug, de code voor "betaling vereist". Cloudflare gebruikt die code voor zijn betaalmodel voor crawlers. Of dat hier speelt, konden we van buitenaf niet vaststellen.

De zestien blokkers zijn vooral nieuws- en beurssites

Wie sluit de zoekbot van ChatGPT uit? Vooral nieuws- en beurstitels, zoals nrc.nl, rd.nl, iex.nl en beurs.nl, plus een paar Duitse kranten. Vijftien van de zestien komen bij ons binnen via één partner. In de robots.txt van nrc.nl staat OAI-SearchBot in hetzelfde rijtje als GPTBot, ChatGPT-User en tientallen andere AI-bots. Googlebot mag op al die sites gewoon naar binnen.

Googlebot mag die pagina's ophalen, dus voor Google veranderen deze regels niets. Wat een link daar waard is, hangt van meer af. En een betaalde link hoort volgens Googles spambeleid gemarkeerd te zijn met rel="sponsored" of nofollow. Maar hoop je dat een plaatsing op een groot nieuwsmerk ook in de antwoorden van ChatGPT opduikt, dan reken je op iets wat niet gebeurt. OpenAI schrijft zelf dat een site die OAI-SearchBot uitsluit niet in de zoekantwoorden komt. In juli schreven we al dat een link anders waard wordt als een agent je pagina leest. Hier zie je hoe dat concreet uitpakt: dezelfde plaatsing is open voor Google en dicht voor ChatGPT.

Ons eigen netwerk scoort op dit punt beter. Geen van de 284 meetbare sites sluit de zoekbot uit in robots.txt, en geen enkele homepage weigerde zijn user-agent. Die sites beheren we zelf, dus daar kiezen we die instelling ook zelf. Een eerlijke vergelijking met een krant die geld wil voor zijn archief is het daarom niet.

Is dichtzetten dom van een grote krant?

Het ligt voor de hand om te zeggen dat die uitgevers zichzelf buitensluiten. Dat is te makkelijk. Een uitgever die AI-bots weert, heeft iets om over te onderhandelen, en een verbod geeft druk. Wij schreven zelf eerder hoe je AI-bots die je pagina's lezen in plaats van bezoekers kunt herkennen en weren. Dat dilemma verdwijnt niet door één proef van Cloudflare.

Er is wel een aanwijzing dat blokkeren iets kost. Onderzoekers van Rutgers en Wharton vonden dat grote nieuwsuitgevers die AI-bots blokkeerden, minder websiteverkeer kregen dan uitgevers die dat niet deden. Dat ging over grote titels; over kleine sites zegt het onderzoek dat niet. En de deur openzetten garandeert ook niets. OpenAI kiest zelf welke pagina's het toont, en hoeveel bezoekers dat oplevert, heeft Cloudflare nog niet gemeten.

Hoe check je een linkpagina in twee minuten?

Doe dit bij elke site waar je wilt backlinks kopen, en bij je eigen site. Test niet alleen de homepage, maar de pagina waar jouw link op staat of komt te staan. Zet die URL in de eerste regel en plak het hele blok in een terminal. De andere regels halen het domein zelf uit die URL.

URL="https://voorbeeld.nl/pad-naar-het-artikel/"
curl -s -A "Mozilla/5.0" "$(echo "$URL" | cut -d/ -f1-3)/robots.txt" | python3 -c "import sys,urllib.robotparser as r;rp=r.RobotFileParser();rp.parse(sys.stdin.read().splitlines());print('OAI-SearchBot mag deze pagina ophalen:',rp.can_fetch('OAI-SearchBot',sys.argv[1]))" "$URL"
curl -s -o /dev/null -L -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" "$URL"
curl -s -o /dev/null -L -w "%{http_code} %{url_effective}\n" "$(echo "$URL" | cut -d/ -f1-3)/dit-adres-bestaat-niet-123/"

• De tweede regel haalt robots.txt op en past de regels toe zoals een nette crawler dat doet, ook een algemene User-agent: *. False betekent: deze pagina doet niet mee in ChatGPT Search. Komt er een foutmelding of een leeg bestand terug, open robots.txt dan in je browser en lees het zelf.
• De derde regel vraagt de pagina op met de naam van OAI-SearchBot en volgt eventuele doorverwijzingen. Een 200 aan het eind is goed. Een 403 of 402 terwijl de pagina in je browser opent, wijst erop dat de server bots met die naam tegenhoudt. Het blijft een indicatie: de echte OpenAI-bot komt van andere IP-adressen en kan anders behandeld worden.
• De vierde regel hoort met 404 te eindigen. Eindigt hij op 200 op de homepage, dan stuurt de site onbekende adressen door naar de voorpagina. Een 200 op het verzonnen adres zelf betekent dat de site doet alsof elk adres bestaat. Beide patronen haalt Cloudflare er nu uit.

Zit je eigen site achter Cloudflare, kijk dan ook in het dashboard bij AI Crawl Control of OAI-SearchBot op toestaan staat.

Gevonden worden is nog geen bezoeker

Honderden miljoenen nieuw gevonden pagina's zegt iets over de index van OpenAI, niet over het verkeer naar jouw site. In de volgende fase wil Cloudflare meten wat er gebeurt nadat een pagina is gevonden. Komen daar cijfers uit over doorkliks, dan blijkt of ChatGPT Search een echte verkeersbron wordt of vooral leest zonder door te sturen. Tot dan is de zoekbot binnenlaten goedkoop, en een sitemap met eerlijke datums het signaal dat je zelf in de hand hebt.