AI-verkeer

Beschikbaar opPlusScale

AI-assistenten lezen websites voor de mensen die ze gebruiken, en AI-bedrijven crawlen het web om zoekindexen te bouwen en modellen te trainen. In geen van die gevallen leest er een mens je pagina.

Het onderdeel AI Traffic van je dashboard laat zien hoeveel van je verkeer van AI komt, en waar het vandaan komt.

AI-verkeer wordt niet meegeteld in je paginaweergaven, bezoekers, bouncepercentage of wat dan ook, en het wordt niet gefactureerd.

Wat het laat zien

• Het aandeel AI-verkeer tegenover menselijk verkeer in de gekozen periode.
• Een lijst van AI-verkeer in drie tabbladen:
  • User (gebruiker): een AI die een pagina ophaalt omdat iemand er net iets aan vroeg. ChatGPT, Claude, Perplexity en agentische browsers.
  • Search (zoeken): crawlers die de zoekindex van een AI opbouwen.
  • Training: crawlers die pagina's verzamelen om modellen te trainen.

Voor Search en Training moet je Cloudflare koppelen.

Wat Cabin standaard ziet

Het trackingscript van Cabin draait in de browser. Het ziet dus AI-agents die een pagina laden en de JavaScript ervan uitvoeren. Dat dekt het meeste User-verkeer.

Wat het niet ziet:

• Crawlers zoals GPTBot en ClaudeBot. Die downloaden de HTML en voeren nooit JavaScript uit.
• Geblokkeerde verzoeken. Als je server, host of CDN een bot blokkeert, laadt de pagina nooit, dus draait het script ook nooit.

Wil je al het AI-verkeer zien, crawlers inbegrepen, koppel dan Cloudflare zoals hieronder beschreven.

Cloudflare koppelen

Staat je site achter Cloudflare, open dan de instellingen van je site, zoek AI traffic en klik op Connect Cloudflare. Je logt in bij Cloudflare en geeft alleen-lezen toegang. Je hoeft geen API-token aan te maken. Cabin leest dan de verzoeken van AI-crawlers uit je Cloudflare-account, ook de verzoeken die Cloudflare heeft geblokkeerd, en voegt ze toe aan je dashboard. Geblokkeerde bots krijgen een label, bijvoorbeeld GPTBot (blocked).

• Het is alleen-lezen. Cabin wijzigt nooit je Cloudflare-instellingen.
• Bij het koppelen worden de laatste 30 dagen ingevuld. Daarna wordt het elk uur bijgewerkt.
• Alleen crawlers die door Cloudflare of via de gepubliceerde IP-reeksen van de aanbieder zijn geverifieerd, tellen mee. Verzoeken die zich voordoen als AI-crawler worden weggelaten.
• Cabin controleert het IP-adres van een crawler tegen die reeksen en slaat het nooit op.
• De eigenaar van de site of een manager kan het koppelen. Het valt onder het abonnement van de eigenaar.

Zie je This domain isn't in that Cloudflare account, dan heb je ingelogd op een Cloudflare-account waar de site niet in staat. Koppel opnieuw en kies het account waar de site wel in staat.

Ontkoppelen

Klik op Disconnect op dezelfde kaart. Cabin geeft zijn toegang bij Cloudflare op en stopt met synchroniseren. De crawlergegevens verdwijnen van je dashboard maar worden niet verwijderd. Koppel je later opnieuw, dan komt je geschiedenis gewoon terug.

Hoe agents worden herkend

Agents worden herkend aan de User-Agent-string die ze meesturen. Die wordt vergeleken met de door de community bijgehouden lijst ai.robots.txt. Gewone zoek- en social-crawlers zoals Googlebot tellen niet als AI. Die worden zoals altijd als bots weggefilterd.

Zie je een agent die volgens jou ontbreekt, laat het ons weten.