HomeDiensten › Bots & AI-crawlers
Beveiliging · Bots & AI-crawlers

Bepalen wie je website leest — en wie niet

Het grootste deel van je bezoek is vaak geen mens. Wij maken zichtbaar wie er langskomt en geven je per soort de keuze: welkom heten, tegenhouden, of een doolhof insturen.

49.750
verzoeken uit de VS op een Nederlandstalige site
30.660
daadwerkelijke paginaweergaven in dezelfde periode
4
instellingen, geen regel code
per domein
apart in te stellen
Wat het is

In gewone taal

Uit onze eigen metingen op één Nederlandstalige site: 49.750 verzoeken uit de Verenigde Staten tegenover 32.332 uit Nederland, bij 30.660 werkelijke paginaweergaven. Dat Amerikaanse verkeer bestaat niet uit lezers. Het zijn datacenters, scrapers en AI-crawlers.

Zonder meting op netwerkniveau zie je dat verschil nooit, want die bezoeken halen je analytics niet eens — die telt pas als er JavaScript wordt uitgevoerd. Je leest de cijfers dan als internationale belangstelling terwijl er iets heel anders gebeurt.

Zodra je het wél ziet, wordt het een keuze in plaats van iets dat je overkomt. Wil je gevonden worden door AI-assistenten, dan laat je ze binnen en zorg je dat je pagina's goed leesbaar zijn — zie agentic search. Heb je uniek materiaal dat je niet gratis wilt weggeven, dan sluit je ze buiten. En voor crawlers die zich nergens iets van aantrekken is er een derde weg: een doolhof van gegenereerde pagina's, waar zíj rekentijd aan verspillen in plaats van jij.

Hoe het werkt

Van verzoek tot antwoord

Verzoek komt binnenvan een mens, een zoekmachine, of iets anders
Herkend en ingedeeldop gedrag, herkomst en handtekening
Jouw beleid toegepasttoelaten, uitdagen, weigeren of misleiden
Zichtbaar in de rapportagewie kwam er langs, hoe vaak, welke pagina's
Wat het jou oplevert

Vier concrete verschillen

Zicht op je echte publiek

Het verschil tussen bezoekersaantallen en werkelijke lezers wordt eindelijk zichtbaar. Dat verandert doorgaans hoe je je marketingcijfers leest.

Je content beschermen

Uniek materiaal — een archief, een prijslijst, een kennisbank — hoeft niet gratis in andermans model te belanden. Dat is één instelling.

Wél gevonden worden waar het telt

Zoekmachines en assistenten die je bezoekers opleveren laat je binnen; scrapers die alleen halen, niet. Per soort in te stellen.

Geen CAPTCHA voor je bezoekers

De uitdaging wordt aan de machine gesteld, niet aan de mens. Je bezoekers zien geen verkeerslichten aanklikken.

Specificaties

Voor wie het naadje van de kous wil

Botherkenningop gedrag, netwerkherkomst en handtekening
AI-crawlerbeleidper soort: toelaten, weigeren of misleiden
Doolhofgegenereerde nepinhoud voor crawlers die het crawlbeleid negeren
robots.txtautomatisch onderhouden signaal over hergebruik voor modeltraining
Rapportagemaandelijks: welke assistenten en bots je site hebben gelezen
Uitzonderingenje eigen monitoring en partners altijd doorlaten
Vragen

Wat klanten hierover vragen

Verlies ik vindbaarheid als ik AI-bots blokkeer?

Dat kan, en daarom is het geen alles-of-niets-knop. Zoekmachinecrawlers die je bezoekers opleveren houd je binnen; trainingsbots die alleen halen kun je weigeren. Wij adviseren per soort en leggen uit wat je ervoor terugkrijgt of opgeeft.

Wat is dat doolhof precies?

Crawlers die zich niets van je crawlbeleid aantrekken krijgen een reeks automatisch gegenereerde pagina's voorgeschoteld in plaats van je echte inhoud. Ze blijven daar rondlopen; het kost hún capaciteit en jouw site blijft ongemoeid. Menselijke bezoekers en nette bots komen er nooit terecht.

Kan ik zien wie er langs is geweest?

Ja, dat zit in de maandrapportage: welke assistenten en bots je site hebben opgehaald, hoe vaak en welke pagina's het meest gelezen zijn.

Hoort hierbij

Klaar om bots & ai-crawlers in te zetten?

Vertel ons wat je nu hebt en waar je tegenaan loopt. Je krijgt een voorstel met een vaste prijs, een planning en een eerlijke inschatting van wat het je oplevert.