Elke site en elke server die we hosten, blokkeert standaard schadelijke bots en nepcrawlers. U hoeft niets in te schakelen en het kost niets extra.
Wat wordt er geblokkeerd?
- Bekende schadelijke bots: scrapers, contentdieven, spamtools en kwetsbaarheidsscanners die zich bij naam identificeren.
- Nepcrawlers: programma's die zich voordoen als een bekende crawler, zoals Googlebot, Bingbot, Applebot, GPTBot of ClaudeBot, om uw beveiliging te omzeilen. Een verzoek dat beweert een van deze te zijn maar niet afkomstig is van de eigen gepubliceerde netwerkadressen van dat bedrijf, wordt geweigerd.
De controle vindt tweemaal plaats: op ons edge-netwerk voordat een verzoek uw server bereikt, en nogmaals op de webserver zelf, zodat een verzoek dat rechtstreeks naar uw server gaat ook wordt gecontroleerd.
Wat wordt er nooit geblokkeerd?
Echte, geverifieerde crawlers worden altijd doorgelaten. Googlebot, Bingbot, Applebot en de echte AI-crawlers (zoals GPTBot en ClaudeBot) worden herkend aan de hand van hun herkomst, niet alleen aan de naam die ze opgeven, zodat uw site zichtbaar blijft in zoekresultaten en AI-antwoorden.
Kan ik AI-crawlers op mijn site blokkeren?
Ja, en de keuze is per site aan u. Open Sites, kies de site, open het tabblad CDN en zoek Beveiliging en botbeheer → AI-crawlers:
- Geen speciale behandeling: AI-crawlers worden net als elke andere bezoeker behandeld.
- Toestaan: AI-crawlers worden doorgelaten.
- Uitdagen of Blokkeren: AI-crawlers worden aan de rand van het netwerk uitgedaagd of geweigerd. Deze twee opties zijn inbegrepen bij de botbescherming van uw pakket; het scherm geeft aan of uw pakket dit niet bevat.
We passen deze instelling nooit voor u aan. Het blokkeren van nepbots heeft hier geen invloed op: een echte AI-crawler wordt alleen geblokkeerd als u ervoor kiest deze te blokkeren.
Iets legitiems werd geweigerd
Uptime-monitors, betalingscallbacks en SEO-tools worden niet beïnvloed, tenzij ze zich voordoen als een van de bovenstaande crawlers. Als een service die u gebruikt wordt geweigerd, open dan een supportticket met het tijdstip en het adres waarvan deze afkomstig was, dan kijken we ernaar.