Jede Website und jeder Server, den wir hosten, blockiert standardmäßig bösartige Bots und gefälschte Crawler. Sie müssen nichts aktivieren, und es entstehen keine zusätzlichen Kosten.
Was wird blockiert?
- Bekannte bösartige Bots: Scraper, Content-Diebe, Spam-Tools und Schwachstellen-Scanner, die sich namentlich zu erkennen geben.
- Gefälschte Crawler: Programme, die vorgeben, ein bekannter Crawler wie Googlebot, Bingbot, Applebot, GPTBot oder ClaudeBot zu sein, um Ihre Schutzmaßnahmen zu umgehen. Eine Anfrage, die vorgibt, einer dieser Dienste zu sein, aber nicht von den eigenen, veröffentlichten Netzwerkadressen des jeweiligen Unternehmens stammt, wird abgelehnt.
Die Überprüfung erfolgt zweimal: in unserem Edge-Netzwerk, bevor eine Anfrage Ihren Server erreicht, und noch einmal auf dem Webserver selbst, sodass auch direkte Anfragen an Ihren Server überprüft werden.
Was wird niemals blockiert?
Echte, verifizierte Crawler kommen immer durch. Googlebot, Bingbot, Applebot und die echten KI-Crawler (wie GPTBot und ClaudeBot) werden anhand ihrer Herkunft erkannt und nicht nur anhand des angegebenen Namens, sodass Ihre Website in den Suchergebnissen und in KI-Antworten erhalten bleibt.
Kann ich KI-Crawler auf meiner Website blockieren?
Ja, und die Entscheidung liegt für jede Website bei Ihnen. Öffnen Sie Websites, wählen Sie die Website aus, öffnen Sie den Tab CDN und suchen Sie nach Sicherheit und Bot-Steuerung → KI-Crawler:
- Keine Sonderbehandlung: KI-Crawler werden wie jeder andere Besucher behandelt.
- Zulassen: KI-Crawler werden durchgelassen.
- Herausfordern oder Blockieren: KI-Crawler werden am Edge herausgefordert oder abgelehnt. Diese beiden Optionen sind Teil des in Ihrem Tarif enthaltenen Bot-Schutzes; der Bildschirm zeigt an, falls Ihr Tarif diesen nicht enthält.
Wir ändern diese Einstellung niemals für Sie. Das Blockieren gefälschter Bots hat darauf keinen Einfluss: Ein echter KI-Crawler wird nur dann blockiert, wenn Sie sich dafür entscheiden, ihn zu blockieren.
Etwas Legitimes wurde abgelehnt
Uptime-Monitore, Zahlungs-Callbacks und SEO-Tools sind nicht betroffen, es sei denn, sie geben sich als einer der oben genannten Crawler aus. Wenn ein von Ihnen genutzter Dienst abgelehnt wird, eröffnen Sie ein Support-Ticket mit dem Zeitpunkt und der Adresse, von der er kam, und wir werden uns darum kümmern.