Länder, Adressen und Crawler blockieren

Dies sind drei verschiedene Einstellungen für drei verschiedene Probleme. Sie erreichen sie über die Sicherheitseinstellungen der Website.

Länder

Entweder eine Sperrliste (jeder darf die Website besuchen, außer diesen) oder eine Freigabeliste (niemand darf die Website besuchen, außer diesen). Es handelt sich um einen einzigen Schalter, und es lohnt sich, ihn zweimal zu lesen, bevor Sie speichern: Eine Freigabeliste, die ein einziges Land enthält, nimmt Ihre Website für alle anderen vom Netz – was gelegentlich genau das ist, was Sie möchten, und andernfalls ein böses Erwachen bedeutet.

Das Leeren der Liste hebt jede Länderbeschränkung auf; es gibt keinen separaten Schritt zum „Überall entsperren“.

⚠️ Eine Freigabeliste würde Sie aus Google entfernen, und genau das übersehen viele. Suchmaschinen crawlen von ihren eigenen Adressen aus – der Googlebot aus den Vereinigten Staaten, ganz gleich, wo sich Ihre Besucher befinden. Eine Freigabeliste, die diese Länder nicht enthält, würde den Crawler daher zusammen mit allen anderen blockieren, und eine Website, die nicht gecrawlt werden kann, fällt aus dem Index. Das geschieht weder sofort noch ist es offensichtlich, was die Sache so kostspielig macht.

Daher lassen wir verifizierte Suchmaschinen standardmäßig durch. Wenn Sie diesen Schalter unberührt lassen, erreichen Google und Bing Ihre Website weiterhin von jedem Ort aus, von dem aus sie crawlen – selbst bei einer Freigabeliste, die nur ein einziges Land enthält. Sie können die Ausnahme deaktivieren, falls Sie wirklich keinerlei Ausnahmen wünschen. Dadurch entsteht das oben beschriebene Risiko wieder in vollem Umfang, worauf der Bildschirm Sie in diesem Fall auch hinweist.

⛔ Die Ausnahme erfordert einen Anbieter, der einen Crawler verifizieren kann, und das können nicht alle. Verifizieren bedeutet, anhand der Adressen zu prüfen, ob ein Besucher, der sich als Googlebot ausgibt, auch wirklich Google ist – anstatt sich auf die bloße Angabe zu verlassen, die jeder kopieren kann. Unser Cloudflare-Edge übernimmt dies. Bunny, CDN77 und Gcore tun dies nicht; bei diesen gibt es also nichts, was sicher durchgelassen werden könnte, und wir lassen nichts durch. Bei einem Anbieter, der Crawler nicht verifizieren kann, birgt eine Freigabeliste das volle oben genannte Risiko – die Länderübersicht der Website zeigt Ihnen an, welcher Fall bei Ihnen vorliegt, und Sie sollten diesen Hinweis lesen, bevor Sie sich auf die Ausnahme verlassen. Ziehen Sie dort eine Sperrliste vor.

Einzelne Adressen

Für ein spezifisches Ärgernis – eine einzelne Adresse, die ein Formular bombardiert, oder ein einzelner Scraper. Dies ist das richtige Werkzeug für eine Handvoll Adressen und das falsche für einen Angriff, der von Tausenden ausgeht und diese schneller wechselt, als Sie tippen können. Dafür ist der Schutz des CDN die richtige Wahl.

SEO-Crawler

SEO-Crawler von Drittanbietern – diejenigen, die Backlink-Datenbanken aufbauen – können einzeln blockiert werden. Dies wird getan, um zu verhindern, dass das eigene Linkprofil von Konkurrenten katalogisiert wird.

Sie können sich hier nicht selbst deindexieren. Suchmaschinen stehen in der Auswahlliste absichtlich nicht zur Verfügung: Die Blockierung des Googlebot ist eine Entscheidung mit Folgen, die weit über den Zweck dieses Bildschirms hinausgehen, weshalb der Bildschirm dies nicht zulässt. Ihre robots.txt bleibt von dieser Einstellung unberührt und in Ihrer Hand.

⚠️ Dieser Schutz gilt speziell für dieses Steuerelement. Die obige Länderregel verfügt über eine eigene Schutzfunktion, die jedoch an Bedingungen geknüpft ist – sie lässt verifizierte Suchmaschinen standardmäßig durch, und dies nur dort, wo Ihr Anbieter sie auch verifizieren kann. Wenn Sie beides verwendet haben, ist die Länderregel weiterhin diejenige, die Sie Ihre Platzierungen kosten kann. Prüfen Sie daher die Angaben auf deren Bildschirm, anstatt blind davon auszugehen, dass die Ausnahme greift.

Was keines dieser Werkzeuge ist

Keines von ihnen ist ein Ersatz dafür, Software auf dem neuesten Stand zu halten. Das Blockieren eines Landes stoppt den Datenverkehr aus diesem Land; es behebt jedoch nicht das veraltete Plugin, nach dem dieser Datenverkehr gesucht hat.