Länder, Adressen und Crawler blockieren

Dies sind drei verschiedene Einstellungen für drei verschiedene Probleme. Sie erreichen sie über die Sicherheitseinstellungen der Website.

Länder

Entweder eine Blockierliste (jeder darf die Website besuchen, außer diesen) oder eine Freigabeliste (niemand darf die Website besuchen, außer diesen). Es handelt sich um einen einzigen Schalter, und es lohnt sich, ihn vor dem Speichern zweimal zu lesen: Eine Freigabeliste mit nur einem einzigen Land nimmt Ihre Website für alle anderen vom Netz, was gelegentlich genau das ist, was Sie wollen, und ansonsten einen schlechten Nachmittag bedeutet.

Das Leeren der Liste entfernt jede Ländereinschränkung; es gibt keinen separaten Schritt „Überall aufheben“.

⚠️ Eine Freigabeliste würde Sie aus Google herausnehmen, und das ist der Teil, den die Leute übersehen. Suchmaschinen crawlen von ihren eigenen Adressen aus – Googlebot aus den Vereinigten Staaten, unabhängig davon, wo sich Ihre Besucher befinden –, sodass eine Freigabeliste, die diese Länder nicht einschließt, den Crawler zusammen mit allen anderen blockieren würde, und eine Website, die nicht gecrawlt werden kann, fällt aus dem Index heraus. Das passiert nicht sofort und ist nicht offensichtlich, was es so tückisch macht.

Deshalb lassen wir verifizierte Suchmaschinen standardmäßig durch. Lassen Sie diesen Schalter in Ruhe, und Google sowie Bing können Ihre Website weiterhin von dort aus erreichen, von wo aus sie crawlen, selbst bei einer Freigabeliste, die ein einziges Land benennt. Sie können diese Ausnahme deaktivieren, wenn Sie wirklich keine Ausnahmen wünschen – dadurch wird das oben genannte Risiko genau wie beschrieben wiederhergestellt, worauf der Bildschirm Sie bei der Durchführung hinweist.

⛔ Die Ausnahme benötigt einen Anbieter, der einen Crawler verifizieren kann, und das können nicht alle. Verifizieren bedeutet zu überprüfen, ob ein Besucher, der sich als Googlebot ausgibt, anhand seiner Adressen wirklich Google ist – sich also nicht auf sein Wort zu verlassen, das jeder kopieren kann. Unser Cloudflare-Edge tut dies. Bunny, CDN77 und Gcore tun dies nicht, sodass es bei diesen nichts gibt, das man sicher durchlassen könnte, und wir lassen nichts durch. Bei einem Anbieter, der Crawler nicht verifizieren kann, birgt eine Freigabeliste das oben genannte volle Risiko – der Länderbildschirm der Website zeigt Ihnen an, in welchem Fall Sie sich befinden, und Sie sollten ihn lesen, bevor Sie sich auf die Ausnahme verlassen. Bevorzugen Sie dort eine Blockierliste.

Einzelne Adressen

Für eine bestimmte Nervensäge – eine Adresse, die ein Formular bombardiert, ein einzelner Scraper. Dies ist das richtige Werkzeug für eine Handvoll Adressen und das falsche für einen Angriff, der von Tausenden ausgeht und diese schneller wechselt, als Sie tippen können. Dafür ist der Schutz des CDN das, was Sie brauchen.

SEO-Crawler

SEO-Crawler von Drittanbietern – diejenigen, die Backlink-Datenbanken aufbauen – können einzeln blockiert werden. Dies wird getan, um zu verhindern, dass das eigene Linkprofil von Mitbewerbern katalogisiert wird.

Sie können sich hier nicht selbst aus dem Index nehmen. Suchmaschinen stehen absichtlich nicht zur Auswahl auf der Liste: Das Blockieren des Googlebots ist eine Entscheidung mit Konsequenzen, die weit über den Zweck dieses Bildschirms hinausgehen, weshalb der Bildschirm dies nicht tun wird. Ihre robots.txt bleibt von dieser Einstellung unberührt und gehört weiterhin Ihnen.

⚠️ Dieser Schutz gilt spezifisch für diese Steuerung. Die obige Länderregel verfügt über eine eigene Schutzmaßnahme, allerdings über eine bedingte – sie lässt verifizierte Suchmaschinen standardmäßig durch und dies nur dort, wo Ihr Anbieter sie verifizieren kann. Wenn Sie beides verwendet haben, ist die Länderregel nach wie vor diejenige, die Sie Ihre Platzierungen kosten kann; überprüfen Sie daher, was ihr Bildschirm meldet, anstatt anzunehmen, dass die Ausnahme aktiv ist.

Was keine davon ist

Keine davon ist ein Ersatz dafür, Software auf dem neuesten Stand zu halten. Das Blockieren eines Landes stoppt den Datenverkehr dieses Landes; es behebt nicht das veraltete Plugin, nach dem dieser Datenverkehr gesucht hat.