Landen, adressen en crawlers blokkeren

Dit zijn drie verschillende instellingen voor drie verschillende problemen. U bereikt ze via de beveiligingsinstellingen van de website.

Landen

Ofwel een blokkeerlijst (iedereen mag de website bezoeken behalve deze) of een toelatingslijst (niemand mag de website bezoeken behalve deze). Het is één schakelaar, en het is de moeite waard om dit tweemaal te lezen voordat u opslaat: een toelatingslijst die één land bevat, haalt uw website offline voor al de rest, wat soms exact is wat u wilt en anders een vervelende middag oplevert.

Het wissen van de lijst verwijdert elke landbeperking; er is geen aparte stap om "overal de blokkering op te heffen".

⚠️ Een toelatingslijst sluit Google uit, en dit is het punt dat mensen over het hoofd zien. Zoekmachines crawlen vanaf hun eigen adressen — Googlebot vanuit de Verenigde Staten, waar uw bezoekers zich ook bevinden —, dus een toelatingslijst die die landen niet omvat, blokkeert de crawler samen met al de rest, en een website die niet kan worden gecrawld, verdwijnt uit de index. Dit gebeurt niet onmiddellijk en is niet vanzelfsprekend, en dat is precies wat het kostbaar maakt.

Daarom laten we geverifieerde zoekmachines standaard door. Laat die schakelaar met rust en Google en Bing blijven uw website bereiken vanaf waar ze ook crawlen, zelfs met een toelatingslijst waarin één land is opgegeven. U kunt de uitzondering uitschakelen als u oprecht geen uitzonderingen wilt — dat brengt het risico hierboven exact terug zoals beschreven, en het scherm geeft dit aan wanneer u dat doet.

⛔ De uitzondering vereist een provider die een crawler kan verifiëren, en niet elke provider kan dat. Verifiëren betekent controleren of een bezoeker die zich voordoet als Googlebot daadwerkelijk Google is, aan de hand van diens adressen — en niet zomaar op diens blauwe ogen geloven, wat iedereen kan kopiëren. Onze Cloudflare-rand doet dit. Bunny, CDN77 en Gcore doen dat niet, dus bij die providers is er niets veiligs om door te laten en laten we niets door. Bij een provider die crawlers niet kan verifiëren houdt een toelatingslijst het volledige risico van hierboven in — het landenscherm van de website geeft aan in welke situatie u zich bevindt, en u dient dit te lezen voordat u op de uitzondering vertrouwt. Geef daar de voorkeur aan een blokkeerlijst.

Individuele adressen

Voor een specifieke overlast — één adres dat een formulier bestookt, één scraper. Dit is het juiste hulpmiddel voor een handvol adressen en het verkeerde hulpmiddel voor een aanval, die afkomstig is van duizenden adressen en sneller verandert dan u kunt typen. Daarvoor is de bescherming van de CDN wat u nodig hebt.

SEO-crawlers

SEO-crawlers van derden — degene die backlinkdatabases opbouwen — kunnen individueel worden geblokkeerd. Mensen doen dit om te voorkomen dat hun linkprofiel door concurrenten wordt gecatalogiseerd.

U kunt uzelf hier niet mee de-indexeren. Zoekmachines staan om redenen van ontwerp niet in de lijst om uit te kiezen: het blokkeren van Googlebot is een beslissing met gevolgen die ver reiken buiten waar dit scherm voor dient, dus het scherm zal dit niet doen. Uw robots.txt blijft door deze instelling ongemoeid en blijft van u.

⚠️ Die bescherming is specifiek voor deze bediening. De landregel hierboven heeft een eigen beveiliging, maar wel een voorwaardelijke — deze laat geverifieerde zoekmachines standaard door, en alleen waar uw provider ze kan verifiëren. Als u beide hebt gebruikt, is de landregel nog steeds degene die u uw rankings kan kosten, dus controleer wat het scherm daarover rapporteert in plaats van ervan uit te gaan dat de uitzondering van kracht is.

Wat geen van alle zijn

Geen van deze opties is een vervanging voor het up-to-date houden van software. Het blokkeren van een land stopt het verkeer uit dat land; het repareert niet de verouderde plug-in waar dat verkeer naar zocht.