Landen, adressen en crawlers blokkeren

Dit zijn drie verschillende instellingen voor drie verschillende problemen. U bereikt ze via de beveiligingsinstellingen van de site.

Landen

Ofwel een blokkeerlijst (iedereen mag bezoeken behalve dezen) ofwel een toelatingslijst (niemand mag bezoeken behalve dezen). Het is één schakelaar, en het is de moeite waard om deze twee keer te lezen voordat u opslaat: een toelatingslijst met één land haalt uw site voor alle anderen van het internet, wat soms precies is wat u wilt en anders een vervelende middag oplevert.

Het wissen van de lijst verwijdert elke landbeperking; er is geen aparte stap om "overal te deblokkeren".

⚠️ Een toelatingslijst haalt u uit Google, en dit is het gedeelte dat mensen over het hoofd zien. Zoekmachines crawlen vanaf hun eigen adressen — Googlebot vanuit de Verenigde Staten, waar uw bezoekers zich ook bevinden — dus een toelatingslijst die die landen niet bevat, blokkeert de crawler samen met alle anderen, en een site die niet kan worden gecrawld valt uit de index. Het gebeurt niet onmiddellijk en het is niet vanzelfsprekend, en dat is wat het kostbaar maakt.

Daarom laten we geverifieerde zoekmachines standaard door. Laat die schakelaar met rust en Google en Bing blijven uw site bereiken van waaruit ze ook crawlen, zelfs met een toelatingslijst waarin slechts één land wordt genoemd. U kunt de uitzondering uitschakelen als u echt geen uitzonderingen wilt — dat brengt het bovenstaande risico weer precies terug zoals beschreven, en het scherm geeft dit aan wanneer u dat doet.

⛔ De uitzondering vereist een provider die een crawler kan verifiëren, en dat kunnen ze niet allemaal. Verifiëren betekent controleren of een bezoeker die zich Googlebot noemt, ook echt Google is, aan de hand van diens adressen — en niet simpelweg diens woord ervoor aannemen, wat iedereen kan nadoen. Onze Cloudflare-edge doet dit. Bunny, CDN77 en Gcore doen dit niet, dus op die platforms is er niets veiligs om door te laten en laten we niets door. Bij een provider die crawlers niet kan verifiëren, brengt een toelatingslijst het volledige bovenstaande risico met zich mee — het landenscherm van de site vertelt u welke situatie op u van toepassing is, en u dient dit te lezen voordat u op de uitzondering vertrouwt. Geef daar de voorkeur aan een blokkeerlijst.

Afzonderlijke adressen

Voor een specifieke overlast — één adres dat een formulier bestookt, één scraper. Dit is het juiste hulpmiddel voor een handvol adressen en het verkeerde voor een aanval, die vanaf duizenden adressen binnenkomt en sneller verandert dan u kunt typen. Daarvoor wilt u de bescherming van het CDN.

SEO-crawlers

SEO-crawlers van derden — degene die backlink-databases opbouwen — kunnen afzonderlijk worden geblokkeerd. Mensen doen dit om te voorkomen dat hun linkprofiel door concurrenten wordt gecatalogiseerd.

U kunt uzelf hier niet de-indexeren. Zoekmachines zijn bewust niet in de keuzelijst opgenomen: het blokkeren van Googlebot is een beslissing met gevolgen die veel verder reiken dan waar dit scherm voor bedoeld is, dus het scherm zal dit niet doen. Uw robots.txt blijft onaangetast door deze instelling en blijft van u.

⚠️ Die bescherming is specifiek voor deze instelling. De bovenstaande landenregel heeft een eigen vangnet, maar wel een voorwaardelijke — deze laat standaard geverifieerde zoekmachines door, en alleen waar uw provider ze kan verifiëren. Als u beide hebt gebruikt, is de landenregel nog steeds degene die u uw rankings kan kosten, dus controleer wat het scherm meldt in plaats van aan te nemen dat de uitzondering van kracht is.

Wat geen van deze opties is

Geen van deze opties is een vervanging voor het up-to-date houden van software. Het blokkeren van een land stopt het verkeer uit dat land; het lost de verouderde plugin waar dat verkeer naar zocht niet op.