Blokiranje država, adresa i indeksnih paukova

Ovo su tri različite postavke za tri različita problema. Pristupite im iz sigurnosnih postavki web-mjesta.

Države

Ili popis blokiranih (svatko može posjetiti osim ovih) ili popis dopuštenih (nitko ne može posjetiti osim ovih). To je jedan prekidač i vrijedi ga pročitati dvaput prije spremanja: popis dopuštenih koji sadrži jednu državu uklanja vaše web-mjesto s interneta za sve ostale, što je povremeno upravo ono što želite, a u protivnom loše poslijepodne.

Brisanjem popisa uklanjaju se sva ograničenja država; ne postoji poseban korak "deblokiraj svugdje".

⚠️ Popis dopuštenih uklonio bi vas s tražilice Google, a to je detalj koji ljudi propuste. Tražilice vrše indeksiranje s vlastitih adresa — Googlebot iz Sjedinjenih Američkih Država, bez obzira na to gdje se nalaze vaši posjetitelji — stoga bi popis dopuštenih koji ne uključuje te države blokirao crawler zajedno sa svima ostalima, a web-mjesto koje se ne može indeksirati ispada iz indeksa. To nije trenutačno i nije očito, što je ono što ga čini skupim.

Stoga prema zadanim postavkama propuštamo provjerene tražilice. Ostavite taj prekidač na miru i Google te Bing nastavljaju pristupati vašem web-mjestu s mjesta s kojih vrše indeksiranje, čak i uz popis dopuštenih koji navodi jednu državu. Izuzeće možete isključiti ako doista ne želite iznimke — to vraća gore navedeni rizik točno onako kako je opisano, a zaslon to i naglašava kada to učinite.

⛔ Za izuzeće je potreban pružatelj usluge koji može provjeriti crawler, a to ne mogu svi oni. Provjera znači potvrđivanje provjerom adresa da posjetitelj koji se predstavlja kao Googlebot zaista jest Google — a ne uzimanje njegove riječi zdravo za gotovo, što bilo tko može kopirati. Naš Cloudflare rub to čini. Bunny, CDN77 i Gcore ne čine, stoga kod njih nema ničega sigurnog za propustiti i ne propuštamo ništa. Kod pružatelja usluge koji ne može provjeriti crawlere popis dopuštenih nosi puni gore navedeni rizik — zaslon država web-mjesta govori vam u kojem se slučaju nalazite i trebali biste ga pročitati prije nego što se oslonite na izuzeće. Tamo preferirajte popis blokiranih.

Pojedinačne adrese

Za određenu smetnju — jedna adresa koja opterećuje obrazac, jedan skraper. Ovo je pravi alat za nekoliko adresa, a pogrešan za napad koji dolazi s tisuću adresa i mijenja ih brže nego što možete tipkati. Za to je zaštita CDN-a ono što želite.

SEO crawler-i

SEO crawler-i trećih strana — oni koji grade baze podataka povratnih veza — mogu se blokirati pojedinačno. Ljudi to rade kako bi spriječili da im profil veza katalogiziraju konkurenti.

Ovdje se ne možete sami deindeksirati. Tražilice nisu na popisu za odabir, po dizajnu: blokiranje crawler-a Googlebot odluka je s posljedicama daleko izvan onoga čemu ovaj zaslon služi, stoga to zaslon neće učiniti. Vaša datoteka robots.txt ostaje netaknuta ovom postavkom i ostaje vaša.

⚠️ Ta je zaštita specifična za ovu kontrolu. Gornje pravilo o državama ima vlastitu zaštitnu mjeru, ali uvjetnu — propušta provjerene tražilice prema zadanim postavkama, i to samo tamo gdje ih vaš pružatelj usluga može provjeriti. Ako ste koristili oboje, pravilo o državama i dalje je ono koje vas može koštati vaših rangiranja, stoga provjerite što izvješćuje njegov zaslon umjesto da pretpostavljate da je izuzeće na snazi.

Što ništa od ovoga nije

Ništa od ovoga nije zamjena za održavanje softvera ažuriranim. Blokiranje države zaustavlja promet te države; to ne popravlja zastarjeli dodatak za kojim je taj promet tragao.