Blokiranje zemalja, adresa i sakupljača sadržaja

Ovo su tri različita podešavanja za tri različita problema. Pristupite im iz bezbednosnih podešavanja sajta.

Zemlje

Ili lista blokiranih (svi mogu da posete sajt osim ovih) ili lista dozvoljenih (niko ne može da poseti sajt osim ovih). To je jedan prekidač i vredi ga pročitati dva puta pre čuvanja: lista dozvoljenih koja sadrži samo jednu zemlju uklanja vaš sajt sa interneta za sve ostale, što je povremeno tačno ono što želite, a u suprotnom predstavlja loše popodne.

Brisanjem liste uklanjaju se sva ograničenja po zemljama; ne postoji poseban korak „deblokiraj svuda“.

⚠️ Lista dozvoljenih bi vas uklonila sa pretraživača Google, a to je detalj koji ljudi propuštaju. Pretraživači vrše indeksiranje sa sopstvenih adresa — Googlebot iz Sjedinjenih Američkih Država, bez obzira na to gde se nalaze vaši posetioci — tako da bi lista dozvoljenih koja ne obuhvata te zemlje blokirala alat za indeksiranje zajedno sa svima ostalima, a sajt koji ne može da se indeksira ispada iz indeksa. To se ne dešava odmah i nije očigledno, što je ono što ga čini skupim.

Zato podrazumevano propuštamo verifikovane pretraživače. Ostavite taj prekidač na miru i Google i Bing će nastaviti da pristupaju vašem sajtu sa mesta odakle vrše indeksiranje, čak i sa listom dozvoljenih koja imenuje jednu zemlju. Možete isključiti izuzeće ako zaista ne želite nikakve izuzetke — to vraća gorenavedeni rizik tačno onako kako je opisano, a ekran to i prikazuje kada to učinite.

⛔ Izuzeće zahteva provajdera koji može da verifikuje alat za indeksiranje, a ne mogu svi to. Verifikacija znači proveru da li je posetilac koji se predstavlja kao Googlebot zaista Google, na osnovu njegovih adresa — a ne uzimanje njegove reči zdravo za gotovo, što svako može da kopira. Naš Cloudflare edge to radi. Bunny, CDN77 i Gcore ne rade, tako da na njima nema ničeg bezbednog što se može propustiti i mi ne propuštamo ništa. Kod provajdera koji ne može da verifikuje alate za indeksiranje, lista dozvoljenih nosi gorenavedeni pun rizik — ekran sajta za zemlje vam govori u kojoj se situaciji nalazite i trebalo bi da ga pročitate pre nego što se oslonite na izuzeće. Tamo je bolje koristiti listu blokiranih.

Pojedinačne adrese

Za određenu smetnju — jedna adresa koja uporno šalje zahteve preko obrasca, jedan sakupljač podataka (scraper). Ovo je pravi alat za šačicu adresa, a pogrešan za napad koji dolazi sa hiljada adresa i menja ih brže nego što možete da kucate. Za to je potrebna zaštita koju pruža CDN.

SEO alati za indeksiranje

SEO alati za indeksiranje trećih strana — oni koji grade baze podataka povratnih veza (backlink) — mogu se blokirati pojedinačno. Ljudi to rade kako bi sprečili konkurenciju da katalogizuje njihov profil veza.

Ovdje ne možete da uklonite sopstveni sajt iz indeksa. Pretraživači namerno nisu na listi za izbor: blokiranje alara Googlebot je odluka sa posledicama koje daleko prevazilaze ono čemu je ovaj ekran namenjen, tako da ekran to neće učiniti. Vaš robots.txt ostaje netaknut ovim podešavanjem i i dalje je vaš.

⚠️ Ta zaštita je specifična za ovu kontrolu. Pravilo o zemljama iznad ima sopstvenu zaštitu, ali uslovnu — ono podrazumevano propušta verifikovane pretraživače, i to samo tamo gde vaš provajder može da ih verifikuje. Ako ste koristili oba, pravilo o zemljama je i dalje ono koje može da vas košta rangiranja, zato proverite šta prikazuje njegov ekran umesto da pretpostavljate da je izuzeće na snazi.

Šta ništa od ovoga nije

Ništa od ovoga nije zamena za ažuriranje softvera. Blokiranje zemlje zaustavlja saobraćaj iz te zemlje; to ne ispravlja zastareli dodatak (plugin) koji je taj saobraćaj pokušavao da ispita.