Блокирање земаља, адреса и веб-паука

Ово су три различите поставке за три различита проблема. Приступите им из безбедносних поставки сајта.

Земље

Или листа блокираних (сви могу да посете осим ових) или листа дозвољених (нико не може да посети осим ових). То је један прекидач и вреди га прочитати двапут пре него што сачувате: листа дозвољених која садржи једну земљу уклања ваш сајт са интернета за све остале, што је понекад управо оно што желите, а у супротном представља покварено поподне.

Брисање листе уклања сва ограничења по земљама; не постоји посебан корак „одблокирај свуда“.

⚠️ Листа дозвољених би вас уклонила са претраживача Google, и то је део који људи превиде. Претраживачи пузе са сопствених адреса — Googlebot из Сједињених Америчких Држава, где год да су ваши посетиоци — тако да би листа дозвољених која не укључује те земље блокирала робота за претрагу заједно са свима осталима, а сајт који се не може пузити испада из индекса. То се не дешава одмах и није очигледно, што га и чини скупим.

Зато подразумевано пропуштамо верификоване претраживаче. Оставите тај прекидач на миру и Google и Bing настављају да приступају вашем сајту одакле год да пузе, чак и са листом дозвољених која наводи само једну земљу. Можете искључити ово изузеће ако заиста не желите никакве изузетке — то враћа горенаведени ризик тачно онако како је описано, и екран вас на то упозорава када то урадите.

⛔ За изузеће је потребан провајдер који може да верификује робота за претрагу, а не могу сви. Верификација значи проверу да је посетилац који се представља као Googlebot заиста Google, преко његових адреса — а не веровање на реч, што свако може да копира. Наша Cloudflare мрежа на ивици (edge) то ради. Bunny, CDN77 и Gcore то не раде, па на њима нема ничег безбедног за пропуштање и ми не пропуштамо ништа. Код провајдера који не може да верификује роботе за претрагу, листа дозвољених носи пун горенаведени ризик — екран за земље на вашем сајту говори вам у ком сте случају, и требало би да га прочитате пре него што се ослоните на изузеће. Тамо радије користите листу блокираних.

Појединачне адресе

За конкретне сметње — једна адреса која непрестано шаље захтеве на образац, један програм за стругање података (scraper). Ово је прави алат за неколико адреса, а погрешан за напад, који долази са више хиљада адреса и мења их брже него што можете да куцате. За то вам је потребна заштита коју пружа CDN.

SEO роботи за претрагу

SEO роботи за претрагу трећих страна — они који граде базе података повратних веза — могу се блокирати појединачно. Људи то раде како би спречили конкуренте да каталогизују њихов профил веза.

Овде не можете деиндексирати сопствени сајт. Претраживачи намерно нису на листи за избор: блокирање робота Googlebot је одлука са последицама које далеко превазилазе сврху овог екрана, тако да овај екран то неће урадити. Ова поставка не дира ваш robots.txt и он остаје само ваш.

⚠️ Та заштита је специфична за ову контролу. Горенаведено правило за земље има сопствени заштитни механизам, али условни — подразумевано пропушта верификоване претраживаче, и то само тамо где ваш провајдер може да их верификује. Ако сте употребили оба, правило за земље је и даље оно које вас може коштати позиција на претраживачима, па проверите шта његов екран приказује уместо да претпоставите да је изузеће на снази.

Шта ништа од овога није

Ништа од овога није замена за редовно ажурирање софтвера. Блокирање неке земље зауставља саобраћај из те земље; оно не поправља застарели додатак који је тај саобраћај покушавао да искористи.