Блокировка стран, адресов и поисковых роботов

Это три разные настройки для трех разных задач. Вы можете перейти к ним из настроек безопасности сайта.

Страны

Либо черный список (посещать могут все, кроме указанных), либо белый список (посещать не может никто, кроме указанных). Это один переключатель, и перед сохранением стоит перечитать дважды: белый список, содержащий одну страну, отключает ваш сайт от интернета для всех остальных, что в редких случаях именно то, что вам нужно, а в остальных — испорченный день.

Очистка списка снимает все ограничения по странам; отдельного шага «разблокировать везде» нет.

⚠️ Белый список удалит вас из Google, и именно этот момент часто упускают из виду. Поисковые системы сканируют с собственных адресов — Googlebot из США, где бы ни находились ваши посетители, — поэтому белый список, не включающий эти страны, заблокирует поискового робота вместе со всеми остальными, а сайт, который невозможно просканировать, выпадает из индекса. Это происходит не сразу и неочевидно, что и делает такую ошибку критической.

Поэтому по умолчанию мы пропускаем проверенные поисковые системы. Не трогайте этот переключатель, и Google и Bing продолжат получать доступ к вашему сайту отовсюду, откуда они сканируют, даже при наличии белого списка с одной страной. Вы можете отключить исключение, если вам действительно не нужны никакие поблажки — это вернет указанный выше риск в точности как описано, о чем интерфейс прямо предупреждает при отключении.

⛔ Для работы исключения требуется провайдер, умеющий верифицировать роботов, а они поддерживают это не все. Проверка означает подтверждение того, что посетитель, называющий себя Googlebot, действительно является Google, по его адресам — без доверия на слово, которое может скопировать любой желающий. Наш сервис на базе Cloudflare делает это. Bunny, CDN77 и Gcore этого не делают, поэтому на них нет ничего безопасного для пропуска, и мы не пропускаем ничего. У провайдера, который не может проверять роботов, белый список несет в себе весь описанный выше риск — интерфейс настроек стран покажет, какой у вас случай, и вам следует ознакомиться с этим, прежде чем полагаться на исключение. В такой ситуации отдайте предпочтение черному списку.

Индивидуальные адреса

Для точечных проблем — единичный адрес, атакующий форму, отдельный скрапер. Это подходящий инструмент для нескольких адресов и неподходящий для масштабной атаки, которая исходит с тысяч адресов и меняет их быстрее, чем вы успеваете печатать. Для таких случаев предназначена защита CDN.

SEO-роботы

Сторонних SEO-роботов — тех, что собирают базы обратных ссылок, — можно блокировать по отдельности. Это делают для того, чтобы защитить ссылочный профиль от анализа конкурентами.

Здесь вы не сможете случайно исключить себя из индекса. Поисковых систем намеренно нет в списке доступных вариантов: блокировка Googlebot влечет за собой последствия, далеко выходящие за рамки назначения этого раздела, поэтому интерфейс не позволит этого сделать. Ваш robots.txt не затрагивается этой настройкой и остается полностью под вашим контролем.

⚠️ Эта защита специфична для данного элемента управления. У правила по странам выше есть собственный защитный механизм, но с условием — оно пропускает проверенные поисковые системы по умолчанию и только там, где ваш провайдер способен их верифицировать. Если вы настроили и то, и другое, именно правило по странам все еще может стоить вам позиций в выдаче, поэтому проверьте состояние в его интерфейсе, а не надейтесь вслепую, что исключение действует.

Чем ничто из этого не является

Ни один из этих инструментов не заменяет своевременное обновление программного обеспечения. Блокировка страны останавливает трафик из этой страны; она не исправляет устаревший плагин, уязвимости которого этот трафик пытался прощупать.