Каждый сайт и каждый сервер на нашем хостинге по умолчанию блокирует вредоносных ботов и поддельных поисковых роботов. Вам не нужно ничего включать, и это не требует дополнительных расходов.
Что блокируется?
- Известные вредоносные боты: скрейперы, похитители контента, инструменты для рассылки спама и сканеры уязвимостей, которые открыто заявляют о себе в имени.
- Поддельные поисковые роботы: программы, которые выдают себя за известных роботов, таких как Googlebot, Bingbot, Applebot, GPTBot или ClaudeBot, чтобы обойти вашу защиту. Запрос, который заявляет, что исходит от одного из них, но не поступает с официально опубликованных сетевых адресов этой компании, отклоняется.
Проверка выполняется дважды: в нашей сети доставки контента (edge network) до того, как запрос достигнет вашего сервера, и повторно на самом веб-сервере, поэтому запрос, поступающий напрямую на ваш сервер, также проходит проверку.
Что никогда не блокируется?
Настоящие, проверенные роботы проходят всегда. Googlebot, Bingbot, Applebot и подлинные роботы систем ИИ (такие как GPTBot и ClaudeBot) распознаются по источнику их происхождения, а не только по указанному имени, поэтому ваш сайт остается в результатах поиска и в ответах ИИ.
Могу ли я заблокировать роботов ИИ на своем сайте?
Да, и выбор остается за вами для каждого сайта. Перейдите в раздел Сайты, выберите нужный сайт, откройте вкладку CDN и найдите Безопасность и управление ботами → Роботы ИИ:
- Без специальной обработки: роботы ИИ обрабатываются как любые другие посетители.
- Разрешить им доступ: роботы ИИ беспрепятственно пропускаются.
- Проверять их или Блокировать их: роботам ИИ предъявляется проверка или в доступе отказывается на периметре сети. Эти два параметра доступны в рамках защиты от ботов, включенной в ваш тарифный план; на экране отображается, если ваш план ее не содержит.
Мы никогда не изменяем эту настройку за вас. Блокировка поддельных ботов ее не затрагивает: настоящий робот ИИ блокируется только в том случае, если вы сами решите его заблокировать.
Законный запрос был отклонен
Службы мониторинга доступности, обратные вызовы платежных систем и инструменты SEO не затрагиваются, если только они не выдают себя за одного из упомянутых выше роботов. Если используемому вами сервису было отказано в доступе, создайте обращение в службу поддержки с указанием времени и адреса, с которого поступил запрос, и мы рассмотрим этот случай.