Блокировка SEO-краулеров
Первоклассный контроль Footprint-Free для каждого сайта: блокируйте SEO- и обратные краулеры — Ahrefs, Majestic, Semrush, Moz, Screaming Frog и остальные — в то время как поисковые системы сохраняют полный доступ. По умолчанию включено для линейки PBN, принудительно применяется на сервере по User-Agent, управляется из панели управления и MCP. Это игра в цифровые следы: скройте ссылку от инструментов конкурентов, оставаясь доступными для индексации в поисковой выдаче.
Ценность частной сети заключается в ссылке, которую больше никто не видит. В тот момент, когда инструмент конкурентов для анализа обратных ссылок сможет просканировать ваш сайт PBN и перейти по его исходящей ссылке на ваш коммерческий сайт, сеть будет раскрыта — и преимущество пропадет.
Суть задачи заключается в следующем: заблокировать краулеры для анализа обратных ссылок, которые строят эти графы ссылок — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot и им подобных — оставив поисковые системы абсолютно нетронутыми, поскольку сайт, который Google не может просканировать, не может и ранжироваться. Заблокируйте шпионов, сохраните индексаторы.
Это переключатель для каждого сайта в линейке Footprint-Free, включенный по умолчанию. Отметьте галочкой или снимите ее с каждого краулера или целой группы, сохраните, и движок сам запишет или удалит правила для вас.
Файл robots.txt носит рекомендательный характер, и агрессивные роботы игнорируют его — было замечено, что Majestic делает именно это. Поэтому реальная блокировка происходит на уровне сервера, а robots.txt служит лишь вспомогательным слоем поверх него.
Блокировка реализуется через запрет User-Agent в .htaccess, LiteSpeed или nginx, который создается системным работником хостинга и плагином Zinn® на основе сохраненных вами переключателей. Это правило реально останавливает краулер, поскольку оно не зависит от доброй воли самого краулера.
Мы также прописываем директиву Disallow в robots.txt для краулеров, которые ее соблюдают — на всякий случай, чтобы послушные инструменты получали вежливый отказ, а нарушители — жесткий отпор.
Некоторые краулеры маскируются под фальшивые User-Agent. Для самых злостных нарушителей мы можем добавить блокировку по IP или ASN, чтобы краулер, выдающий себя за браузер, всё равно не смог получить доступ.
Googlebot, Bingbot и другие индексаторы никогда не попадают в список блокировки. Блокировка направлена исключительно на инструменты для работы с обратными ссылками, поэтому индексация и позиции в выдаче остаются неизменными.
Обычное опасение заключается в том, что блокировка Majestic заставит Trust Flow домена исчезнуть. Этого не произойдет. Trust Flow и Citation Flow вычисляются на основе графа входящих обратных ссылок домена — ссылок, указывающих на него, которые Majestic находит путем сканирования других сайтов, а не путем сканирования самого домена.
Блокировка MajesticBot на вашем сайте PBN мешает Majestic видеть исходящие ссылки этого сайта, что как раз и является тем цифровым следом, который вы хотите скрыть. Это не удаляет Trust Flow или Citation Flow домена из API Majestic, поэтому наши собственные проверки SEO-данных продолжают считывать эти показатели в обычном режиме. То же самое относится к Ahrefs DR и Moz DA — всем метрикам входящих ссылок.
Краулеры SEO и обратных ссылок — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot и им подобные. Поисковые роботы не затрагиваются: Googlebot, Bingbot и другие индексаторы сохраняют полный доступ, поскольку сохранение возможности индексации — это и есть главная цель. Вы можете отмечать галочками и снимать их с каждого краулера или группы, а затем сохранить изменения.
Нет. Блокируются только сканеры для анализа обратных ссылок; поисковые системы, которые вас ранжируют, остаются абсолютно нетронутыми. Сайт остается доступным для индексации и ранжирования — вы скрываете свой ссылочный граф от инструментов конкурентов, а не от Google.
На уровне сервера по User-Agent — через .htaccess, LiteSpeed или запрет в nginx, поскольку robots.txt носит лишь рекомендательный характер, а агрессивные сканеры его обычно игнорируют. Мы также пишем правило Disallow в robots.txt для добросовестных роботов и можем добавить запреты по IP-адресам или ASN для самых злостных нарушителей, которые сканируют сайт поддельными User-Agent. Система автоматически добавляет и удаляет правила на основе сохраненных вами переключателей.
Нет. Trust Flow и Citation Flow вычисляются на основе графа входящих обратных ссылок домена (ссылок на него, обнаруженных при сканировании Majestic других сайтов), а не путем сканирования самого домена. Блокировка MajesticBot на сайте мешает Majestic видеть его исходящие ссылки (что и является скрываемым фулпринтом), но сохраняет метрики домена в API Majestic в неизменном виде. Тот же принцип применим к Ahrefs DR и Moz DA.
Да, для линейки Footprint-Free блокировка краулеров включена по умолчанию, поскольку сокрытие ссылок с PBN на денежный сайт лежит в основе всей этой игры с цифровыми следами. У вас остается полный контроль над настройкой блокировки краулеров для каждого сайта отдельно.
Начните 14-дневный пробный период без привязки карты и блокируйте сканеры обратных ссылок для каждого сайта, пока поисковые системы сохраняют полный доступ — эта функция включена по умолчанию для линейки Footprint-Free и управляется из панели управления и MCP.
Начать бесплатно