Блокировка поисковых роботов
Первоклассный контроль Footprint-Free для каждого сайта: блокируйте поисковые и обратные краулеры — Ahrefs, Majestic, Semrush, Moz, Screaming Frog и остальные — в то время как поисковые системы сохраняют полный доступ. Включено по умолчанию для линейки PBN, применяется на уровне сервера по User-Agent, управляется из панели управления и MCP. Это игра со следами: скройте ссылку от инструментов конкурентов, оставаясь доступными для индексации в поисковой выдаче.
Ценность приватной сети заключается в ссылке, которую никто больше не видит. В тот момент, когда инструмент анализа обратных ссылок конкурента сможет просканировать ваш PBN-сайт и перейти по исходящей ссылке на ваш основной сайт, сеть оказывается раскрыта — и преимущество теряется.
Поэтому задача предельно ясна: заблокировать краулеры для анализа обратных ссылок, которые строят эти графы ссылок — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot и подобные им, — оставив поисковые системы абсолютно нетронутыми, поскольку сайт, который Google не может просканировать, не может ранжироваться. Блокируйте шпионов, сохраняйте индексаторы.
Это переключатель для каждого сайта в линейке Footprint-Free, включенный по умолчанию. Отметьте или снимите отметку с каждого робота или целой группы, сохраните изменения, и система сама создаст или удалит правила за вас.
Файл robots.txt носит рекомендательный характер, и агрессивные краулеры его игнорируют — было замечено, что Majestic поступает именно так. Поэтому настоящая блокировка осуществляется на сервере, а robots.txt служит лишь дополнительным уровнем вежливости.
Принудительное применение представляет собой запрет по User-Agent в .htaccess, LiteSpeed или nginx, сформированный рабочим процессом хостинга и плагином Zinn® на основе сохраненных вами настроек. Это правило действительно останавливает поискового робота, поскольку оно не зависит от его доброй воли.
Мы также прописываем директиву Disallow в robots.txt для поисковых роботов, которые её соблюдают, — для двойной надежности, чтобы благонадежные инструменты отклонялись вежливо, а нарушители — решительно.
Некоторые поисковые роботы маскируются поддельными агентами пользователя. Для наиболее злостных нарушителей мы можем добавить запреты по известным IP-адресам или ASN, чтобы робот, выдающий себя за браузер, все равно не смог проникнуть.
Googlebot, Bingbot и другие поисковые роботы никогда не попадают в список блокировки. Блокировка нацелена исключительно на инструменты обратных ссылок, поэтому индексация и позиции остаются нетронутыми.
Распространенное опасение заключается в том, что блокировка Majestic приведет к исчезновению Trust Flow домена. Этого не произойдет. Trust Flow и Citation Flow рассчитываются на основе графа входящих обратных ссылок домена — ссылок, указывающих на него, которые Majestic находит путем сканирования других сайтов, а не путем сканирования самого домена.
Блокировка MajesticBot на вашем PBN-сайте закрывает для Majestic исходящие ссылки с этого сайта, что и является тем самым следом (footprint), который вы хотите скрыть. Это не удаляет Trust Flow или Citation Flow домена из API Majestic, поэтому наши собственные проверки SEO-данных продолжают считывать эти показатели в обычном режиме. То же самое относится к Ahrefs DR и Moz DA — всем метрикам входящих ссылок.
Краулеры для SEO и обратных ссылок — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot и подобные. Поисковые системы никогда не затрагиваются: Googlebot, Bingbot и другие индексаторы сохраняют полный доступ, поскольку сохранение доступности для индексации — это главная цель. Вы можете отмечать и снимать отметки с каждого краулера или группы и сохранять изменения.
Нет. Блокируются только краулеры для анализа обратных ссылок; поисковые системы, которые вас ранжируют, остаются полностью нетронутыми. Сайт остаётся доступным для индексации и ранжирования — вы скрываете свой ссылочный профиль от инструментов конкурентов, а не от Google.
На уровне сервера, по User-Agent — запрет через .htaccess, LiteSpeed или nginx — поскольку robots.txt носит лишь рекомендательный характер, а агрессивные краулеры, как известно, игнорируют его. Мы также прописываем директиву Disallow в robots.txt для добросовестных ботов и можем добавить блокировку по известным IP или ASN для наиболее злостных нарушителей, сканирующих под поддельными User-Agent. Механизм автоматически создает и удаляет правила на основе сохраненных вами переключателей.
Нет. Trust Flow и Citation Flow рассчитываются на основе графа входящих обратных ссылок домена — ссылок на него, обнаруженных Majestic при сканировании других сайтов, — а не путем сканирования самого домена. Блокировка MajesticBot на сайте не позволяет Majestic видеть исходящие ссылки, то есть тот самый след, который вы хотите скрыть, но оставляет метрики домена в API Majestic нетронутыми. Та же логика применима к DR от Ahrefs и DA от Moz.
В линейке Footprint-Free — да, блокировка краулеров включена по умолчанию, поскольку сокрытие связи между PBN и money site лежит в основе устранения поискового следа. Вы сохраняете полный контроль над тем, каких именно краулеров блокировать для каждого сайта.
Начните 14-дневный пробный период без привязки карты и блокируйте краулеры обратных ссылок для каждого сайта, сохраняя при этом полный доступ для поисковых систем — включено по умолчанию для линейки Footprint-Free, настраивается из панели управления и MCP.
Начать бесплатно