Блокування пошукових роботів
Першокласний контроль Footprint-Free для кожного сайту: блокуйте пошукові та зворотні краулери — Ahrefs, Majestic, Semrush, Moz, Screaming Frog та інші — тоді як пошукові системи зберігають повний доступ. Увімкнено за замовчуванням для лінійки PBN, забезпечується на сервері за User-Agent, керується з панелі керування та MCP. Це гра зі слідами: сховайте посилання від інструментів конкурентів, залишаючись доступними для індексації в SERP.
Цінність приватної мережі полягає в посиланні, якого більше ніхто не бачить. Щойно інструмент аналізу зворотних посилань конкурента зможе просканувати ваш PBN-сайт і перейти за його вихідним посиланням на ваш основний сайт, мережа викривається — і перевага зникає.
Тож завдання точне: заблокувати краулери для аналізу зворотних посилань, які створюють ці графи посилань — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot та їм подібні — при цьому взагалі не чіпаючи пошукові системи, адже сайт, який Google не може сканувати, не може ранжуватися. Блокуйте шпигунів, залишайте індексатори.
Це перемикач для кожного сайту в лінійці Footprint-Free, увімкнений за замовчуванням. Позначте або зніміть позначку для кожного пошукового робота чи цілої групи, збережіть, і система автоматично створить або видалить правила для вас.
robots.txt має рекомендаційний характер, і агресивні пошукові роботи ігнорують його — було помічено, що Majestic чинить саме так. Тому справжнє блокування діє на рівні сервера, а robots.txt є лише шаром ввічливості поверх нього.
Застосування — це заборона User-Agent у .htaccess, LiteSpeed або nginx, створена робочим процесом хостингу та плагіном Zinn® на основі збережених Вами налаштувань. Це правило дійсно зупиняє пошукового робота, оскільки воно не залежить від його доброї волі.
Ми також прописуємо Disallow у robots.txt для пошукових роботів, які його дотримуються — подвійний захист, щоб чемні інструменти відхилялися ввічливо, а неслухняні — рішуче.
Деякі пошукові роботи маскуються за підробленими user-agent. Для найбільш злісних порушників ми можемо додати блокування відомих IP або ASN, тому робот, який видає себе за браузер, усе одно не зможе проникнути.
Googlebot, Bingbot та інші індексатори ніколи не потрапляють до списку блокування. Блокування спрямоване виключно на інструменти аналізу зворотних посилань, тому індексація та позиції в рейтингу залишаються без змін.
Поширеним побоюванням є те, що блокування Majestic призведе до зникнення Trust Flow домену. Цього не станеться. Trust Flow і Citation Flow обчислюються на основі графа вхідних зворотних посилань домену — посилань, які вказують на нього, котрі Majestic знаходить шляхом сканування інших сайтів, а не шляхом сканування самого домену.
Блокування MajesticBot на вашому PBN-сайті не дозволяє Majestic бачити вихідні посилання цього сайту, що є саме тим SEO-слідом, який ви хочете приховати. Це не видаляє Trust Flow або Citation Flow домену з API Majestic, тому наші власні перевірки SEO-даних продовжують зчитувати ці метрики у звичайному режимі. Те саме стосується Ahrefs DR та Moz DA — усіх показників вхідних посилань.
Краулери для SEO та зворотних посилань — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot тощо. Пошукові системи ніколи не зачіпаються: Googlebot, Bingbot та інші індексатори зберігають повний доступ, оскільки збереження можливості індексації є головною метою. Ви можете вибирати та скасовувати вибір кожного краулера або групи й зберігати зміни.
Ні. Блокуються лише краулери для аналізу зворотних посилань; пошукові системи, які вас ранжують, залишаються абсолютно незачепленими. Сайт залишається доступним для індексації та ранжування — ви приховуєте свій граф посилань від інструментів конкурентів, а не від Google.
На рівні сервера, за User-Agent — блокування через .htaccess, LiteSpeed або nginx — оскільки robots.txt має лише рекомендаційний характер, а агресивні краулери зазвичай ігнорують його. Ми також прописуємо директиву Disallow у robots.txt для слухняних ботів і можемо додати блокування за відомими IP або ASN для найгірших порушників, які сканують під підробленими User-Agent. Механізм автоматично створює та видаляє правила на основі збережених вами перемикачів.
Ні. Trust Flow та Citation Flow обчислюються на основі графа вхідних зворотних посилань домену — посилань на нього, знайдених Majestic під час сканування інших сайтів, — а не шляхом сканування самого домену. Блокування MajesticBot на сайті зупиняє перегляд Majestic його вихідних посилань, тобто того сліду, який ви хочете приховати, але залишає метрики домену в API Majestic недоторканими. Та сама логіка стосується Ahrefs DR та Moz DA.
У лінійці Footprint-Free — так, блокування краулерів увімкнено за замовчуванням, оскільки приховування зв'язку між PBN і money site є основою усунення пошукового сліду. Ви зберігаєте повний контроль над налаштуванням того, які саме краулери блокуються для кожного сайту.
Почніть 14-денний пробний період без банківської картки та блокуйте краулери зворотних посилань для кожного сайту, зберігаючи повний доступ для пошукових систем — увімкнено за замовчуванням для лінійки Footprint-Free, керується з панелі керування та MCP.
Почати безкоштовно