Blokování SEO crawlerů
Prvotřídní ovládání Footprint-Free pro každý web: zablokujte SEO a zpětné crawlery – Ahrefs, Majestic, Semrush, Moz, Screaming Frog a ostatní – zatímco vyhledávače si zachovají plný přístup. Ve výchozím nastavení zapnuto pro řadu PBN, vynuceno na serveru pomocí User-Agent, spravované z dashboardu a MCP. Je to hra se stopami: skryjte odkaz před nástroji konkurence a zůstaňte indexovatelní ve výsledcích SERP.
Hodnota privátní sítě spočívá v odkazu, který nikdo jiný nevidí. V okamžiku, kdy nástroj konkurence pro analýzu zpětných odkazů dokáže projít váš PBN web a sledovat jeho odchozí odkaz na váš hlavní web, je síť prozrazena – a výhoda je pryč.
Úkol je tedy jasný: zablokovat crawlery pro analýzu zpětných odkazů, které sestavují tyto mapy odkazů – Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot a jim podobné – a zároveň nechat vyhledávače zcela nedotčené, protože web, který Google nedokáže projít, nemůže se umístit v žebříčku. Zablokujte špiony, ponechte indexovače.
Jedná se o přepínač pro jednotlivé weby v řadě Footprint-Free, který je ve výchozím nastavení zapnutý. Zaškrtněte nebo zrušte zaškrtnutí jednotlivých crawlerů nebo celé skupiny, uložte změny a systém za vás vytvoří nebo odstraní příslušná pravidla.
Soubor robots.txt je pouze orientační a agresivní indexovací roboti ho ignorují – bylo pozorováno, že Majestic dělá přesně to. Skutečné blokování tedy probíhá na serveru, přičemž robots.txt slouží jako dodatečná zdvořilostní vrstva.
Vynucení probíhá pomocí pravidel User-Agent deny v souboru .htaccess, LiteSpeed nebo nginx, která vytvoří hostující worker a plugin Zinn® na základě vašich uložených přepínačů. Toto je pravidlo, které crawler skutečně zastaví, protože nezávisí na jeho dobré vůli.
Pro crawlery, které to respektují, také zapisujeme robots.txt Disallow – pro jistotu, takže slušné nástroje jsou zdvořile odmítnuty a ty zlobivé jsou odmítnuty rázně.
Někteří influenceři se skrývají za falešné uživatelské agenty. Pro ty nejhorší případy můžeme přidat zákaz známých IP adres nebo ASN, takže se crawler vydávající za prohlížeč přesto nedostane dovnitř.
Googlebot, Bingbot a ostatní indexovače nejsou nikdy na seznamu blokovaných. Blokování je cíleno výhradně na nástroje pro zpětné odkazy, takže indexace a pozice ve vyhledávání zůstanou nedotčeny.
Častou obavou je, že zablokování Majestic způsobí vymizení ukazatele Trust Flow dané domény. Nestane se to. Hodnoty Trust Flow a Citation Flow se počítají z grafu příchozích zpětných odkazů domény – tedy odkazů, které na ni směřují a které Majestic vyhledává procházením jiných webů –, nikoliv procházením samotné domény.
Blokování bota MajesticBot na vašem PBN webu zabrání Majesticu v zobrazení odchozích odkazů daného webu, což je přesně ten footprint, který chcete skrýt. Neodstraní to však Trust Flow ani Citation Flow domény z API Majesticu, takže naše vlastní kontroly SEO dat budou tyto metriky nadále číst normálně. Totéž platí pro Ahrefs DR a Moz DA – všechna měřítka příchozích odkazů.
SEO a zpětné odkazy – Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot a podobní. Vyhledávačů se to netýká: Googlebot, Bingbot a další indexovače mají plný přístup, protože zůstat indexovatelný je hlavní smysl. Každého crawlera nebo celou skupinu můžete zaškrtnout, odškrtnout a uložit.
Ne. Blokováni jsou pouze crawleři provádějící analýzu zpětných odkazů; vyhledávače, které vás řadí ve výsledcích, jsou ponechány zcela napočtu. Stránka zůstává indexovatelná a pozicovatelná — svůj odkazový graf skrýváte před nástroji konkurenčních firem, nikoli před Google.
Na úrovni serveru pomocí User-Agentu — zákaz v souboru .htaccess, LiteSpeed nebo nginx — protože soubor robots.txt je pouze doporučující a je známo, že agresivní crawlery jej ignorují. Pro ty slušné rovněž vytváříme pravidlo Disallow v robots.txt a pro nejhorší narušitele, kteří procházejí pod falešnými User-Agenty, můžeme přidat zákazy podle známých IP adres nebo ASN. Engine zapisuje a odstraňuje pravidla automaticky na základě vámi uložených přepínačů.
Ne. Trust Flow a Citation Flow se počítají z grafu příchozích zpětných odkazů domény – odkazů na ni, které Majestic objevil procházením jiných webů –, nikoliv procházením samotné domény. Zablokování bota MajesticBot na webu zabrání tomu, aby Majestic viděl jeho odchozí odkazy, což je footprint, který chcete skrýt, ale metriky domény v API služby Majestic zůstanou nedotčené. Stejná logika platí pro Ahrefs DR a Moz DA.
Na řadě Footprint-Free – ano, blokování crawlerů je zapnuté ve výchozím nastavení, protože skrytí odkazu z PBN na výdělečný web je jádrem celé hry s footprinty. Máte plnou kontrolu nad úpravou toho, které crawlery jsou pro jednotlivé weby blokovány.
Zahajte 14denní zkušební verzi bez platební karty a blokujte crawlery zpětných odkazů pro jednotlivé weby, zatímco vyhledávače budou mít plný přístup – u řady Footprint-Free je tato funkce ve výchozím nastavení zapnutá a lze ji ovládat z ovládacího panelu a MCP.
Začít zdarma