Blokování SEO crawlerů
Prvotřídní kontrola Footprint-Free pro každý web: blokujte crawlery pro SEO a zpětné odkazy — Ahrefs, Majestic, Semrush, Moz, Screaming Frog a další — zatímco vyhledávače si zachovají plný přístup. Ve výchozím nastavení zapnuto pro řadu PBN, vynucováno na serveru podle User-Agent, řízeno z ovládacího panelu a MCP. Je to hra s footprint: skryjte odkaz před nástroji konkurence, zůstaňte indexovatelní v SERP.
Hodnota privátní sítě spočívá v odkazu, který nikdo jiný nevidí. Ve chvíli, kdy nástroj konkurenta pro analýzu zpětných odkazů dokáže projít váš web v síti PBN a sledovat jeho odchozí odkaz na váš hlavní web, je síť odhalena — a výhoda je pryč.
Úkol je tedy přesný: zablokovat roboty pro analýzu zpětných odkazů, kteří tyto grafy odkazů vytvářejí — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot a jim podobné — a přitom nechat vyhledávače zcela nedotčené, protože web, který Google nemůže procházet, se nemůže umístit ve výsledcích vyhledávání. Zablokujte špiony, ponechte indexátory.
Jedná se o přepínač pro jednotlivé weby v řadě Footprint-Free, který je ve výchozím stavu zapnutý. Zaškrtněte nebo zrušte zaškrtnutí jednotlivých crawlerů či celé skupiny, uložte změny a systém pro vás pravidla zapíše nebo odebere.
Soubor robots.txt je pouze doporučující a agresivní crawlery jej ignorují — bylo zjištěno, že Majestic dělá přesně toto. Skutečné blokování tedy probíhá na serveru, přičemž robots.txt slouží pouze jako zdvořilostní vrstva navíc.
Vynucení představuje zákaz User-Agent prostřednictvím .htaccess, LiteSpeed nebo nginx, který zapisuje hostingový proces a plugin Zinn® z Vašich uložených přepínačů. Toto je pravidlo, které crawlera skutečně zastaví, protože nezávisí na jeho dobré vůli.
Pro crawlery, které to respektují, také píšeme robots.txt Disallow – pro jistotu, aby byly slušné nástroje odmítnuty zdvořile a ty neukázněné nekompromisně.
Některé crawlery se skrývají za falešné uživatelské agenty. Pro nejhorší narušitele můžeme přidat blokování známých IP adres nebo ASN, takže se crawler předstírající, že je prohlížeč, stále dovnitř nedostane.
Googlebot, Bingbot a další indexovací roboti se v seznamu blokovaných nikdy nenacházejí. Blokování je zaměřeno výhradně na nástroje pro zpětné odkazy, takže indexace a pozice ve vyhledávání zůstávají nedotčeny.
Častou obavou je, že zablokování nástroje Majestic způsobí, že Trust Flow domény zmizí. Nestane se tak. Hodnoty Trust Flow a Citation Flow se počítají z grafu příchozích zpětných odkazů domény — tedy z odkazů, které na ni směřují a které Majestic nachází procházením jiných webů — nikoli procházením samotné domény.
Blokování robota MajesticBot na vašem webu PBN zabrání službě Majestic vidět odchozí odkazy tohoto webu, což je přesně ten footprint, který chcete skrýt. Tím se neodstraní Trust Flow ani Citation Flow domény z API služby Majestic, takže naše vlastní kontroly SEO dat tyto metriky nadále normálně načítají. Totéž platí pro Ahrefs DR a Moz DA — všechno jsou to metriky příchozích odkazů.
Crawlery pro SEO a zpětné odkazy — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot a podobné. Vyhledávačů se to nikdy nedotkne: Googlebot, Bingbot a další indexovací roboti si zachovávají plný přístup, protože možnost indexace je celým smyslem. Můžete zaškrtnout a odškrtnout jednotlivé crawlery nebo skupinu a uložit změny.
Ne. Blokovány jsou pouze crawlery pro analýzu zpětných odkazů; vyhledávače, které určují Vaše pozice, zůstávají zcela nedotčeny. Web zůstává indexovatelný a způsobilý k hodnocení — svůj graf odkazů skrýváte před nástroji konkurence, nikoli před Google.
Na serveru, podle User-Agent — zákaz pomocí .htaccess, LiteSpeed nebo nginx — protože robots.txt má pouze doporučující charakter a agresivní crawlery jej zpravidla ignorují. Pro ty poslušné píšeme také robots.txt Disallow a můžeme přidat blokování známých IP nebo ASN pro nejhorší narušitele, kteří procházejí web pod falešnými user-agenty. Systém pravidla automaticky zapisuje a odstraňuje na základě Vašich uložených přepínačů.
Ne. Hodnoty Trust Flow a Citation Flow se počítají z grafu příchozích zpětných odkazů domény – tedy z odkazů, které na ni vedou a které Majestic nalezl při procházení jiných webů – nikoli procházením samotné domény. Blokování bota MajesticBot na webu zabrání nástroji Majestic vidět jeho odchozí odkazy, což je právě ten footprint, který si přejete skrýt, ale metriky domény v rozhraní API nástroje Majestic ponechá beze změny. Stejná logika platí i pro Ahrefs DR a Moz DA.
V řadě Footprint-Free ano — blokování crawlerů je ve výchozím nastavení zapnuto, protože skrytí odkazu mezi PBN a primárním webem (money site) je jádrem footprint hry. Máte plnou kontrolu nad úpravou toho, kteří crawleři jsou pro jednotlivé weby blokováni.
Zahajte 14denní zkušební verzi bez platební karty a blokujte crawlery zpětných odkazů pro jednotlivé weby, zatímco vyhledávače si zachovají plný přístup — u řady Footprint-Free ve výchozím nastavení zapnuto, řízeno z řídicího panelu a MCP.
Začněte zdarma