Blocare crawler SEO
Un control Footprint-Free de primă clasă pentru fiecare site: blocați crawlerii de SEO și backlinkuri — Ahrefs, Majestic, Semrush, Moz, Screaming Frog și restul — în timp ce motoarele de căutare păstrează accesul complet. Activat în mod implicit pentru linia PBN, aplicat la nivel de server prin User-Agent, gestionat din panoul de control și din MCP. Este jocul de footprint: ascundeți linkul de instrumentele concurenților, rămâneți indexabil în SERP-uri.
Valoarea unei rețele private constă în linkul pe care nimeni altcineva nu îl poate vedea. În momentul în care instrumentul de backlink-uri al unui concurent vă poate explora site-ul PBN și poate urmări linkul de ieșire către site-ul dumneavoastră principal, rețeaua este expusă — iar avantajul dispare.
Așadar, sarcina este precisă: blocați crawlerii de analiză a backlinkurilor care construiesc acele grafice de linkuri — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot și alții asemenea — lăsând motoarele de căutare complet neatinse, deoarece un site pe care Google nu îl poate accesa cu crawlere nu se poate clasa. Blocați spionii, păstrați indexatorii.
Acesta este un comutator per site din linia Footprint-Free, activat în mod implicit. Bifați sau debifați fiecare crawler sau un grup întreg, salvați, iar motorul va scrie sau va elimina regulile pentru dumneavoastră.
Fișierul robots.txt este doar consultativ, iar crawlerii agresivi îl ignoră — s-a observat că Majestic face exact acest lucru. Prin urmare, blocarea reală are loc la nivelul serverului, robots.txt fiind doar un strat suplimentar de curtoazie.
Aplicarea este o regulă de refuz User-Agent prin .htaccess, LiteSpeed sau nginx, scrisă de procesul de găzduire și de modulul Zinn® pe baza comutatoarelor dumneavoastră salvate. Aceasta este regula care oprește cu adevărat un crawler, deoarece nu depinde de bunăvoința acestuia.
De asemenea, scriem o directivă robots.txt Disallow pentru roboții de căutare care o respectă — o măsură de siguranță suplimentară, astfel încât instrumentele corecte să fie respinse politicos, iar cele abuzive să fie respinse cu fermitate.
Unele programe de accesare cu crawlere se ascund în spatele unor agenți utilizator falși. Pentru cei mai gravi infractori putem adăuga blocări de adrese IP sau ASN cunoscute, astfel încât un program de accesare cu crawlere care pretinde a fi un browser să nu poată intra în continuare.
Googlebot, Bingbot și ceilalți indexatori nu se află niciodată pe lista de blocare. Blocarea vizează exclusiv instrumentele de backlink-uri, astfel încât indexarea și clasamentele rămân neatinse.
O îngrijorare frecventă este că blocarea Majestic va duce la dispariția Trust Flow al unui domeniu. Acest lucru nu se va întâmpla. Trust Flow și Citation Flow sunt calculate pe baza grafului de backlinkuri primite ale unui domeniu — linkurile care trimit către acesta, pe care Majestic le găsește prin scanarea altor site-uri — și nu prin scanarea domeniului în sine.
Blocarea MajesticBot pe site-ul dumneavoastră PBN împiedică Majestic să vadă linkurile externe ale acelui site, ceea ce reprezintă exact amprenta (footprint) pe care doriți să o ascundeți. Acest lucru nu elimină valorile Trust Flow sau Citation Flow ale domeniului din API-ul Majestic, astfel încât propriile noastre verificări de date SEO continuă să citească acești parametri în mod normal. Același lucru este valabil și pentru Ahrefs DR și Moz DA — toate fiind măsuri ale linkurilor primite.
Crawlerii de SEO și backlinkuri — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot și alții similari. Motoarele de căutare nu sunt niciodată afectate: Googlebot, Bingbot și ceilalți indexatori păstrează acces complet, deoarece a rămâne indexabil este întregul scop. Puteți bifa și debifa fiecare crawler, sau un grup, și puteți salva.
Nu. Sunt blocați doar crawlerii de analiză a backlinkurilor; motoarele de căutare care vă poziționează rămân complet neafectate. Site-ul rămâne indexabil și poate fi poziționat — vă ascundeți graful de linkuri de instrumentele concurenților, nu de Google.
La nivel de server, prin User-Agent — o regulă de refuz în .htaccess, LiteSpeed sau nginx — deoarece robots.txt are doar rol consultativ, iar crawlerii agresivi sunt cunoscuți pentru faptul că îl ignoră. Scriem, de asemenea, o directivă robots.txt Disallow pentru cei conformi și putem adăuga blocări de IP sau ASN cunoscute pentru cei mai periculoși atacatori care scanează folosind user-agents falși. Motorul scrie și elimină automat regulile pe baza setărilor dumneavoastră salvate.
Nu. Trust Flow și Citation Flow sunt calculate pe baza grafului de backlinkuri de intrare al unui domeniu — linkuri către acesta, găsite de Majestic prin scanarea altor site-uri — nu prin scanarea domeniului în sine. Blocarea MajesticBot pe site împiedică Majestic să îi vadă linkurile de ieșire, care reprezintă acel footprint pe care doriți să îl ascundeți, dar lasă intacte valorile domeniului în API-ul Majestic. Aceeași logică se aplică și pentru Ahrefs DR și Moz DA.
Pe linia Footprint-Free, da — blocarea roboților de căutare este activată în mod prestabilit, deoarece ascunderea legăturii dintre PBN și money site reprezintă esența evitării amprentelor SEO. Dumneavoastră păstrați controlul total pentru a ajusta ce roboți de căutare sunt blocați pentru fiecare site.
Începeți o perioadă de probă de 14 zile fără card și blocați roboții de indexare a backlinkurilor pentru fiecare site, în timp ce motoarele de căutare păstrează accesul complet — activat implicit pentru linia Footprint-Free, gestionat din panoul de control și din MCP.
Începeți gratuit