Blocarea crawler-ului SEO
Un control de primă clasă, per-site, fără urme (Footprint-Free): blochează robotii de SEO și backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog și ceilalți — în timp ce motoarele de căutare păstrează accesul complet. Activat implicit pentru linia PBN, aplicat la nivel de server prin User-Agent, gestionat din panoul de control și din MCP. Este jocul urmelor: ascunde linkul față de instrumentele concurenților, rămâi indexabil în SERP-uri.
Valoarea unei rețele private stă în legătura pe care nimeni altcineva nu o poate vedea. În momentul în care instrumentul de backlink-uri al unui concurent poate să scaneze site-ul tău PBN și să urmărească linkul său extern către site-ul tău comercial, rețeaua este expusă — iar avantajul dispare.
Așadar, sarcina este precisă: blocați roboții de analiză a backlink-urilor care construiesc acele grafice de linkuri — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot și altele asemenea — lăsând în același timp motoarele de căutare complet neatinse, deoarece un site pe care Google nu îl poate accesa cu crawlere nu poate plasa în clasament. Blocați spionii, păstrați indexatorii.
Acesta este un comutator per site de pe linia Footprint-Free, activat implicit. Bifați sau debifați fiecare crawler sau un grup întreg, salvați, iar motorul va scrie sau va elimina regulile pentru dumneavoastră.
robots.txt este doar o recomandare, iar roboții de indexare agresivi o ignoră — s-a observat că Majestic face exact acest lucru. Așadar, blocarea reală se face la nivelul serverului, cu robots.txt ca strat suplimentar de curtoazie.
Aplicarea se face printr-o interdicție User-Agent în .htaccess, LiteSpeed sau nginx, scrisă de către lucrătorul de hosting și pluginul Zinn® din opțiunile salvate. Aceasta este regula care oprește efectiv un crawler, deoarece nu depinde de bunăvoința crawlerului.
De asemenea, scriem o regulă robots.txt de tip Disallow pentru motoarele de căutare care o respectă — o măsură de siguranță suplimentară, astfel încât instrumentele binevoitoare să fie refuzate politic, iar cele necorespunzătoare să fie oprite ferm.
Unii crawlere se ascund în spatele unor user-agent-uri false. Pentru cele mai dăunătoare dintre acestea, putem adăuga blocări bazate pe IP-uri cunoscute sau pe ASN, astfel încât un crawler care se dă drept browser să nu aibă totuși acces.
Googlebot, Bingbot și ceilalți indexatori nu se află niciodată pe lista de blocare. Blocarea vizează exclusiv instrumentele pentru backlink-uri, astfel încât indexarea și clasamentele rămân neafectate.
O îngrijorare comună este că blocarea Majestic va face ca Trust Flow al unui domeniu să dispară. Nu va face asta. Trust Flow și Citation Flow sunt calculate din graful de backlinkuri de intrare al unui domeniu — linkurile care trimit către acesta, pe care Majestic le găsește accesând alte site-uri, nu accesând domeniul în sine.
Blocarea botului MajesticBot pe site-ul tău PBN împiedică Majestic să vadă linkurile externe ale acelui site, care reprezintă exact amprenta pe care dorești să o ascunzi. Aceasta nu elimină Trust Flow sau Citation Flow ale domeniului din API-ul Majestic, astfel încât propriile noastre verificări de date SEO continuă să citească aceste valori în mod normal. Același lucru este valabil și pentru Ahrefs DR și Moz DA — toate fiind măsurători ale linkurilor externe.
Motoarele de căutare și roboții de backlink-uri — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot și altele asemenea. Motoarele de căutare nu sunt afectate niciodată: Googlebot, Bingbot și ceilalți indexatori păstrează accesul complet, deoarece menținerea posibilității de indexare este scopul principal. Puteți bifa și debifa fiecare robot în parte sau un grup întreg, apoi puteți salva.
Nu. Doar crawlerele pentru analizarea backlink-urilor sunt blocate; motoarele de căutare care vă clasează sunt lăsate complet în pace. Site-ul rămâne indexabil și poziționabil — vă ascundeți graful de linkuri față de instrumentele concurenților, nu față de Google.
La nivelul serverului, după User-Agent — o blocare prin .htaccess, LiteSpeed sau nginx — deoarece fișierul robots.txt are doar un caracter orientativ, iar roboții de indexare agresivi se știe că îl ignoră. Scriem o directivă Disallow în robots.txt și pentru cei care respectă regulile și putem adăuga blocări bazate pe IP-uri cunoscute sau ASN-uri pentru cei mai rău intenționați care navighează sub user-agent-uri false. Motorul scrie și elimină regulile în mod automat pe baza comutatoarelor salvate de dumneavoastră.
Nu. Trust Flow și Citation Flow sunt calculate din graful de backlinkuri de intrare al unui domeniu – linkurile către acesta, găsite prin indexarea altor site-uri de către Majestic – nu prin indexarea domeniului în sine. Blocarea MajesticBot pe site împiedică Majestic să vadă linkurile sale de ieșire, care este amprenta pe care doriți să o ascundeți, dar lasă intacte valorile domeniului în API-ul Majestic. Aceeași logică se aplică pentru Ahrefs DR și Moz DA.
Pe linia Footprint-Free, da — blocarea crawlerelor este activată în mod implicit, deoarece ascunderea legăturii dintre PBN și site-ul monetizat este nucleul jocului de footprint. Pieniți controlul deplin pentru a ajusta ce crawlere sunt blocate per site.
Începe o perioadă de probă de 14 zile fără card și blochează roboții de backlink pentru fiecare site, în timp ce motoarele de căutare își păstrează accesul complet — activat implicit pentru linia Footprint-Free, controlat din panoul de control și din MCP.
Începe gratuit