Blocco del crawler SEO
Un controllo Footprint-Free di prim'ordine, per singolo sito: blocca i crawler SEO e dei backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog e gli altri — mentre i motori di ricerca mantengono pieno accesso. Attivo per impostazione predefinita sulla linea PBN, applicato a livello di server tramite User-Agent, gestito dalla dashboard e dall'MCP. È il gioco dei footprint: nascondi il link agli strumenti dei concorrenti, rimani indicizzabile nelle SERP.
Il valore di una rete privata è il link che nessun altro può vedere. Nel momento in cui lo strumento di backlink di un concorrente può effettuare il crawling del tuo sito PBN e seguire il suo link in uscita verso il tuo money site, la rete viene esposta e il vantaggio svanisce.
Il compito è dunque preciso: bloccare i crawler di analisi dei backlink che compilano quei grafici di link — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot e simili — lasciando invece i motori di ricerca completamente intatti, perché un sito che Google non può indicizzare non può posizionarsi. Blocca le spie, tieni gli indicizzatori.
Si tratta di un interruttore per singolo sito sulla linea Footprint-Free, attivo per impostazione predefinita. Spunta o deseleziona ciascun crawler, o un intero gruppo, salva e il motore scriverà o rimuoverà le regole per te.
Il file robots.txt ha valore puramente indicativo e i crawler aggressivi lo ignorano: è stato osservato che Majestic fa esattamente questo. Perciò il vero blocco avviene a livello di server, con il robots.txt che funge solo da livello di cortesia aggiuntivo.
L'applicazione avviene tramite un blocco User-Agent in .htaccess, LiteSpeed o nginx, scritto dall'operatore di hosting e dal plugin Zinn® in base alle opzioni salvate. Questa è la regola che blocca effettivamente un crawler, poiché non dipende dalla buona volontà del crawler.
Scriviamo anche un robots.txt Disallow per i crawler che lo rispettano: un approccio prudente, in modo che gli strumenti educati vengano allontanati cortesemente e quelli scorretti con fermezza.
Alcuni crawler si nascondono dietro a user-agent falsi. Per i casi peggiori possiamo aggiungere blocchi basati su IP noti o ASN, in modo che un crawler che finge di essere un browser continui a non poter entrare.
Googlebot, Bingbot e gli altri crawler non sono mai inseriti nella lista di blocco. Il blocco è mirato esclusivamente ai tool di backlink, quindi l'indicizzazione e il posizionamento rimangono inalterati.
Una preoccupazione comune è che bloccare Majestic faccia scompare il Trust Flow di un dominio. Non sarà così. Trust Flow e Citation Flow vengono calcolati a partire dal grafico dei backlink in entrata di un dominio — i link che puntano ad esso, che Majestic trova effettuando la scansione di altri siti — e non eseguendo la scansione del dominio stesso.
Il blocco di MajesticBot sul tuo sito PBN impedisce a Majestic di vedere i link in uscita di quel sito, che è esattamente il footprint che desideri nascondere. Non rimuove il Trust Flow o il Citation Flow del dominio dall'API di Majestic, quindi i nostri controlli dei dati SEO continuano a leggere tali metriche normalmente. Lo stesso vale per l'Ahrefs DR e il Moz DA, tutte misure di link in entrata.
I crawler SEO e di backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot e simili. I motori di ricerca non vengono mai toccati: Googlebot, Bingbot e gli altri indicizzatori mantengono l'accesso completo, poiché rimanere indicizzabili è l'obiettivo principale. Puoi selezionare e deselezionare ogni crawler, o un gruppo, e salvare.
No. Vengono bloccati solo i crawler di analisi dei backlink; i motori di ricerca che vi posizionano vengono lasciati completamente liberi. Il sito rimane indicizzabile e posizionabile: state nascondendo il vostro profilo link agli strumenti dei concorrenti, non a Google.
A livello di server, tramite User-Agent (un blocco .htaccess, LiteSpeed o nginx), poiché il file robots.txt ha solo valore indicativo e i crawler aggressivi notoriamente lo ignorano. Scriviamo un Disallow in robots.txt anche per quelli conformi e possiamo aggiungere blocchi basati su IP noti o ASN per i peggiori trasgressori che eseguono il crawling con finti user-agent. Il motore scrive e rimuove le regole automaticamente in base alle opzioni salvate.
No. Trust Flow e Citation Flow vengono calcolati a partire dal grafico dei backlink in entrata di un dominio — i link verso di esso, trovati da Majestic che scansiona altri siti — e non scansionando il dominio stesso. Bloccare MajesticBot sul sito impedisce a Majestic di vedere i suoi link in uscita, che è il footprint che si desidera nascondere, ma lascia intacte le metriche del dominio nell'API di Majestic. Lo stesso principio si applica a Ahrefs DR e Moz DA.
Sulla linea Footprint-Free, sì: il blocco dei crawler è attivo per impostazione predefinita, poiché nascondere il link tra PBN e sito di guadagno è il fulcro del gioco dei footprint. Manteni il controllo completo per regolare quali crawler bloccare per ogni singolo sito.
Inizia una prova di 14 giorni senza carta di credito e blocca i crawler di backlink per singolo sito mentre i motori di ricerca mantengono pieno accesso; attivo per impostazione predefinita per la linea Footprint-Free, controllabile dalla dashboard e dall'MCP.
Inizia gratis