Blocco dei crawler SEO
Un controllo Footprint-Free di prim'ordine per singolo sito: blocchi i crawler SEO e di backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog e gli altri — mentre i motori di ricerca mantengono il pieno accesso. Attivo per impostazione predefinita per la linea PBN, applicato a livello di server tramite User-Agent, gestito dalla dashboard e dall'MCP. È il gioco del footprint: nasconda i link agli strumenti dei concorrenti, rimanga indicizzabile nelle SERP.
Il valore di una rete privata risiede nel link che nessun altro può vedere. Nel momento in cui lo strumento di backlink di un concorrente è in grado di scansionare il Vostro sito PBN e seguire il suo link in uscita verso il Vostro money site, la rete viene esposta — e il vantaggio svanisce.
Il compito è quindi preciso: escludere i crawler per l'analisi dei backlink che costruiscono quei grafi di link — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot e simili — lasciando completamente intatti i motori di ricerca, poiché un sito che Google non può scansionare non può posizionarsi. Bloccate le spie, mantenete gli indicizzatori.
Questo è un selettore per singolo sito della linea Footprint-Free, attivo per impostazione predefinita. Spuntate o desuntate ogni crawler, o un intero gruppo, salvate, e il motore scriverà o rimuoverà le regole al posto vostro.
Il file robots.txt è indicativo e i crawler aggressivi lo ignorano: è stato osservato che Majestic fa esattamente questo. Il vero blocco risiede quindi sul server, con robots.txt che funge solo da ulteriore livello di cortesia.
L'applicazione è un rifiuto dello User-Agent tramite .htaccess, LiteSpeed o nginx, generato dal worker di hosting e dal plugin Zinn® a partire dalle Sue impostazioni salvate. Questa è la regola che blocca effettivamente un crawler, poiché non dipende dalla buona volontà di quest'ultimo.
Scriviamo anche una direttiva Disallow in robots.txt per i crawler che la rispettano — una doppia misura di sicurezza, affinché gli strumenti corretti vengano allontanati con garbo e quelli scorretti con fermezza.
Alcuni crawler si nascondono dietro falsi user agent. Per i trasgressori più gravi possiamo aggiungere blocchi basati su IP o ASN noti, in modo che un crawler che finge di essere un browser non possa comunque accedere.
Googlebot, Bingbot e gli altri indicizzatori non sono mai nell'elenco di blocco. Il blocco è rivolto esclusivamente agli strumenti di backlink, quindi l'indicizzazione e il posizionamento rimangono intatti.
Una preoccupazione comune è che il blocco di Majestic faccia scomparire il Trust Flow di un dominio. Non sarà così. Trust Flow e Citation Flow vengono calcolati a partire dal grafo dei backlink in entrata di un dominio — i link che puntano ad esso, che Majestic rileva eseguendo la scansione di altri siti — e non eseguendo la scansione del dominio stesso.
Il blocco di MajesticBot sul Suo sito PBN impedisce a Majestic di visualizzare i link in uscita di tale sito, che è esattamente il footprint che desidera nascondere. Ciò non rimuove il Trust Flow o il Citation Flow del dominio dall'API di Majestic, pertanto i nostri controlli dei dati SEO continuano a leggere tali metriche normalmente. Lo stesso vale per Ahrefs DR e Moz DA: tutte metriche relative ai link in entrata.
I crawler SEO e di backlink: Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot e simili. I motori di ricerca non vengono mai toccati: Googlebot, Bingbot e gli altri indicizzatori mantengono l'accesso completo, poiché rimanere indicizzabili è l'intero scopo. È possibile selezionare e deselezionare ciascun crawler, o un gruppo, e salvare.
No. Vengono bloccati solo i crawler per l'analisi dei backlink; i motori di ricerca che determinano il Vostro posizionamento vengono lasciati completamente inalterati. Il sito rimane indicizzabile e posizionabile — state nascondendo il Vostro grafo dei link agli strumenti dei concorrenti, non a Google.
Sul server, tramite User-Agent — un blocco .htaccess, LiteSpeed o nginx — poiché robots.txt ha solo valore consultivo e i crawler aggressivi sono noti per ignorarlo. Scriviamo anche un Disallow in robots.txt per quelli conformi, e possiamo aggiungere blocchi per IP o ASN noti per i trasgressori peggiori che eseguono la scansione sotto falsi user-agent. Il motore scrive e rimuove le regole automaticamente in base alle opzioni salvate.
No. Trust Flow e Citation Flow vengono calcolati a partire dal grafo dei backlink in entrata di un dominio — link verso di esso, rilevati da Majestic scansionando altri siti — non scansionando il dominio stesso. Il blocco di MajesticBot sul sito impedisce a Majestic di vedere i suoi link in uscita, che rappresentano il footprint che desidera nascondere, ma lascia intatte le metriche del dominio nell'API di Majestic. La stessa logica si applica a DR di Ahrefs e a DA di Moz.
Sulla linea Footprint-Free, sì: il blocco dei crawler è attivo per impostazione predefinita, poiché nascondere il collegamento tra la PBN e il money-site è il fulcro del gioco del footprint. Mantenete il pieno controllo per regolare quali crawler bloccare per ogni sito.
Avvii una prova di 14 giorni senza carta di credito e blocchi i crawler di backlink per ciascun sito, garantendo al contempo pieno accesso ai motori di ricerca — opzione attiva per impostazione predefinita per la linea Footprint-Free, gestita dalla dashboard e dall'MCP.
Inizia gratis