Blokiranje SEO crawlera
Prvoklasna kontrola Footprint-Free po pojedinom web-mjestu: blokirajte crawlera za SEO i povratne veze — Ahrefs, Majestic, Semrush, Moz, Screaming Frog i ostale — dok tražilice zadržavaju puni pristup. Uključeno prema zadanim postavkama za liniju PBN, primjenjuje se na poslužitelju putem User-Agenta, upravlja se s nadzorne ploče i MCP-a. To je igra footprinta: sakrijte poveznicu od alata konkurenata, ostanite indeksirani u SERP-ovima.
Vrijednost privatne mreže je u poveznici koju nitko drugi ne može vidjeti. U trenutku kada konkurentov alat za povratne veze može indeksirati vašu PBN stranicu i slijediti njezinu odlaznu poveznicu do vaše glavne stranice, mreža je razotkrivena — i prednost nestaje.
Stoga je zadatak precizan: blokirati alate za indeksiranje povratnih veza koji grade te grafikone veza — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot i njihove srodnike — dok tražilice ostaju potpuno netaknute, jer se web-mjesto koje Google ne može indeksirati ne može rangirati. Blokirajte špijune, zadržite indeksere.
Ovo je prekidač po web-mjestu na liniji Footprint-Free, uključen prema zadanim postavkama. Označite ili odznačite pojedinog crawlera ili cijelu grupu, spremite, a mehanizam će stvoriti ili ukloniti pravila umjesto vas.
Datoteka robots.txt je savjetodavne prirode, a agresivni botovi je ignoriraju — zabilježeno je da Majestic radi upravo to. Stoga se pravo blokiranje odvija na poslužitelju, dok robots.txt služi samo kao dodatni sloj iz pristojnosti.
Provođenje je odbijanje User-Agent-a putem .htaccess, LiteSpeed ili nginx zapisa, koje izrađuju hosting proces i Zinn® priključak na temelju Vaših spremljenih postavki. To je pravilo koje doista zaustavlja pretraživača, jer ne ovisi o njegovoj dobroj volji.
Također pišemo robots.txt Disallow za crawlere koji ga poštuju — za svaki slučaj, kako bi se alati koji se pristojno ponašaju ljubazno odbili, a oni koji se ne ponašaju ustrajno i strogo odbili.
Neki alati za indeksiranje skrivaju se iza lažnih korisničkih agenata. Za najgore prekršitelje možemo dodati blokade poznatih IP adresa ili ASN-ova, tako da alat za indeksiranje koji se pretvara da je preglednik i dalje ne može ući.
Googlebot, Bingbot i ostali indeksatori nikada nisu na popisu za blokiranje. Blokiranje je usmjereno isključivo na alate za povratne veze, tako da indeksiranje i rangiranje ostaju netaknuti.
Česta je zabrinutost da će blokiranje alata Majestic uzrokovati nestanak metrike Trust Flow domene. To se neće dogoditi. Trust Flow i Citation Flow izračunavaju se iz grafa dolaznih povratnih veza domene — veza koje upućuju na nju, a koje Majestic pronalazi pretraživanjem drugih web-mjesta — a ne pretraživanjem same domene.
Blokiranje bota MajesticBot na vašoj PBN stranici sprječava Majestic da vidi odlazne veze te stranice, što je upravo onaj footprint koji želite sakriti. To ne uklanja Trust Flow ili Citation Flow domene iz API-ja usluge Majestic, tako da naše vlastite provjere SEO podataka nastavljaju normalno očitavati te metričke podatke. Isto vrijedi za Ahrefs DR i Moz DA — sve su to mjere dolaznih veza.
SEO i backlink puzatelji — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot i slični. Tražilice se nikada ne diraju: Googlebot, Bingbot i ostali indeksatori zadržavaju puni pristup, jer je mogućnost indeksiranja cijela poanta. Možete označiti i odznačiti svakog puzatelja ili grupu te spremiti.
Ne. Blokiraju se samo alati za indeksiranje radi analize povratnih veza; tražilice koje određuju Vaš rang ostaju potpuno netaknute. Web-mjesto ostaje pogodno za indeksiranje i rangiranje — svoj grafikon veza skrivate od alata konkurenata, a ne od tražilice Google.
Na poslužitelju, prema User-Agentu — zabrana putem .htaccess, LiteSpeed ili nginx — jer robots.txt služi samo kao preporuka, a poznato je da ga agresivni botovi ignoriraju. Također pišemo robots.txt Disallow za one koji se pridržavaju pravila te možemo dodati zabrane za poznate IP adrese ili ASN za najgore prekršitelje koji pretražuju pod lažnim korisničkim agentima. Sustav automatski zapisuje i uklanja pravila na temelju Vaših spremljenih postavki.
Ne. Trust Flow i Citation Flow izračunavaju se iz grafikona dolaznih povratnih veza domene — veza koje vode do nje, a koje Majestic pronalazi indeksiranjem drugih web-mjesta — a ne indeksiranjem same domene. Blokiranje bota MajesticBot na web-mjestu sprječava Majestic da vidi njegove odlazne veze, što je footprint koji želite sakriti, ali ostavlja mjerne podatke domene u API-ju usluge Majestic netaknutima. Ista logika vrijedi i za Ahrefs DR i Moz DA.
Na liniji Footprint-Free, da — blokiranje crawlera uključeno je prema zadanim postavkama, jer je skrivanje veze između PBN-a i glavne stranice (money-site) sama srž footprint igre. Zadržavate potpunu kontrolu nad prilagodbom crawlera koji se blokiraju po pojedinom web-mjestu.
Započnite 14-dnevno probno razdoblje bez kreditne kartice i blokirajte crawlere povratnih veza po web-mjestu dok tražilice zadržavaju puni pristup — uključeno prema zadanim postavkama za liniju Footprint-Free, upravljano s nadzorne ploče i MCP-a.
Započnite besplatno