Blokiranje SEO-pauka
Prvoklasna kontrola bez otiska (Footprint-Free) po web-mjestu: blokirajte SEO i backlink crawlere — Ahrefs, Majestic, Semrush, Moz, Screaming Frog i ostale — dok tražilice zadržavaju puni pristup. Uključeno prema zadanim postavkama za PBN liniju, provjereno na poslužitelju putem User-Agent zaglavlja, upravljano s nadzorne ploče i iz MCP-a. To je igra tragova: sakrijte poveznicu od alata konkurencije, ostanite indeksirani u SERP-ovima.
Vrijednost privatne mreže je veza koju nitko drugi ne može vidjeti. Onog trenutka kada alat za povratne veze konkurenta može pretražiti vašu PBN stranicu i pratiti njezinu odlaznu vezu do vaše novčane stranice, mreža je izložena — i prednost je nestala.
Dakle, zadatak je jasan: blokirati web-pauke za analizu povratnih veza koji grade te grafikone veza — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot i njihove srodnike — dok tražilice ostaju potpuno netaknute, jer stranica koju Google ne može indeksirati ne može se ni rangirati. Blokirajte špijune, zadržite indeksiratore.
Ovo je prekidač po web-lokaciji na liniji Footprint-Free, koji je prema zadanim postavkama uključen. Označite ili poništite oznaku svakog usmjerivača (crawlera) ili cijele grupe, spremite i sustav će automatski zapisati ili ukloniti pravila za vas.
robots.txt ima savjetodavnu ulogu i agresivni ga pretraživači ignoriraju — primijećeno je da Majestic čini upravo to. Stoga se prava blokada nalazi na poslužitelju, pri čemu robots.txt služi kao dodatni sloj kurtoazije.
Primjena je zabrana za User-Agent u .htaccess, LiteSpeed ili nginx datoteci, koju piše radni proces hostinga i Zinn® dodatak na temelju vaših spremljenih postavki. Ovo je pravilo koje zapravo zaustavlja pretraživač jer ne ovisi o dobroj volji pretraživača.
Također pišemo robots.txt Disallow pravilo za tražilice koje ga poštuju — za svaki slučaj, tako da se pristojne alate odbije ljubazno, a one nepristojne čvrsto.
Neki se crawleri skrivaju iza lažnih user-agent zaglavlja. Za najgore prekršitelje možemo dodati blokade poznatih IP adresa ili ASN-ova, tako da crawler koji se predstavlja kao preglednik i dalje ne može ući.
Googlebot, Bingbot i drugi indekseri nikada nisu na popisu blokiranih. Blokiranje je namijenjeno isključivo alatima za povratne veze, tako da indeksiranje i rangiranje ostaju netaknuti.
Uobičajena je briga da će blokiranje Majestic učiniti da Trust Flow domene nestane. Neće. Trust Flow i Citation Flow se izračunavaju iz grafikona dolaznih povratnih veza domene — poveznica koje upućuju na nju, a koje Majestic pronalazi indeksiranjem drugih stranica — a ne indeksiranjem same domene.
Blokiranjem bota MajesticBot na vašoj PBN web-lokaciji onemogućuje se servisu Majestic da vidi odlazne veze te lokacije, što je upravo onaj trag koji želite sakriti. Time se s Majesticovog API-ja ne uklanjaju Trust Flow ni Citation Flow domene, tako da naše vlastite provjere SEO podataka nastavljaju uobičajeno čitati te metrike. Isto vrijedi za Ahrefs DR i Moz DA — sve mjere dolaznih veza.
SEO i povratni botovi za indeksiranje veza — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot i slični. Tražilice nikada nisu pogođene: Googlebot, Bingbot i drugi indeksirači zadržavaju potpuni pristup jer je poanta upravo u tome da ostanete indeksirati. Možete označiti i poništiti oznaku za svakog pojedinog botova ili grupu te spremiti promjene.
Ne. Blokirani su samo crawler-i za analizu povratnih veza; tražilice koje vas rangiraju ostavljene su u potpunosti na miru. Stranica ostaje indeksabilna i rangirana — skrivate graf svojih veza od alata konkurencije, a ne od Google.
Na razini poslužitelja, prema User-Agentu — putem .htaccess, LiteSpeed ili nginx zabrane — budući da je robots.txt samo savjetodavan, a poznato je da ga agresivni web-puzavci ignoriraju. Za one usklađene također pišemo robots.txt Disallow te možemo dodati zabrane prema poznatoj IP adresi ili ASN-u za najgore prekršitelje koji pretražuju pod lažnim User-Agentima. Mehanizam automatski zapisuje i uklanja pravila na temelju vaših spremljenih sklopki.
Ne. Trust Flow i Citation Flow se izračunavaju iz grafa dolaznih povratnih veza domene — veza prema njoj koje Majestic pronalazi pretraživanjem drugih stranica — a ne pretraživanjem same domene. Blokiranje bota MajesticBot na stranici sprječava Majestic da vidi njezine odlazne veze, što je footprint koji želite sakriti, ali ostavlja metrike domene u Majesticovom API-ju netaknutima. Isto vrijedi i za Ahrefs DR i Moz DA.
Na liniji Footprint-Free, da — blokiranje crawler-a je uključeno po defaultu, jer je skrivanje veze između PBN-a i monetizacijske stranice srž igre s tragovima. Zadržavate potpunu kontrolu nad prilagođavanjem toga koji su crawler-i blokirani po stranici.
Započnite 14-dnevno besplatno probno razdoblje bez kartice i blokirajte botove za prikupljanje povratnih poveznica po web-mjestu dok tražilice zadržavaju puni pristup — prema zadanim postavkama uključeno za Footprint-Free liniju, uz upravljanje s nadzorne ploče i MCP-a.
Započni besplatno