Pag-block ng SEO-crawler
Isang primera-klase, bawat site na Footprint-Free na kontrol: i-block ang mga SEO at backlink crawler — Ahrefs, Majestic, Semrush, Moz, Screaming Frog at ang iba pa — habang ang mga search engine ay nagpapanatili ng ganap na access. Naka-on bilang default para sa linya ng PBN, ipinatutupad sa server sa pamamagitan ng User-Agent, pinatatakbo mula sa dashboard at sa MCP. Ito ang laro ng footprint: itago ang link mula sa mga tool ng mga kakumpitensya, manatiling nai-index sa mga SERP.
Ang halaga ng isang pribadong network ay ang ugnayang walang ibang makakakita. Sa sandaling ma-crawl ng backlink tool ng kakumpitensya ang iyong PBN site at masundan ang palabas na link nito patungo sa iyong money site, nakalantad na ang network — at wala na ang kalamangan.
Kaya ganito ang layunin: pigilan ang mga backlink-analysis crawler na gumagawa ng mga link graph na iyon — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot at ang mga katulad nito — habang hinahayaang buo at hindi ginagalaw ang mga search engine, dahil ang isang site na hindi ma-crawl ng Google ay hindi maaaring mag-rank. Harangan ang mga espiya, panatilihin ang mga indexer.
Isa itong toggle sa bawat site sa Footprint-Free line, na naka-on bilang default. Lagyan ng tsek o alisin ang tsek sa bawat crawler, o sa isang buong grupo, i-save, at ang engine ang magsusulat o mag-aalis ng mga panuntunan para sa iyo.
Ang robots.txt ay para sa gabay lamang, at binabalewala ito ng mga agresibong crawler—napag-alamang ganoon nga ang ginagawa ng Majestic. Kaya ang tunay na pag-block ay nangyayari sa server, habang ang robots.txt ay nagsisilbing pantulong na patong sa itaas nito.
Ang pagpapatupad ay isang pag-deny ng User-Agent sa .htaccess, LiteSpeed o nginx, na isinulat ng manggagawa sa hosting at ng plugin na Zinn® mula sa iyong mga naka-save na toggle. Ito ang panuntunan na talagang humihinto sa isang crawler, dahil hindi ito nakasalalay sa magandang loob ng crawler.
Nagsusulat din kami ng robots.txt Disallow para sa mga crawler na gumagalang dito — doble-ingat, kaya ang mga mabait na tool ay magagalang na tinatanggihan at ang mga pasaway ay mahigpit na pinagtatabuyan.
Ang ilang mga crawler ay nagtatago sa likod ng mga pekeng user-agent. Para sa mga pinakamasamang offender, maaari kaming magdagdag ng mga kilalang IP o ASN deny, kaya ang isang crawler na nagpapakitang-tao bilang browser ay hindi pa rin makakapasok.
Ang Googlebot, Bingbot at ang iba pang mga indexer ay hindi kailanman nasa block list. Ang pag-block ay para lamang sa mga tool sa backlink, kaya hindi maaapektuhan ang indexation at mga ranking.
Ang isang karaniwang alalahanin ay ang pagharang sa Majestic ay magpapasara sa Trust Flow ng isang domain. Hindi ito mangyayari. Ang Trust Flow at Citation Flow ay kinakalkula mula sa graph ng inbound backlink ng isang domain — ang mga link na tumuturo dito, na nahanap ng Majestic sa pamamagitan ng pag-crawl sa ibang mga site — hindi sa pamamagitan ng pag-crawl sa domain mismo.
Ang pag-block sa MajesticBot sa iyong PBN site ay nagpapatigil sa Majestic na makita ang mga outbound link ng site na iyon, na siyang eksaktong footprint na gusto mong maitago. Hindi nito inaalis ang Trust Flow o Citation Flow ng domain mula sa API ng Majestic, kaya patuloy na binabasa nang normal ng aming sariling mga pagsusuri sa data ng SEO ang mga sukat na iyon. Gayundin ang totoo para sa Ahrefs DR at Moz DA — lahat ng mga sukat ng inbound-link.
Ang mga crawler ng SEO at backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot at mga katulad nito. Ang mga search engine ay hindi kailanman ginagalaw: ang Googlebot, Bingbot at ang iba pang mga indexer ay nagpapanatili ng ganap na access, dahil ang pananatiling indexable ang mismong layunin. Maaari mong lagyan ng tsek at alisan ng tsek ang bawat crawler, o isang grupo, at i-save.
Hindi. Ang mga crawler lang para sa pagsusuri ng backlink ang naka-block; ang mga search engine na nagraranggo sa iyo ay hindi ginalaw. Nananatiling pwedeng i-index at i-rank ang site — itinatago mo ang iyong link graph sa mga tool ng mga kakumpitensya, hindi sa Google.
Sa server, sa pamamagitan ng User-Agent — isang .htaccess, LiteSpeed o nginx deny — dahil ang robots.txt ay nagbibigay lamang ng payo at alam na binabalewala ito ng mga agresibong crawler. Sumusulat din kami ng robots.txt Disallow para sa mga sumusunod, at maaari kaming magdagdag ng mga kilalang IP o ASN deny para sa pinakamasasamang lumalabag na nag-crawl sa ilalim ng mga pekeng user-agent. Awtomatikong isinusulat at tinatanggal ng engine ang mga panuntunan mula sa iyong mga naka-save na toggle.
Hindi. Ang Trust Flow at Citation Flow ay kinakalkula mula sa inbound backlink graph ng isang domain—mga link patungo rito, na nakita ng Majestic sa pag-crawl ng ibang mga site—at hindi sa pamamagitan ng pag-crawl sa mismong domain. Ang pag-block sa MajesticBot sa site ay pumipigil sa Majestic na makita ang mga outbound link nito, na siyang footprint na gusto mong maitago, ngunit iniiwan nitong buo ang mga metrics ng domain sa API ng Majestic. Ang parehong lohikang ito ay nalalapat sa Ahrefs DR at Moz DA.
Sa linya ng Footprint-Free, oo — naka-on bilang default ang pag-block sa crawler, dahil ang pagtago sa link ng PBN patungo sa money site ay ang pinakapusod ng laro ng footprint. Panatilihin mo ang buong kontrol para isaayos kung aling mga crawler ang ibablock bawat site.
Magsimula ng 14-araw na pagsubok na walang card at i-block ang mga backlink crawler bawat site habang nananatili ang buong access ng mga search engine — naka-on bilang default para sa linya ng Footprint-Free, kinokontrol mula sa dashboard at sa MCP.
Magsimula nang libre