Pag-block sa crawler ng SEO
Pang-unang klaseng Footprint-Free na kontrol para sa bawat site: i-block ang mga crawler ng SEO at backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog at ang iba pa — habang pinapanatili ng mga search engine ang buong access. Naka-on bilang default para sa linyang PBN, ipinapatupad sa server sa pamamagitan ng User-Agent, pinapagana mula sa dashboard at sa MCP. Ito ang laro ng footprint: itago ang link mula sa mga tool ng mga katunggali, manatiling nai-index sa mga SERP.
Ang halaga ng isang pribadong network ay ang link na walang ibang makakakita. Sa sandaling ma-crawl ng tool ng backlink ng isang kakumpitensya ang iyong PBN site at masundan ang papalabas na link nito patungo sa iyong money site, malalantad ang network — at mawawala ang bentahe.
Kaya tiyak ang gawain: harangan ang mga backlink-analysis crawler na gumagawa ng mga graph ng link na iyon — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot at ang kanilang mga katulad — habang iniiwang ganap na hindi nagagalaw ang mga search engine, dahil ang isang site na hindi ma-crawl ng Google ay hindi maaaring mag-rank. Harangan ang mga espiya, panatilihin ang mga indexer.
Ito ay isang bawat-site na toggle sa linyang Footprint-Free, na naka-on bilang default. Lagyan ng tsek o alisin ang tsek sa bawat crawler, o sa buong grupo, i-save, at ang engine ang magsusulat o mag-aalis ng mga panuntunan para sa iyo.
Ang robots.txt ay nagbibigay lamang ng payo, at binabalewala ito ng mga agresibong crawler — naobserbahan ang Majestic na gumagawa mismo niyan. Kaya ang tunay na pagharang ay nasa server, kung saan ang robots.txt ay nagsisilbi lamang bilang karagdagang antas ng kagandahang-asal.
Ang pagpapatupad ay isang pagtanggi sa .htaccess, LiteSpeed, o nginx User-Agent, na isinulat ng hosting worker at ng Zinn® plugin mula sa iyong mga na-save na toggle. Ito ang panuntunan na talagang humihinto sa isang crawler, dahil hindi ito umaasa sa mabuting kalooban ng crawler.
Nagsusulat din kami ng robots.txt Disallow para sa mga crawler na gumagalang dito — dagdag na pag-iingat, upang ang mga tool na maayos kumilos ay magalang na tanggihan at ang mga hindi maayos ay buong higpit na tanggihan.
Nagtatago ang ilang crawler sa likod ng mga pekeng user-agent. Para sa mga pinakamasamang lumalabag, maaari kaming magdagdag ng mga pagtanggi sa kilalang IP o ASN, kaya ang isang crawler na nagpapanggap bilang isang browser ay hindi pa rin makakapasok.
Ang Googlebot, Bingbot, at iba pang mga indexer ay hindi kailanman nasa listahan ng pag-block. Ang pag-block ay eksklusibong nakatuon sa mga tool ng backlink, kaya ang pag-index at mga ranggo ay hindi nagagalaw.
Ang isang karaniwang pag-aalala ay ang pag-block sa Majestic ay magdudulot ng pagkawala ng Trust Flow ng isang domain. Hindi ito mangyayari. Ang Trust Flow at Citation Flow ay kinakalkula mula sa inbound backlink graph ng isang domain — ang mga link na nakaturo dito, na nahahanap ng Majestic sa pamamagitan ng pag-crawl sa iba pang mga site — hindi sa pamamagitan ng pag-crawl sa mismong domain.
Ang pag-block sa MajesticBot sa iyong PBN site ay pumipigil sa Majestic na makita ang mga outbound link ng site na iyon, na siya mismong footprint na nais mong itago. Hindi nito inaalis ang Trust Flow o Citation Flow ng domain mula sa API ng Majestic, kaya ang aming sariling mga pagsusuri sa data ng SEO ay patuloy na nagbabasa ng mga metric na iyon nang normal. Ganoon din ang sitwasyon para sa Ahrefs DR at Moz DA — lahat ay mga sukat ng inbound-link.
Ang mga SEO at backlink crawler — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot at mga katulad nito. Hindi kailanman ginagalaw ang mga search engine: pinapanatili ng Googlebot, Bingbot at ng iba pang mga indexer ang buong access, dahil ang pananatiling mai-index ang buong punto. Maaari mong lagyan ng tsek at alisin ang tsek sa bawat crawler, o isang grupo, at i-save.
Hindi. Ang mga crawler lang ng pagsusuri sa backlink ang naka-block; ang mga search engine na nagraranggo sa inyo ay ganap na hindi ginagalaw. Ang site ay nananatiling puwedeng i-index at i-rank — itinatago ninyo ang inyong link graph mula sa mga tool ng mga kakumpitensya, hindi mula sa Google.
Sa server, ayon sa User-Agent — isang pagtanggi sa .htaccess, LiteSpeed, o nginx — dahil ang robots.txt ay nagbibigay lamang ng payo at kilalang binabalewala ito ng mga agresibong crawler. Sumusulat din kami ng robots.txt Disallow para sa mga sumusunod, at maaaring magdagdag ng mga pagtanggi para sa kilalang-IP o ASN para sa pinakamalalang lumalabag na nag-crawl gamit ang mga pekeng user-agent. Awtomatikong isinusulat at inaalis ng engine ang mga panuntunan mula sa iyong mga naka-save na toggle.
Hindi. Ang Trust Flow at Citation Flow ay kinakalkula mula sa inbound backlink graph ng isang domain — mga link papunta rito, na natagpuan ng Majestic sa pamamagitan ng pag-crawl sa ibang mga site — hindi sa pamamagitan ng pag-crawl sa mismong domain. Ang pag-block sa MajesticBot sa site ay pumipigil sa Majestic na makita ang mga outbound link nito, na siyang footprint na nais ninyong itago, ngunit pinapanatiling buo ang mga sukatan ng domain sa API ng Majestic. Ang parehong lohika ay nalalapat sa Ahrefs DR at Moz DA.
Sa linyang Footprint-Free, oo — naka-on bilang default ang pag-block ng crawler, dahil ang pagtago ng link mula sa PBN patungo sa money-site ang pinakaintindi ng laro sa footprint. Panatilihin mo ang buong kontrol upang iakma kung aling mga crawler ang iba-block bawat site.
Magsimula ng 14-araw na pagsubok nang walang credit card at i-block ang mga backlink crawler bawat site habang nananatiling may buong access ang mga search engine — naka-on bilang default para sa Footprint-Free na linya, kinokontrol mula sa dashboard at sa MCP.
Magsimula nang libre