Bllokimi i SEO-crawler-it
Një kontroll i klasit të parë, për çdo sajt, i llojit Footprint-Free: bllokoni skanuesit e SEO-s dhe të backlink-eve — Ahrefs, Majestic, Semrush, Moz, Screaming Frog dhe të tjerët — ndërkohë që motorët e kërkimit ruajnë aksesin e plotë. I aktivizuar si parazgjedhje për linjën PBN, i zbatuar në server nga User-Agent, i drejtuar nga paneli i kontrollit dhe MCP. Është loja e gjurmëve: fshihni linkun nga mjetet e konkurrentëve, qëndroni të indeksueshëm në SERP.
Vlera e një rrjeti privat është lidhja që askush tjetër nuk mund ta shohë. Në momentin që mjeti i backlink-eve të një konkurrenti mund të skanojë faqen tuaj PBN dhe të ndjekë lidhjen e saj dalëse drejt faqes suaj kryesore, rrjeti zbulohet - dhe avantazhi ikën.
Pra detyra është e saktë: bllokoni robotët e analizës së backlink-eve që ndërtojnë ato grafe lidhjesh — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot dhe të ngjashmit e tyre — duke i lënë motorët e kërkimit plotësisht të paprekur, sepse një faqe që Google nuk mund ta skanojë, nuk mund të renditet. Bllokoni spiunët, mbani indeksuesit.
Ky është një çelës për çdo sajt në linjën Footprint-Free, i cili është i aktivizuar si parazgjedhje. Zgjidhni ose hiqni zgjedhjen për çdo crawler, ose për një grup të tërë, ruajeni, dhe motori shkruan ose heq rregullat për ju.
robots.txt është këshillues dhe crawler-ët agresivë e shpërfillin atë — Majestic është vëzhguar duke bërë pikërisht këtë. Kështu që bllokimi i vërtetë ndodh në server, ku robots.txt shërben thjesht si një shtresë mirësjelljeje sipër tij.
Zbatimi është një bllokim i User-Agent për .htaccess, LiteSpeed ose nginx, i shkruar nga punonjësi i hostimit dhe shtojca Zinn® nga çelësat tuaj të ruajtur. Ky është rregulli që në fakt ndalon një crawler, sepse nuk varet nga vullneti i mirë i crawler-it.
Ne gjithashtu shkruajmë një robots.txt Disallow për robotët e kërkimit që e respektojnë atë — për siguri maksimale, kështu që mjetet e sjellshme refuzohen me edukatë dhe ato të papërshtatshmet refuzohen në mënyrë të prerë.
Disa shfletues të automatizuar fshihen pas përdorues-agjentëve të rremë. Për shkelësit më të këqij, ne mund të shtojmë bllokime të IP-ve të njohura ose ASN-ve, kështu që një program që shtiret si shfletues përsëri nuk mund të hyjë.
Googlebot, Bingbot dhe indeksuesit e tjerë nuk janë kurrë në listën e bllokimit. Bllokimi synon ekskluzivisht mjetet e lidhjeve (backlinks), kështu që indeksimi dhe renditja mbeten të paprekura.
Një shqetësim i zakonshëm është se bllokimi i Majestic do të bëjë që Trust Flow i një domeni të zhduket. Kjo nuk do të ndodhë. Trust Flow dhe Citation Flow llogariten nga grafiku i backlink-ëve hyrës të një domeni – lidhjet që tregojnë drejt tij, të cilat Majestic i gjen duke shfletuar sajte të tjera – dhe jo duke shfletuar vetë domenin.
Bllokimi i MajesticBot në faqen tuaj PBN e ndalon Majestic-un të shohë lidhjet dalëse të asaj faqeje, që është pikërisht gjurma (footprint) që dëshironi të fshihni. Kjo nuk e heq Trust Flow ose Citation Flow të domenit nga API i Majestic, kështu që kontrollet tona të të dhënave SEO vazhdojnë të lexojnë ato metrika normalisht. E njëjta gjë vlen edhe për Ahrefs DR dhe Moz DA — të gjitha matjet e lidhjeve hyrëse.
Gjurmuesit e SEO-së dhe backlink-eve — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot dhe të ngjashmit. Motorët e kërkimit nuk preken kurrë: Googlebot, Bingbot dhe indeksuesit e tjerë ruajnë qasjen e plotë, sepse qëllimi kryesor është pikërisht të jesh i indeksueshëm. Mund të zgjidhni dhe çzgjidhni secilin gjurmues, ose një grup, dhe t'i ruani.
Jo. Bllokohen vetëm robotët e analizës së backlink-eve; motorët e kërkimit që ju renditin lihen plotësisht të paprekur. Faqja mbetet e indeksueshme dhe e renditshme — ju po fshihni grafikun tuaj të lidhjeve nga mjetet e konkurrentëve, jo nga Google.
Në server, nga User-Agent — një refuzim .htaccess, LiteSpeed ose nginx — sepse robots.txt është vetëm këshillues dhe crawler-ët agresivë dihet se e shpërfillin atë. Ne shkruajmë një Disallow në robots.txt edhe për ata që zbatojnë rregullat, dhe mund të shtojmë refuzime të bazuara në IP ose ASN për shkelësit më të këqij që bëjnë crawling nën user-agent të rremë. Motori shkruan dhe heq rregullat automatikisht nga çelësat tuaj të ruajtur.
Jo. Trust Flow dhe Citation Flow llogariten nga grafiku i backlink-eve hyrëse të një domeni — lidhjet me të, të gjetura duke u zvarritur nga Majestic në sajtet e tjera — dhe jo duke u zvarritur vetë domeni. Bllokimi i MajesticBot në sajt ndalon që Majestic të shohë lidhjet e tij dalëse, që është footprint që dëshironi të fshihet, por luan metrikat e domenit në API-në e Majestic të paprekura. E njëjta logjikë zbatohet për Ahrefs DR dhe Moz DA.
Në linjën Footprint-Free, po — bllokimi i crawler-ëve është aktiv si parazgjedhje, sepse fshehja e lidhjes nga PBN te faqja monetare është thelbi i lojës së footprint. Ju ruani kontrollin e plotë për të rregulluar se cilët crawler bllokohen për çdo faqe.
Fillo një provë 14-ditore pa kartë krediti dhe blloko robotët e backlink-eve për çdo sajt ndërkohë që motorët e kërkimit ruajnë aksesin e plotë — aktiv si parazgjedhje për linjën Footprint-Free, e kontrolluar nga paneli i kontrollit dhe MCP.
Fillo falas