SEO краулерін бұғаттау
Әр сайтқа арналған жоғары деңгейлі Footprint-Free бақылауы: іздеу жүйелерінің толық қолжетімділігін сақтай отырып, SEO және кері сілтемелер краулерлерін — Ahrefs, Majestic, Semrush, Moz, Screaming Frog және басқаларын бұғаттаңыз. PBN желісі үшін әдепкі бойынша қосулы, сервер деңгейінде User-Agent арқылы орындалады, бақылау тақтасы мен MCP арқылы басқарылады. Бұл footprint ойыны: сілтемені бәсекелестердің құралдарынан жасырыңыз, SERP-терде индекстелетін болып қалыңыз.
Жеке желінің құндылығы — оны басқа ешкім көре алмайтын сілтемеде. Бәсекелестің кері сілтемелер құралы сіздің PBN сайтыңызды сканерлеп, оның негізгі табыс әкелетін сайтыңызға баратын сыртқы сілтемесін бақылай алған сәтте, желі әшкереленеді — және артықшылық жоғалады.
Сондықтан тапсырма анық: іздеу жүйелеріне мүлдем тиіспей, сол сілтеме график құрастыратын кері сілтемелерді талдау краулерлерін — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot және олардың баламаларын — бұғаттау, себебі Google сканерлей алмайтын сайт нәтижелер қатарынан орын ала алмайды. Тыңшыларды бұғаттаңыз, индекстеушілерді қалдырыңыз.
Бұл — Footprint-Free желісіндегі әр сайтқа арналған ауыстырып-қосқыш, әдепкі бойынша қосулы тұрады. Әрбір краулерді немесе бүкіл топты белгілеңіз немесе белгіні алып тастаңыз, сақтаңыз, сонда жүйе ережелерді сіз үшін жазады немесе жояды.
robots.txt тек ұсыныс сипатында болады және агрессивті краулерлер оны елемейді — Majestic дәл осылай істейтіні байқалды. Сондықтан нақты бұғаттау сервер деңгейінде жасалады, ал robots.txt жай ғана әдептілік үшін қосымша қабат ретінде қызмет етеді.
Бұл талап ету — сақталған қосқыштарыңыздың негізінде хостинг жұмысшысы мен Zinn® плагині жазған .htaccess, LiteSpeed немесе nginx User-Agent тыйымы. Бұл бақылаушыны шын мәнінде тоқтататын ереже, себебі ол бақылаушының ізгі ниетіне тәуелді емес.
Сондай-ақ біз оны құрметтейтін роботтар үшін robots.txt Disallow нұсқаулығын жазамыз — сақтықта қорлық жоқ, осылайша тәртіпті құралдар сыпайы түрде кері қайтарылады, ал тәртіпсіздері қатаң түрде тоқтатылады.
Кейбір роботтар жалған пайдаланушы агенттерінің артына жасырынады. Ең қауіпті бұзушылар үшін белгілі IP немесе ASN бұғаттауларын қоса аламыз, осылайша браузер кейпін киген робот бәрібір ене алмайды.
Googlebot, Bingbot және басқа индекстеуіштер ешқашан бұғаттау тізіміне кірмейді. Бұғаттау тек кері сілтеме құралдарына бағытталған, сондықтан индекстеу мен орындар өзгеріссіз қалады.
Жиі кездесетін алаңдаушылық — Majestic бұғатталса, доменнің Trust Flow көрсеткіші жоғалып кетеді деген ой. Олай болмайды. Trust Flow және Citation Flow доменнің кіріс кері сілтемелер графигі негізінде есептеледі — яғни доменнің өзін емес, басқа сайттарды шарлау арқылы Majestic табатын, оған бағытталған сілтемелер арқылы анықталады.
PBN сайтыңызда MajesticBot-ты бұғаттау Majestic-тің сол сайттың шығыс сілтемелерін көруіне жол бермейді, ал бұл дәл сіз жасырғыңыз келетін із (footprint). Бұл Majestic API-інен доменнің Trust Flow немесе Citation Flow көрсеткіштерін жоймайды, сондықтан біздің жеке SEO деректерін тексеру жүйеміз бұл көрсеткіштерді қалыпты түрде оқуды жалғастыра береді. Бұл кіріс сілтемелерінің барлық өлшемдері болып табылатын Ahrefs DR және Moz DA көрсеткіштеріне де қатысты.
SEO және кері сілтемелерді жинақтаушылар (crawlers) — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot және соған ұқсастар. Іздеу жүйелеріне ешқашан тиіспейді: Googlebot, Bingbot және басқа индекстеушілер толық қолжетімділікті сақтайды, өйткені индекстелетін болып қалу — басты мақсат. Әрбір жинақтаушыны немесе топты белгілеп, белгісін алып тастауға және сақтауға болады.
Жоқ. Тек кері сілтемелерді талдайтын краулерлер бұғатталады; сіздің рейтингіңізді анықтайтын іздеу жүйелеріне мүлдем тиіспейді. Сайт индекстелетін және рейтингке ие бола алатын күйінде қалады — сіз сілтемелер графыңызды Google-дан емес, бәсекелестердің құралдарынан жасырып отырсыз.
Серверде, User-Agent бойынша — .htaccess, LiteSpeed немесе nginx тыйымы — өйткені robots.txt тек ұсыныс сипатында және агрессивті краулерлер оны елемейтіні белгілі. Сондай-ақ ережелерге бағынатындар үшін robots.txt Disallow директивасын жазамыз және жалған user-agent қолданып шарлайтын ең қауіпті бұзушылар үшін белгілі IP немесе ASN бойынша тыйымдарды қоса аламыз. Бұл қозғалтқыш ережелерді сақталған қосқыштарыңызға сәйкес автоматты түрде жазады және жояды.
Жоқ. Trust Flow және Citation Flow доменнің өзін тексеру арқылы емес, доменнің кіріс кері сілтемелер графигінен — басқа сайттарды сканерлеу кезінде Majestic тапқан оған бағытталған сілтемелерден есептеледі. Сайтта MajesticBot бұғатталса, Majestic оның шығыс сілтемелерін, яғни сіз жасырғыңыз келетін footprint-ті көре алмайды, бірақ Majestic API-індегі домен көрсеткіштері сол күйінде сақталады. Дәл осы логика Ahrefs DR және Moz DA көрсеткіштеріне де қатысты.
Footprint-Free желісінде, иә — краулерлерді бұғаттау әдепкі бойынша қосулы тұрады, өйткені PBN-нен ақша жасайтын негізгі сайтқа (money-site) сілтемені жасыру — footprint ойынының басты мәні. Әр сайт бойынша қай краулерлерді бұғаттау керектігін реттеуді толықтай өз бақылауыңызда ұстайсыз.
Картасыз 14 күндік сынақ мерзімін бастаңыз және іздеу жүйелері толық қолжетімділікті сақтай отырып, әр сайт бойынша кері сілтемелерді жинаушы роботтарды бұғаттаңыз — бұл Footprint-Free желісі үшін әдепкі бойынша қосулы, басқару тақтасынан және MCP арқылы басқарылады.
Тегін бастау