Маҳдудкунии кишварҳо, суроғаҳо ва роботҳои ҷустуҷӯӣ

Инҳо се танзимоти гуногун барои се мушкилоти гуногун мебошанд. Ба онҳо аз танзимоти амнияти сайт дастрасӣ пайдо кунед.

Кишварҳо

Ё рӯйхати манъшуда (ҳама метавонанд ташриф оранд, ба истиснои инҳо) ё рӯйхати иҷозатдодашуда (ҳеҷ кас наметавонад ташриф орад, ба истиснои инҳо). Ин як гузариш аст ва пеш аз нигоҳдорӣ онро ду бор хондан лозим аст: рӯйхати иҷозатдодашуда, ки дорои як кишвар аст, сайтро барои ҳамаи дигарон аз интернет хомӯш мекунад, ки ин баъзан дақиқан ҳамон чизест, ки шумо мехоҳед ва дар ҳолати дигар як нисфирӯзии бад аст.

Пок кардани рӯйхат ҳамаи маҳдудиятҳои кишварҳоро бекор мекунад; қадами алоҳидаи "аз бастани ҳама ҷо баровардан" вуҷуд надорад.

⚠️ Рӯйхати иҷозатдодашуда шуморо аз Google берун мекунад ва ин ҳамон қисмест, ки одамон надида мегузаронанд. Муҳаррикҳои ҷустуҷӯӣ аз суроғаҳои худ мехазанд — Googlebot аз Иёлоти Муттаҳида, новобаста аз он ки ташрифоварони шумо дар куҷоянд — бинобар ин рӯйхати иҷозатдодашуда, ки он кишварҳоро дар бар намегирад, боти ҷустуҷӯиро ҳамроҳи ҳамаи дигарон мебандад ва сайти хазиданашаванда аз индекс меафтад. Ин фаврӣ ва равшан нест, ки маҳз ҳамин чиз онро гарон мекунад.

Бинобар ин мо ба муҳаррикҳои ҷустуҷӯии тасдиқшуда бо нобаёнӣ иҷозат медиҳем. Он гузаришро наҷунбонед ва Google ва Bing расидан ба сайтро аз ҳар ҷое, ки мехазанд, идома медиҳанд, ҳатто бо рӯйхати иҷозатдодашуда, ки як кишварро номбар мекунад. Шумо метавонед озодкуниро хомӯш кунед, агар шумо ҳақиқатан ҳеҷ истисноро нахоҳед — ин хатари болоро дақиқан тавре ки тавсиф шудааст бармегардонад ва экран ҳангоми иҷрои ин кор инро нишон медиҳад.

⛔ Барои озодкунӣ таъминкунандае лозим аст, ки боти ҷустуҷӯиро тасдиқ карда тавонад ва на ҳамаи онҳо метавонанд. Тасдиқ кардан маънои санҷидани онро дорад, ки ташрифоваре, ки худро Googlebot меномад, воқеан Google тавассути суроғаҳояш мебошад — на танҳо ба гапи он бовар кардан, ки онро дилхоҳ кас метавонад нусхабардорӣ кунад. Шабакаи Cloudflare-и мо ин корро мекунад. Bunny, CDN77 ва Gcore ин корро намекунанд, бинобар ин дар онҳо чизе барои иҷозатдиҳии бехатар вуҷуд надорад ва мо ба чизе иҷозат намедиҳем. Дар таъминкунандае, ки ботҳои ҷустуҷӯиро тасдиқ карда наметавонад, рӯйхати иҷозатдодашуда хатари пурраи болоро дорад — экрани кишварҳои сайт ба шумо мегӯяд, ки шумо дар кадом ҳолат ҳастед ва шумо бояд онро пеш аз такя кардан ба озодкунӣ хонед. Дар он ҷо рӯйхати манъшударо афзалтар донед.

Суроғаҳои инфиродӣ

Барои як мушкилии муайян — як суроғае, ки ба форма пайваста дархост мефиристад, ё як скрепер. Ин воситаи дуруст барои якчанд суроғаҳо ва воситаи нодуруст барои ҳуҷум аст, ки аз ҳазорон суроғаҳо меояд ва онҳоро тезтар аз он ки шумо тайп карда метавонед, иваз мекунад. Барои он, ҳимояи CDN он чизест, ки шумо мехоҳед.

Ботҳои ҷустуҷӯии SEO

Ботҳои ҷустуҷӯии SEO-и тарафи сеюм — онҳое, ки пойгоҳи додаҳои истинодҳои бозгаштиро месозанд — метавонанд ба таври инфиродӣ баста шаванд. Одамон ин корро мекунанд, то профили истинодҳои худро аз каталогизатсия тавассути рақибон ҳифз кунанд.

Шумо наметавонед худро аз ин ҷо аз индекс хориҷ кунед. Муҳаррикҳои ҷустуҷӯӣ аз рӯи тарҳ дар рӯйхати интихоб нестанд: бастани Googlebot қарорест бо оқибатҳои хеле фаротар аз он чизе, ки ин экран барои он пешбинӣ шудааст, бинобар ин экран ин корро намекунад. robots.txt-и шумо бо ин танзим бетағйир мемонад ва азони шумо мемонад.

⚠️ Он ҳимоя махсусан ба ин назорат тааллуқ дорад. Қоидаи кишвари боло дорои девори ҳимоявии худ аст, аммо он шартӣ мебошад — он ба муҳаррикҳои ҷустуҷӯии тасдиқшуда бо нобаёнӣ ва танҳо дар ҷое, ки таъминкунандаи шумо метавонад онҳоро тасдиқ кунад, иҷозат медиҳад. Агар шумо ҳар дуро истифода карда бошед, қоидаи кишвар ҳоло ҳам ҳамонест, ки метавонад ба шумо аз даст додани мавқеъҳоро ба бор орад, бинобар ин ба ҷои тахмин кардани он ки озодкунӣ дар амал аст, он чизеро, ки экрани он гузориш медиҳад, тафтиш кунед.

Инҳо чиро ифода намекунанд

Ҳеҷ яке аз онҳо ҷойгузини навсозӣ нигоҳ доштани нармафзор нест. Бастани кишвар трафики он кишварро бозмедорад; он плагини кӯҳнашудаеро, ки трафик барои он ҷустуҷӯ мекард, ислоҳ намекунад.