Елдерді, мекенжайларды және боттарды бұғаттау

Бұл — үш түрлі мәселеге арналған үш бөлек баптау. Оларға сайттың қауіпсіздік баптауларынан өтіңіз.

Елдер

Не бұғаттау тізімі (осылардан басқа кез келген адам кіре алады), не рұқсат ету тізімі (осылардан басқа ешкім кіре алмайды). Бұл бір ғана ауыстырып-қосқыш және сақтамас бұрын оны екі рет оқып шыққан жөн: бір елден тұратын рұқсат ету тізімі сайтыңызды барлық басқа адамдар үшін интернеттен ажыратады, бұл кейде нақты қалағаныңыз болуы мүмкін, ал басқа жағдайда сәтсіз күнге айналады.

Тізімді тазалау елдерге қатысты әрбір шектеуді алып тастайды; бөлек «барлық жерде бұғаттаудан шығару» қадамы жоқ.

⚠️ Рұқсат ету тізімі сізді Google-ден шығарып тастауы мүмкін, бұл — адамдардың назарынан тыс қалатын тұс. Іздеу жүйелері өз мекенжайларынан сканерлейді — келушілеріңіз қай жерде болса да, Googlebot Америка Құрама Штаттарынан сканерлейді — сондықтан ол елдер кірмеген рұқсат ету тізімі краулерді басқалармен бірге бұғаттайды, ал сканерленбейтін сайт индекстен шығып қалады. Бұл бірден орын алмайды және байқалмайды, сондықтан да оның зардабы ауыр болады.

Сондықтан біз әдепкі бойынша расталған іздеу жүйелерін өткіземіз. Ол ауыстырып-қосқышқа тиіспеңіз, сонда Google мен Bing бір ел ғана көрсетілген рұқсат ету тізімі болса да, қай жерден сканерлесе де сайтыңызға қол жеткізе береді. Егер ешқандай ерекшелікті қаламасаңыз, ерекшелікті өшіре аласыз — бұл жоғарыда сипатталған қауіпті дәл сол қалпында қайтарады және өшірген кезде экран бұл туралы хабарлайды.

⛔ Бұл ерекшелік үшін краулерді тексере алатын провайдер қажет, бірақ олардың бәрінің бұған шамасы жетпейді. Тексеру дегеніміз — өзін Googlebot деп атайтын келушінің расымен Google екенін мекенжайлары бойынша тексеруді білдіреді, кез келген адам көшіріп алатын бос сөзіне сенуді емес. Біздің Cloudflare edge мұны орындайды. Bunny, CDN77 және Gcore мұны жасамайды, сондықтан оларда қауіпсіз өткізетін ештеңе жоқ және біз ештеңе өткізбейміз. Краулерлерді тексере алмайтын провайдерде рұқсат ету тізімі жоғарыдағы барлық қауіпті толықтай өзіне жүктейді — сайттың елдерге арналған экраны қай жағдайда екеніңізді көрсетеді, және ерекшелікке сенім артпас бұрын оны оқып шығуыңыз керек. Ол жерде бұғаттау тізімін таңдаған дұрыс.

Жеке мекенжайлар

Нақты бір келеңсіздікке арналған — пішінді толассыз атқылайтын бір мекенжай, бір скрейпер. Бұл бірнеше мекенжай үшін дұрыс құрал, бірақ мыңдаған мекенжайдан келетін және оларды сіз теріп үлгергеннен де жылдам ауыстыратын шабуыл үшін бұрыс құрал. Ондай жағдайда сізге керегі — CDN қорғанысы.

SEO краулерлері

Үшінші тараптың SEO краулерлерін — кері сілтемелер дерекқорын жасайтындарды — жеке-жеке бұғаттауға болады. Адамдар мұны бәсекелестері өздерінің сілтемелік бейінін каталогқа енгізбеуі үшін жасайды.

Бұл жерде өз-өзіңізді индекстен шығара алмайсыз. Іздеу жүйелері таңдау тізіміне әдейі енгізілмеген: Googlebot-ты бұғаттау — бұл экранның міндетінен әлдеқайда асып түсетін салдары бар шешім, сондықтан экран бұған жол бермейді. Сіздің robots.txt файлыңызға бұл баптау тиіспейді және өзгеріссіз қалады.

⚠️ Бұл қорғаныс тек осы басқару элементіне ғана тән. Жоғарыдағы елдер ережесінің өз қауіпсіздік тетігі бар, бірақ ол шартты түрде — ол расталған іздеу жүйелерін әдепкі бойынша және тек провайдеріңіз оларды тексере алатын жерде ғана өткізеді. Егер екеуін де қолданған болсаңыз, позицияларыңызды жоғалтуға әкеліп соқтыратыны бәрібір елдер ережесі болып қала береді, сондықтан ерекшелік күшінде деп топшылаудың орнына, оның экранында не көрсетілгенін тексеріңіз.

Бұлардың ешқайсысы не болып саналмайды

Олардың ешқайсысы бағдарламалық жасақтаманы жаңартып отырудың орнын баса алмайды. Елді бұғаттау сол елдің трафигін тоқтатады; ол трафик нысанаға алған ескірген плагинді жөндемейді.