Երկրների, հասցեների և կրոլերների արգելափակում

Սրանք երեք տարբեր կարգավորումներ են երեք տարբեր խնդիրների համար: Դրանց կարող եք անցնել կայքի անվտանգության կարգավորումներից:

Երկրներ

Կա՛մ արգելափակման ցուցակ (բոլորը կարող են այցելել, բացի սրանցից), կա՛մ թույլատրման ցուցակ (ոչ ոք չի կարող այցելել, բացի սրանցից): Դա մեկ անջատիչ է, և արժե երկու անգամ կարդալ նախքան պահպանելը. մեկ երկիր պարունակող թույլատրման ցուցակը ինտերնետից հեռացնում է ձեր կայքը մնացած բոլորի համար, ինչը երբեմն հենց այն է, ինչ ցանկանում եք, իսկ հակառակ դեպքում՝ անհաջող օրվա պատճառ:

Ցուցակի մաքրումը հեռացնում է երկրների բոլոր սահմանափակումները. առանձին «ապաարգելափակել ամենուր» քայլ չկա:

⚠️ Թույլատրման ցուցակը ձեզ դուրս կհանի Google-ից, և սա այն մասն է, որը մարդիկ բաց են թողնում: Որոնողական համակարգերը սկանավորում են իրենց սեփական հասցեներից (Googlebot-ը՝ ԱՄՆ-ից, որտեղ էլ որ լինեն ձեր այցելուները), ուստի այդ երկրները չներառող թույլատրման ցուցակը կարգելափակի սկանավորող բոտին մնացած բոլորի հետ միասին, իսկ կայքը, որը հնարավոր չէ սկանավորել, դուրս է թռչում ինդեքսից: Դա տեղի չի ունենում ակնթարթորեն և ակնհայտ չէ, ինչն էլ այն դարձնում է թանկ նստող:

Այդ պատճառով մենք լռելյայն թույլատրում ենք ստուգված որոնողական համակարգերը: Մի՛ դիպչեք այդ անջատիչին, և Google-ն ու Bing-ը կշարունակեն մուտք գործել ձեր կայք, որտեղից էլ որ նրանք սկանավորեն, նույնիսկ մեկ երկիր նշող թույլատրման ցուցակի դեպքում: Դուք կարող եք անջատել բացառությունը, եթե իսկապես ոչ մի բացառություն չեք ցանկանում. դա վերադարձնում է վերը նշված ռիսկը ճիշտ այնպես, ինչպես նկարագրված է, և էկրանը հայտնում է այդ մասին, երբ դա անեք:

⛔ Բացառության համար անհրաժեշտ է մատակարար, որը կարող է ստուգել սկանավորող բոտը, իսկ ոչ բոլորը կարող են դա անել: Ստուգելը նշանակում է ստուգել, որ իրեն Googlebot անվանող այցելուն իսկապես Google-ն է՝ ըստ իր հասցեների, այլ ոչ թե պարզապես հավատալ նրա խոսքին, ինչը յուրաքանչյուրը կարող է կեղծել: Մեր Cloudflare եզրային (edge) համակարգը դա անում է: Bunny, CDN77 և Gcore ծառայությունները դա չեն անում, ուստի դրանց վրա անվտանգ ոչինչ չկա թույլատրելու համար, և մենք ոչինչ թույլ չենք տալիս: Այն մատակարարի վրա, որը չի կարող ստուգել սկանավորող բոտերը, թույլատրման ցուցակը կրում է վերը նշված ամբողջական ռիսկը — կայքի երկրների էկրանը հայտնում է ձեզ, թե որ դեպքում եք գտնվում, և դուք պետք է կարդաք այն նախքան բացառության վրա հույս դնելը: Այնտեղ նախապատվությունը տվեք արգելափակման ցուցակին:

Առանձին հասցեներ

Կոնկրետ անհանգստության համար՝ մեկ հասցե, որը ծանրաբեռնում է ձևաթուղթը, մեկ տվյալներ կորզող ծրագիր (scraper): Սա ճիշտ գործիք է մի քանի հասցեների համար և սխալ գործիք՝ հարձակման համար, որը գալիս է հազարավորներից և փոխում է դրանք ավելի արագ, քան դուք կարող եք մուտքագրել: Դրա համար ձեզ անհրաժեշտ է CDN-ի պաշտպանությունը:

SEO սկանավորող բոտեր

Երրորդ կողմի SEO սկանավորող բոտերը, որոնք կառուցում են հետադարձ հղումների տվյալների բազաներ, կարող են արգելափակվել անհատապես: Մարդիկ դա անում են, որպեսզի մրցակիցները չկատալոգավորեն իրենց հղումների պրոֆիլը:

Դուք չեք կարող ապաինդեքսավորել ձեզ այստեղ: Որոնողական համակարգերը ցուցակում չեն ընտրության համար՝ ըստ նախագծման. Googlebot-ի արգելափակումը որոշում է, որի հետևանքները շատ ավելին են, քան այս էկրանի նպատակը, ուստի էկրանը դա չի անի: Ձեր robots.txt-ը մնում է անձեռնմխելի այս կարգավորումից և մնում է ձերը:

⚠️ Այդ պաշտպանությունը հատուկ է այս կառավարման տարրին: Վերը նշված երկրի կանոնն ունի իր սեփական արգելապատնեշը, բայց պայմանական — այն լռելյայն թույլատրում է ստուգված որոնողական համակարգերը, և միայն այնտեղ, որտեղ ձեր մատակարարը կարող է ստուգել դրանք: Եթե օգտագործել եք երկուսն էլ, ապա երկրի կանոնը դեռևս այն մեկն է, որը կարող է ձեզ զրկել ձեր դիրքերից, ուստի ստուգեք, թե ինչ է հայտնում դրա էկրանը, այլ ոչ թե ենթադրեք, որ բացառությունը գործում է:

Ինչ չեն հանդիսանում սրանցից ոչ մեկը

Սրանցից ոչ մեկը ծրագրակազմը թարմացված պահելու փոխարինող չէ: Երկրի արգելափակումը դադարեցնում է այդ երկրի տրաֆիկը. այն չի շտկում հնացած փլագինը, որը փնտրում էր տվյալ տրաֆիկը: