Уls, хаяг болон мөлхөгчдийг блоклох

Ээдрээтэй гурван асуудалд зориулсан гурван өөр тохиргоо энд байна. Эдгээрийг сайтын аюулгүй байдлын тохиргооноос олно уу.

Улс орнууд

Энэ нь эсвэл хориглосон жагсаалт (энд дурдсанаас бусад хүн бүр зочлох боломжтой) эсвэл зөвшөөрсөн жагсаалт (энд дурдсанаас бусад хэн ч зочлох боломжгүй) байх болно. Энэ бол нэг л шилжүүлэгч бөгөөд хадгалахаасаа өмнө хоёр ч удаа сайтар унших нь зүйтэй: зөвхөн нэг улсыг агуулсан зөвшөөрсөн жагсаалт нь бусад бүх хүмүүст таны сайтыг интернэтээс хаах бөгөөд энэ нь зарим тохиолдолд таны хүссэн зүйл байж болох ч үгүй бол таагүй үр дагавартай байх болно.

Жагсаалтыг цэвэрлэх нь улс орны бүх хязгаарлалтыг арилгах ба тусдаа "бүх газрын хоригийг цуцлах" гэсэн алхам байхгүй.

⚠️ Зөвшөөрсөн жагсаалт нь таныг Google-с гаргах болно, хүмүүсийн анзаардаггүй зүйл бол энэ юм. Хайлтын системүүд өөрсдийн хаягнаас (зочдорын байршил хамаарахгүйгээр АНУ-аас Googlebot) мөлхөж (crawling хийж) байдаг тул эдгээр улсыг огээгүй зөвшөөрсөн жагсаалт нь бусад хүмүүсийн адил хайлтын роботыг мөн хориглох бөгөөд хандаж чадахгүй сайт индексээс хасагддаг. Энэ нь шууд мэдэгдэхгүй бөгөөд илт ажиглагддаггүй нь үүнийг өртөг өндөртэй болгодог.

Тиймээс бид баталгаажсан хайлтын системүүдийг анхдагчаар нэвтрүүлдэг. Энэ шилжүүлэгчд хүрмээргүй бөгөөд үүнийг хийснээр нэг улсыг заасан зөвшөөрсөн жагсаалттай байсан ч Google болон Bing хайлтын системүүд хаанаас мөлхөж байгаагаас үл хамааран таны сайт руу хандсаар байх болно. Хэрэв та ямар нэгэн онцгой тохиолдол байлгахыг хүсэхгүй байгаа бол уг чөлөөлөлтийг унтрааж болох ба энэ нь дээр дурдсан эрсдэлийг яг хэвээр нь авчрах бөгөөд үүнийг хийхэд дэлгэцэн дээр энэ тухай анхааруулж гарч ирэх болно.

⛔ Энэхүү чөлөөлөлтөд хайлтын роботыг баталгаажуулах чадвартай үйлчилгээ үзүүлэгч хэрэгтэй бөгөөд тэд бүгд үүнийг хийж чадахгүй. Баталгаажуулах гэдэг нь Googlebot гэж өөрийгөө нэрлэж буй зочин нь бусдын хуулж болох үгэнд нь итгэх биш харин хаягаар нь дамжуулан үнэхээр Google мөн эсэхийг шалгахыг хэлнэ. Манай Cloudflare edge үүнийг хийдэг. Харин Bunny, CDN77 болон Gcore үүнийг хийж чадахгүй тул эдгээр дээр нэвтрүүлэхэд аюулгүй зүйл байхгүй тул бид юуг ч нэвтрүүлдэггүй. Хайлтын роботыг баталгаажуулж чадахгүй үйлчилгээ үзүүлэгч дээр зөвшөөрсөн жагсаалт ашиглах нь дээр дурдсан бүх эрсдэлийг дагуулна — сайтын улс орны дэлгэц нь та ямар нөхцөлд байгааг танд хэлэх бөгөөд та энэхүү чөлөөлөлтөд найдахаасаа өмнө үүнийг унших хэрэгтэй. Тэнд хориглосон жагсаалтыг илүүд үзээрэй.

Хувийн хаягууд

Маягтыг тасралтгүй илгээж буй нэг хаяг, эсвэл нэг хусагч (scraper) зэрэг тодорхой төвөгтэй зүйлд зориулагдсан. Энэ бол хэдхэн хаягт зориулсан зөв хэрэгсэл боловч олон мянган газраас ирж, таныг бичиж амжаагүй байхад хурдан өөрчлөгддөг дайралтын хувьд буруу сонголт юм. Үүний тулд CDN-ийн хамгаалалт танд хэрэгтэй.

SEO хайлтын роботууд

Гуравдагч талын SEO хайлтын роботууд буюу буцаалтын холбоосын (backlink) мэдээллийн санг бүтээдэг роботуудыг тус тусад нь хориглож болно. Хүмүүс өөрсдийн холбоосын профайлыг өрсөлдөгчид нь каталогжуулахаас сэргийлэхийн тулд үүнийг хийдэг.

Та энд өөрийгөө индексээс хасах боломжгүй. Хайлтын системүүд сонгох жагсаалтад зориудаар ороогүй болно: Googlebot-ыг хориглох нь энэ дэлгэцийн зорилгоос хамаагүй хол үр дагавартай шийдвэр тул дэлгэц үүнийг хийхгүй. Таны robots.txt файлд энэ тохиргоо ямар нэгэн байдлаар нөлөөлөхгүй бөгөөд таных хэвээр үлдэх болно.

⚠️ Энэхүү хамгаалалт нь зөвхөн энэ удирдлагад л хамаатай. Дээрх улс орны дүрэм нь өөрийн гэсэн хамгаалалттай боловч нөхцөлтэй юм — энэ нь баталгаажсан хайлтын системүүдийг анхдагчаар нэвтрүүлдэг бөгөөд зөвхөн таны үйлчилгээ үзүүлэгч тэдгээрийг баталгаажуулах боломжтой үед л үйлчилнэ. Хэрэв та эдгээрийг хоёуланг нь ашигласан бол улс орны дүрэм нь таны зэрэглэлд нөлөөлж болох цорын га("")]