देशों, पतों और क्रॉलरों को ब्लॉक करना

ये तीन अलग-अलग समस्याओं के लिए तीन अलग-अलग सेटिंग्स हैं। साइट की सुरक्षा सेटिंग्स से इन तक पहुँचें।

देश

या तो एक ब्लॉक सूची (इनको छोड़कर सभी विज़िट कर सकते हैं) या एक अनुमति सूची (इनको छोड़कर कोई भी विज़िट नहीं कर सकता)। यह एक स्विच है, और सहेजने से पहले इसे दो बार पढ़ना उचित है: एक देश वाली अनुमति सूची आपकी साइट को अन्य सभी के लिए इंटरनेट से हटा देती है, जो कभी-कभार बिल्कुल वही होता है जो आप चाहते हैं और अन्यथा एक बुरा अनुभव साबित होता है।

सूची साफ़ करने से प्रत्येक देश का प्रतिबंध हट जाता है; इसके लिए अलग से कोई "हर जगह अनब्लॉक करें" चरण नहीं है।

⚠️ अनुमति सूची आपको Google से बाहर कर देगी, और यह वह हिस्सा है जिसे लोग नज़रअंदाज़ कर देते हैं। खोज इंजन अपने स्वयं के पतों से क्रॉल करते हैं — आपके विज़िटर्स जहाँ भी हों, Googlebot संयुक्त राज्य अमेरिका से क्रॉल करता है — इसलिए ऐसी अनुमति सूची जिसमें वे देश शामिल नहीं हैं, क्रॉलर को अन्य सभी के साथ ब्लॉक कर देगी, और जिस साइट को क्रॉल नहीं किया जा सकता वह इंडेक्स से बाहर हो जाती है। यह तत्काल नहीं होता है और यह स्पष्ट भी नहीं होता है, जो इसे नुकसानदेह बनाता है।

इसलिए हम डिफ़ॉल्ट रूप से सत्यापित खोज इंजनों को अनुमति देते हैं। उस स्विच को वैसे ही रहने दें और Google तथा Bing आपकी साइट तक पहुँचते रहेंगे चाहे वे जहाँ से भी क्रॉल करें, भले ही अनुमति सूची में सिर्फ एक देश का नाम हो। यदि आप वास्तव में कोई अपवाद नहीं चाहते हैं तो आप इस छूट को बंद कर सकते हैं — इससे ऊपर बताया गया जोखिम बिल्कुल वैसे ही वापस आ जाता है जैसा वर्णित है, और ऐसा करने पर स्क्रीन यह स्पष्ट बताती है।

⛔ इस छूट के लिए ऐसे प्रदाता की आवश्यकता होती है जो क्रॉलर को सत्यापित कर सके, और सभी प्रदाता ऐसा नहीं कर सकते। सत्यापित करने का अर्थ है पतों के माध्यम से यह जांचना कि Googlebot कहलाने वाला विज़िटर वास्तव में Google ही है — न कि केवल उसके दावों पर विश्वास करना, जिसकी कोई भी नकल कर सकता है। हमारा Cloudflare एज ऐसा करता है। Bunny, CDN77 और Gcore ऐसा नहीं करते हैं, इसलिए उन पर किसी भी चीज़ को अनुमति देना सुरक्षित नहीं है और हम किसी भी चीज़ को अनुमति नहीं देते हैं। ऐसे प्रदाता पर जो क्रॉलर्स को सत्यापित नहीं कर सकता, अनुमति सूची में ऊपर बताया गया पूरा जोखिम होता है — साइट की देश वाली स्क्रीन आपको बताती है कि आप किस स्थिति में हैं, और छूट पर निर्भर रहने से पहले आपको इसे पढ़ना चाहिए। वहाँ ब्लॉक सूची को प्राथमिकता दें।

व्यक्तिगत पते

किसी विशिष्ट परेशानी के लिए — एक पता जो फ़ॉर्म पर बार-बार अनुरोध भेज रहा हो, एक स्क्रैपर। यह मुट्ठी भर पतों के लिए सही उपकरण है और किसी हमले के लिए गलत, जो हज़ारों पतों से आता है और आपके टाइप करने की गति से भी तेज़ी से उन्हें बदलता है। उसके लिए, आपको CDN की सुरक्षा की आवश्यकता है।

SEO क्रॉलर्स

तृतीय-पक्ष SEO क्रॉलर्स — जो बैकलिंक डेटाबेस बनाते हैं — को व्यक्तिगत रूप से ब्लॉक किया जा सकता है। लोग ऐसा इसलिए करते हैं ताकि उनके लिंक प्रोफ़ाइल को प्रतिस्पर्धियों द्वारा सूचीबद्ध न किया जा सके।

आप यहाँ खुद को डी-इंडेक्स नहीं कर सकते। खोज इंजन चुनने के लिए सूची में शामिल नहीं हैं, यह जानबूझकर किया गया है: Googlebot को ब्लॉक करना एक ऐसा निर्णय है जिसके परिणाम इस स्क्रीन के उद्देश्य से कहीं अधिक व्यापक हैं, इसलिए स्क्रीन ऐसा नहीं करेगी। आपकी robots.txt इस सेटिंग से अप्रभावित रहती है और आपकी ही बनी रहती है।

⚠️ वह सुरक्षा विशेष रूप से इस नियंत्रण के लिए है। ऊपर दिए गए देश के नियम का अपना एक सुरक्षा उपाय है, लेकिन वह सशर्त है — यह डिफ़ॉल्ट रूप से सत्यापित खोज इंजनों को अनुमति देता है, और केवल वहीं जहाँ आपका प्रदाता उन्हें सत्यापित कर सकता है। यदि आपने दोनों का उपयोग किया है, तो देश का नियम अभी भी वही है जो आपकी रैंकिंग को नुकसान पहुँचा सकता है, इसलिए छूट लागू है यह मान लेने के बजाय जाँचें कि इसकी स्क्रीन क्या रिपोर्ट करती है।

इनमें से कोई भी क्या नहीं है

इनमें से कोई भी सॉफ़्टवेयर को अपडेट रखने का विकल्प नहीं है। किसी देश को ब्लॉक करने से उस देश का ट्रैफ़िक रुक जाता है; यह उस पुराने प्लगइन को ठीक नहीं करता है जिसकी वह ट्रैफ़िक तलाश कर रहा था।