हमारे द्वारा होस्ट की जाने वाली प्रत्येक साइट और प्रत्येक सर्वर डिफ़ॉल्ट रूप से खराब बॉट्स और नकली क्रॉलर्स को ब्लॉक करता है। आपको कुछ भी चालू करने की आवश्यकता नहीं है, और इसका कोई अतिरिक्त शुल्क नहीं लगता है।
क्या ब्लॉक किया जाता है?
- ज्ञात खराब बॉट्स: स्क्रैपर्स, सामग्री चोर, स्पैम उपकरण और भेद्यता स्कैनर जो स्वयं की पहचान नाम से बताते हैं।
- नकली क्रॉलर्स: वे प्रोग्राम जो आपकी सुरक्षा को पार करने के लिए Googlebot, Bingbot, Applebot, GPTBot या ClaudeBot जैसे किसी जाने-माने क्रॉलर होने का ढोंग करते हैं। ऐसा अनुरोध जो इनमें से एक होने का दावा करता है लेकिन उस कंपनी के स्वयं के प्रकाशित नेटवर्क पतों से नहीं आता है, उसे अस्वीकार कर दिया जाता है।
यह जाँच दो बार होती है: किसी अनुरोध के आपके सर्वर तक पहुँचने से पहले हमारे एज नेटवर्क पर, और फिर से वेब सर्वर पर ही, ताकि सीधे आपके सर्वर पर जाने वाले अनुरोध की भी जाँच हो सके।
क्या कभी ब्लॉक नहीं किया जाता है?
वास्तविक, सत्यापित क्रॉलर्स हमेशा आगे निकल जाते हैं। Googlebot, Bingbot, Applebot और वास्तविक AI क्रॉलर्स (जैसे GPTBot और ClaudeBot) को उनके आने के स्थान से पहचाना जाता है, न कि केवल उनके द्वारा दिए गए नाम से, इसलिए आपकी साइट खोज परिणामों और AI उत्तरों में बनी रहती है।
क्या मैं अपनी साइट पर AI क्रॉलर्स को ब्लॉक कर सकता हूँ?
हाँ, और प्रत्येक साइट के लिए यह विकल्प आपका है। साइट्स खोलें, साइट चुनें, CDN टैब खोलें और सुरक्षा और बॉट नियंत्रण → AI क्रॉलर्स खोजें:
- कोई विशेष व्यवहार नहीं: AI क्रॉलर्स के साथ किसी भी अन्य विज़िटर की तरह व्यवहार किया जाता है।
- उन्हें अनुमति दें: AI क्रॉलर्स को जाने दिया जाता है।
- उन्हें चुनौती दें या उन्हें ब्लॉक करें: AI क्रॉलर्स को एज पर चुनौती दी जाती है या अस्वीकार कर दिया जाता है। ये दो विकल्प आपके प्लान में शामिल बॉट सुरक्षा के साथ आते हैं; यदि आपके प्लान में यह शामिल नहीं है तो स्क्रीन यह दिखाती है।
हम आपके लिए इस सेटिंग को कभी नहीं बदलते हैं। नकली बॉट्स को ब्लॉक करने से इस पर कोई असर नहीं पड़ता: एक वास्तविक AI क्रॉलर केवल तभी ब्लॉक होता है जब आप उसे ब्लॉक करना चुनते हैं।
कुछ वैध अस्वीकार कर दिया गया था
अपटाइम मॉनिटर, भुगतान कॉलबैक और SEO उपकरण तब तक प्रभावित नहीं होते जब तक वे ऊपर दिए गए क्रॉलर्स में से किसी एक होने का ढोंग न करें। यदि आपके द्वारा उपयोग की जाने वाली किसी सेवा को अस्वीकार कर दिया जाता है, तो समय और उस पते के साथ एक सपोर्ट टिकट खोलें जहाँ से यह आया था और हम इसकी जाँच करेंगे।