आम्ही होस्ट करत असलेली प्रत्येक साइट आणि प्रत्येक सर्व्हर बाय डीफॉल्ट वाईट बॉट्स आणि बनावट क्रॉलर्सना ब्लॉक करतो. आपल्याला काहीही सुरू करण्याची आवश्यकता नाही आणि यासाठी कोणताही अतिरिक्त खर्च येत नाही.
काय ब्लॉक केले जाते?
- परिचित वाईट बॉट्स: स्वतःचे नाव उघड करणारे स्क्रॅपर्स, सामग्री चोरणारे, स्पॅम टूल्स आणि असुरक्षितता स्कॅनर्स.
- बनावट क्रॉलर्स: आपल्या सुरक्षेमधून बाहेर पडण्यासाठी Googlebot, Bingbot, Applebot, GPTBot किंवा ClaudeBot सारख्या सुप्रसिद्ध क्रॉलरचे सोंग घेणारे प्रोग्राम्स. यांपैकी एक असल्याचा दावा करणारी परंतु त्या कंपनीच्या स्वतःच्या प्रकाशित नेटवर्क पत्त्यांवरून न येणारी विनंती नाकारली जाते.
ही तपासणी दोनदा होते: एखादी विनंती आपल्या सर्व्हरपर्यंत पोहोचण्यापूर्वी आमच्या एज नेटवर्कवर आणि पुन्हा वेब सर्व्हरवरच, त्यामुळे थेट आपल्या सर्व्हरवर जाणाऱ्या विनंतीचीही तपासणी केली जाते.
काय कधीही ब्लॉक केले जात नाही?
खरे, पडताळलेले क्रॉलर्स नेहमी पुढे जातात. Googlebot, Bingbot, Applebot आणि खरे AI क्रॉलर्स (जसे की GPTBot आणि ClaudeBot) केवळ त्यांनी दिलेल्या नावानेच नव्हे, तर ते कुठून आले आहेत यावरून ओळखले जातात, जेणेकरून आपली साइट शोध परिणामांमध्ये आणि AI उत्तरांमध्ये कायम राहील.
मी माझ्या साइटवर AI क्रॉलर्सना ब्लॉक करू शकतो/शकते का?
होय, आणि प्रत्येक साइटसाठी हा निर्णय आपला आहे. साइट्स उघडा, साइट निवडा, CDN टॅब उघडा आणि सुरक्षा आणि बॉट नियंत्रण → AI क्रॉलर्स शोधा:
- कोणतीही विशेष वागणूक नाही: AI क्रॉलर्सना इतर कोणत्याही अभ्यागतासारखेच हाताळले जाते.
- त्यांना अनुमती द्या: AI क्रॉलर्सना आत येऊ दिले जाते.
- त्यांना आव्हान द्या किंवा त्यांना ब्लॉक करा: AI क्रॉलर्सना एजवर आव्हान दिले जाते किंवा नाकारले जाते. हे दोन पर्याय आपल्या प्लॅनमध्ये समाविष्ट असलेल्या बॉट संरक्षणासह येतात; आपल्या प्लॅनमध्ये ते समाविष्ट नसल्यास स्क्रीनवर तसे दिसते.
आम्ही आपल्यासाठी ही सेटिंग कधीही बदलत नाही. बनावट बॉट्स ब्लॉक केल्याने याला धक्का लागत नाही: आपण ब्लॉक करणे निवडल्यासच खरा AI क्रॉलर ब्लॉक केला जातो.
काहीतरी वैध नाकारले गेले असल्यास
ते वरील क्रॉलर्सपैकी एक असल्याचा आव आणत नसल्यास अपटाइम मॉनिटर्स, पेमेंट कॉलबॅक आणि SEO टूल्सवर परिणाम होत नाही. आपण वापरत असलेली सेवा नाकारली गेल्यास, वेळ आणि ती ज्या पत्त्यावरून आली होती तो पत्ता नमूद करून एक सपोर्ट तिकीट तयार करा आणि आम्ही त्याची तपासणी करू.