আমাদের হোস্ট করা প্রতিটি সাইট এবং প্রতিটি সার্ভার ডিফল্টভাবেই ক্ষতিকারক বট এবং ভুয়া ক্রলারগুলিকে ব্লক করে। আপনাকে কিছুই চালু করতে হবে না, এবং এর জন্য অতিরিক্ত কোনো খরচও নেই।
কী ব্লক করা হয়?
- পরিচিত ক্ষতিকারক বট: স্ক্র্যাপার, কনটেন্ট চোর, স্প্যাম টুল এবং দুর্বলতা স্ক্যানার যা নিজেদের নাম প্রকাশ করে।
- ভুয়া ক্রলার: এমন প্রোগ্রাম যা আপনার নিরাপত্তা প্রাচীর পার হওয়ার জন্য Googlebot, Bingbot, Applebot, GPTBot বা ClaudeBot-এর মতো সুপরিচিত ক্রলার হওয়ার ভান করে। এমন কোনো অনুরোধ যা এগুলির মধ্যে একটি বলে দাবি করে কিন্তু সেই কোম্পানির নিজস্ব প্রকাশিত নেটওয়ার্ক ঠিকানা থেকে আসে না, তা প্রত্যাখ্যান করা হয়।
এই পরীক্ষাটি দু'বার হয়: কোনো অনুরোধ আপনার সার্ভারে পৌঁছানোর আগে আমাদের এজ নেটওয়ার্কে এবং ওয়েব সার্ভারে আরও একবার, যাতে সরাসরি আপনার সার্ভারে যাওয়া অনুরোধও পরীক্ষা করা হয়।
কী কখনো ব্লক করা হয় না?
আসল, যাচাইকৃত ক্রলারগুলি সর্বদা প্রবেশের অনুমতি পায়। Googlebot, Bingbot, Applebot এবং আসল এআই ক্রলারগুলি (যেমন GPTBot এবং ClaudeBot) শুধুমাত্র তাদের দেওয়া নাম দ্বারাই নয়, বরং সেগুলি কোথা থেকে আসছে তা দেখে চেনা যায়, তাই আপনার সাইট অনুসন্ধানের ফলাফলে এবং এআই উত্তরে বজায় থাকে।
আমি কি আমার সাইটে এআই ক্রলার ব্লক করতে পারি?
হ্যাঁ, এবং প্রতিটি সাইটের জন্য এই সিদ্ধান্তটি আপনার। সাইটসমূহ খুলুন, সাইটটি বেছে নিন, CDN ট্যাবটি খুলুন এবং নিরাপত্তা এবং বট নিয়ন্ত্রণ → এআই ক্রলার খুঁজুন:
- কোনো বিশেষ ব্যবস্থা নয়: এআই ক্রলারদের অন্য যেকোনো দর্শকের মতোই বিবেচনা করা হয়।
- অনুমতি দিন: এআই ক্রলারদের প্রবেশের অনুমতি দেওয়া হয়।
- চ্যালেঞ্জ করুন বা ব্লক করুন: এআই ক্রলারদের এজেই চ্যালেঞ্জ করা হয় বা প্রত্যাখ্যান করা হয়। এই দুটি বিকল্প আপনার প্ল্যানে অন্তর্ভুক্ত বট সুরক্ষার সাথে আসে; আপনার প্ল্যানে এটি অন্তর্ভুক্ত না থাকলে স্ক্রিনে তা দেখানো হবে।
আমরা আপনার হয়ে এই সেটিংটি কখনোই পরিবর্তন করি না। ভুয়া বট ব্লক করা এটিকে প্রভাবিত করে না: একটি বাস্তব এআই ক্রলার কেবল তখনই ব্লক করা হয় যদি আপনি এটি ব্লক করার সিদ্ধান্ত নেন।
বৈধ কিছু প্রত্যাখ্যাত হয়েছে
আপটাইম মনিটর, পেমেন্ট কলব্যাক এবং এসইও সরঞ্জামগুলি প্রভাবিত হয় না যদি না সেগুলি উপরের ক্রলারগুলির একটি হওয়ার ভান করে। আপনি যে পরিষেবাটি ব্যবহার করেন তা যদি প্রত্যাখ্যাত হয়, তবে সময় এবং যে ঠিকানা থেকে এটি এসেছে তা সহ একটি সাপোর্ট টিকিট খুলুন এবং আমরা এটি খতিয়ে দেখব।