এসইও-ক্রলার ব্লকিং
একটি প্রথম শ্রেণির, প্রতি-সাইটের Footprint-Free নিয়ন্ত্রণ: এসইও এবং ব্যাকলিঙ্ক ক্রলারদের — Ahrefs, Majestic, Semrush, Moz, Screaming Frog এবং বাকি সব — ব্লক করুন, অথচ সার্চ ইঞ্জিনগুলোর পূর্ণ অ্যাক্সেস বহাল রাখুন। PBN লাইনের জন্য ডিফল্টভাবে চালু, ইউজার-এজেন্ট দ্বারা সার্ভারে বলবৎ, ড্যাশবোর্ড এবং MCP থেকে পরিচালিত। এটি ফুটপ্রিন্ট গেম: প্রতিযোগীদের টুল থেকে লিঙ্ক লুকান, SERP-এ ইনডেক্সেবল থাকুন।
একটি প্রাইভেট নেটওয়ার্কের আসল ভ্যালু হলো এমন একটি লিংক যা অন্য কেউ দেখতে পায় না। ঠিক যে মুহূর্তে কোনো প্রতিযোগীর ব্যাকলিংক টুল আপনার পিবিএন (PBN) সাইট ক্রল করতে পারবে এবং এর আউটবাউন্ডিং লিংক ধরে আপনার মানি সাইটে পৌঁছে যাবে, তখন নেটওয়ার্কটি প্রকাশ হয়ে পড়বে—আর সেই সাথে আপনার সুবিধাও চিরতরে হারিয়ে যাবে।
তাহলে কাজটি নিখুঁত: ব্যাকলিংক-বিশ্লেষণ ক্রলারগুলোকে আটকে দিন যা সেই লিঙ্ক গ্রাফ তৈরি করে—Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot এবং তাদের সমগোত্রীয়রা—পাশাপাশি সার্চ ইঞ্জিনগুলোকে সম্পূর্ণ অক্ষত রাখুন, কারণ Google ক্রল করতে পারে না এমন কোনো সাইট র্যাংক করতে পারে না। স্পাইদের ব্লক করুন, ইনডেক্সারদের রাখুন।
এটি Footprint-Free লাইনে প্রতি-সাইট ভিত্তিক একটি টগল, যা ডিফল্টভাবে চালু থাকে। প্রতিটি ক্রলার বা পুরো গ্রুপে টিক দিন বা টিক সরিয়ে নিন, সংরক্ষণ করুন, আর ইঞ্জিনটি আপনার জন্য নিয়মগুলো লিখে বা সরিয়ে দেবে।
robots.txt একটি উপদেশমূলক বিষয় এবং আক্রমণাত্মক ক্রলাররা এটি উপেক্ষা করে—Majestic ঠিক এই কাজটিই করে বলে দেখা গেছে। তাই আসল ব্লকটি সার্ভারেই থাকে, যার ওপর robots.txt কেবল একটি সৌজন্যমূলক স্তর হিসেবে কাজ করে।
এনফোর্সমেন্ট হলো একটি .htaccess, LiteSpeed বা nginx ইউজার-এজেন্ট ডিনাই, যা হোস্টিং ওয়ার্কার এবং আপনার সেভ করা টগল থেকে Zinn® প্লাগইন দ্বারা লেখা হয়েছে। এটিই সেই নিয়ম যা প্রকৃতপক্ষে কোনো ক্রলারকে থামায়, কারণ এটি ক্রলারের সদিচ্ছার ওপর নির্ভর করে না।
আমরা যেসব ক্রলার এই নিয়ম মেনে চলে, তাদের জন্য একটি robots.txt ডিস্যালাও তৈরি করি—যাতে ভালো আচরণকারী টুলগুলোকে বিনীতভাবে এবং খারাপ আচরণকারী টুলগুলোকে কঠোরভাবে দূরে রাখা যায়।
কিছু ক্রলার ভুয়া ইউজার-এজেন্টের আড়ালে লুকিয়ে থাকে। সবচেয়ে ক্ষতিকর ক্রলারগুলোর জন্য আমরা পরিচিত আইপি বা এএসএন (ASN) ব্লক যুক্ত করতে পারি, যাতে ব্রাউজার হিসেবে ভান করা কোনো ক্রলারও ভেতরে প্রবেশ করতে না পারে।
গুগলবট, বিংবট এবং অন্যান্য ইনডেক্সাররা কখনই ব্লক তালিকায় থাকে না। ব্লক করার উদ্দেশ্য কেবল ব্যাকলিংক টুলগুলোর জন্য, তাই ইনডেক্সেশন এবং র্যাঙ্কিং সম্পূর্ণ সুরক্ষিত থাকে।
একটি সাধারণ আশঙ্কা হলো Majestic ব্লক করলে কোনো ডোমেইনের Trust Flow অদৃশ্য হয়ে যাবে। তা হবে না। Trust Flow এবং Citation Flow গণনা করা হয় কোনো ডোমেইনের ইনবাউন্ড ব্যাকলিংক গ্রাফ থেকে—যে লিংকগুলো সেটির দিকে নির্দেশ করে, যা Majestic অন্যান্য সাইট ক্রল করার মাধ্যমে খুঁজে পায়—ডোমেইন নিজেই ক্রল করে নয়।
আপনার PBN সাইটে MajesticBot ব্লক করলে Majestic সেই সাইটের আউটবাউন্ড লিঙ্কগুলি দেখতে পায় না, যা মূলত সেই ফুটপ্রিন্ট যা আপনি লুকিয়ে রাখতে চান। এর ফলে Majestic-এর API থেকে ডোমেইনের Trust Flow বা Citation Flow সরানো হয় না, তাই আমাদের নিজস্ব SEO-ডেটা চেকগুলি স্বাভাবিকভাবেই সেই মেট্রিকগুলি পড়তে থাকে। Ahrefs DR এবং Moz DA-এর ক্ষেত্রেও একই কথা প্রযোজ্য—সবগুলিই ইনবাউন্ড-লিঙ্কের পরিমাপ।
এসইও এবং ব্যাকলিংক ক্রলার — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot এবং এই জাতীয় অন্যান্য ক্রলার। সার্চ ইঞ্জিনগুলোকে কখনোই ছোঁয়া হয় না: Googlebot, Bingbot এবং অন্যান্য ইনডেক্সারগুলো সম্পূর্ণ অ্যাক্সেস বজায় রাখে, কারণ ইনডেক্সযোগ্য থাকাটাই মূল উদ্দেশ্য। আপনি প্রতিটি ক্রলার বা একটি গ্রুপে টিক দিয়ে এবং টিক তুলে নিয়ে সংরক্ষণ করতে পারেন।
না। শুধুমাত্র ব্যাকলিংক-বিশ্লেষণ ক্রলারগুলো ব্লক করা হয়েছে; যে সার্চ ইঞ্জিনগুলো আপনাকে র্যাংক করায়, সেগুলোকে সম্পূর্ণ untouched রাখা হয়েছে। সাইটটি ইনডেক্সেবল এবং র্যাংকযোগ্য থাকে — আপনি প্রতিযোগীদের টুল থেকে আপনার লিংক গ্রাফ লুকিয়ে রাখছেন, Google থেকে নয়।
সার্ভারে, ইউজার-এজেন্ট দ্বারা — একটি .htaccess, LiteSpeed বা nginx অস্বীকার — কারণ robots.txt শুধুমাত্র একটি পরামর্শ এবং আক্রমণাত্মক ক্রলারগুলি এটি উপেক্ষা করার জন্য পরিচিত। আমরা অনুগতদের জন্যও একটি robots.txt Disallow লিখি, এবং জাল ইউজার-এজেন্টের অধীনে ক্রল করে এমন সবচেয়ে খারাপ অপরাধীদের জন্য পরিচিত-আইপি (known-IP) বা এএসএন (ASN) অস্বীকার যোগ করতে পারি। ইঞ্জিন আপনার সংরক্ষিত টগল থেকে স্বয়ংক্রিয়ভাবে নিয়মগুলি লেখে এবং সরিয়ে দেয়।
না। Trust Flow এবং Citation Flow কম্পিউট করা হয় কোনো ডোমেইনের ইনবাউন্ড ব্যাকলিংক গ্রাফ থেকে—অন্যান্য সাইট ক্রল করার মাধ্যমে Majestic যে লিঙ্কগুলো খুঁজে পায়, ডোমেইনটি নিজে ক্রল করে নয়। সাইটে MajesticBot ব্লক করলে Majestic-এর পক্ষে তার আউটবাউন্ড লিঙ্কগুলো দেখা বন্ধ হয়ে যায়, যা সেই footprint যা আপনি লুকিয়ে রাখতে চান, কিন্তু Majestic-এর এপিআই-তে ডোমেইনের মেট্রিকগুলো ঠিকঠাকই থেকে যায়। একই যুক্তি Ahrefs DR এবং Moz DA-এর ক্ষেত্রেও প্রযোজ্য।
Footprint-Free লাইনে, হ্যাঁ—ক্রলার ব্লকিং ডিফল্টভাবেই চালু থাকে, কারণ PBN থেকে মানি সাইটের লিঙ্ক লুকিয়ে রাখাই হল ফুটপ্রিন্ট গেমের মূল বিষয়। প্রতি সাইটে কোন কোন ক্রলার ব্লক করা হবে তা সামঞ্জস্য করার জন্য আপনার কাছে সম্পূর্ণ নিয়ন্ত্রণ থাকে।
একটি কার্ড-মুক্ত ১৪ দিনের ট্রায়াল শুরু করুন এবং সার্চ ইঞ্জিনগুলো সম্পূর্ণ অ্যাক্সেস বজায় রেখে প্রতি সাইটে ব্যাকলিংক ক্রলার ব্লক করুন — ফুটপ্রিন্ট-ফ্রি (Footprint-Free) লাইনের জন্য এটি ডিফল্টভাবে চালু থাকে, যা ড্যাশবোর্ড এবং এমসিপি (MCP) থেকে নিয়ন্ত্রিত হয়।
বিনামূল্যে শুরু করুন