এসইও ক্রলার ব্লকিং
প্রতিটি সাইটের জন্য প্রথম শ্রেণীর Footprint-Free নিয়ন্ত্রণ: SEO এবং ব্যাকলিংক ক্রলারগুলি — Ahrefs, Majestic, Semrush, Moz, Screaming Frog এবং বাকিগুলি — ব্লক করুন, যেখানে সার্চ ইঞ্জিনগুলি সম্পূর্ণ অ্যাক্সেস বজায় রাখবে। PBN লাইনের জন্য ডিফল্টভাবে সক্রিয়, সার্ভারে User-Agent দ্বারা প্রয়োগকৃত, ড্যাশবোর্ড এবং MCP থেকে চালিত। এটিই footprint-এর খেলা: প্রতিযোগীদের টুল থেকে লিঙ্কটি লুকান, SERP-এ ইনডেক্সযোগ্য থাকুন।
একটি প্রাইভেট নেটওয়ার্কের মূল্য হলো সেই লিঙ্কটিতে যা অন্য কেউ দেখতে পারে না। যে মুহূর্তে কোনো প্রতিদ্বন্দীর ব্যাকলিঙ্ক টুল আপনার PBN সাইট ক্রল করতে পারে এবং আপনার মূল আয়ের সাইটে এটির আউটবাউন্ড লিঙ্ক অনুসরণ করতে পারে, নেটওয়ার্কটি উন্মোচিত হয়ে যায় — এবং সুবিধাটি হারিয়ে যায়।
সুতরাং কাজটি সুস্পষ্ট: ব্যাকলিংক বিশ্লেষণকারী ক্রলারগুলিকে ব্লক করা যা সেই লিঙ্ক গ্রাফগুলি তৈরি করে — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot এবং তাদের মতো অন্যান্যদের — আর সার্চ ইঞ্জিনগুলিকে সম্পূর্ণ অক্ষত রাখা, কারণ Google যে সাইট ক্রল করতে পারে না তা র্যাঙ্ক করতে পারে না। গুপ্তচরদের ব্লক করুন, ইনডেক্সারদের রাখুন।
এটি Footprint-Free লাইনের একটি প্রতি-সাইট টগল, যা ডিফল্টভাবে সক্রিয় থাকে। প্রতিটি ক্রলার বা পুরো গ্রুপ টিক দিন বা আনটিক করুন, সংরক্ষণ করুন, এবং ইঞ্জিন আপনার জন্য নিয়মগুলি লিখবে বা সরিয়ে দেবে।
robots.txt শুধুমাত্র পরামর্শমূলক, এবং আক্রমণাত্মক ক্রলারগুলি এটি উপেক্ষা করে — Majestic-কে ঠিক এটাই করতে দেখা গেছে। তাই প্রকৃত ব্লকটি সার্ভারে কার্যকর হয়, যেখানে robots.txt কেবল একটি সৌজন্যমূলক অতিরিক্ত স্তর হিসেবে কাজ করে।
প্রয়োগটি হলো আপনার সংরক্ষিত টগলগুলি থেকে হোস্টিং ওয়ার্কার এবং Zinn® প্লাগইন দ্বারা লিখিত একটি .htaccess, LiteSpeed বা nginx User-Agent অস্বীকৃতি। এটি সেই নিয়ম যা প্রকৃতপক্ষে ক্রলারকে থামায়, কারণ এটি ক্রলারের সদিচ্ছার উপর নির্ভর করে না।
আমরা যেসব ক্রলার এটি মেনে চলে তাদের জন্য robots.txt Disallow-ও লিখে থাকি — অতিরিক্ত সুরক্ষার জন্য, যাতে নিয়ম মেনে চলা টুলগুলিকে ভদ্রভাবে এবং নিয়ম না মানা টুলগুলিকে কঠোরভাবে ফিরিয়ে দেওয়া হয়।
কিছু ক্রলার ভুয়া ইউজার-এজেন্টের আড়ালে লুকিয়ে থাকে। সবচেয়ে গুরুতর লঙ্ঘনকারীদের জন্য আমরা পরিচিত আইপি বা এএসএন নিষেধাজ্ঞা যোগ করতে পারি, যাতে কোনো ক্রলার ব্রাউজারের ছদ্মবেশ ধারণ করলেও প্রবেশ করতে না পারে।
Googlebot, Bingbot এবং অন্যান্য ইনডেক্সার কখনই ব্লক তালিকায় অন্তর্ভুক্ত থাকে না। ব্লকিং কেবল ব্যাকলিংক সরঞ্জামগুলোর উপর লক্ষ্য করা হয়, যাতে ইনডেক্সেশন এবং র্যাঙ্কিং প্রভাবিত না হয়।
একটি সাধারণ উদ্বেগ হলো যে Majestic ব্লক করলে কোনো ডোমেইনের Trust Flow মুছে যাবে। তা হবে না। Trust Flow এবং Citation Flow একটি ডোমেইনের ইনবাউন্ড ব্যাকলিংক গ্রাফ থেকে গণনা করা হয় — অর্থাৎ যেসব লিঙ্ক এটির দিকে নির্দেশ করে, যা Majestic অন্য সাইটগুলো ক্রল করার মাধ্যমে খুঁজে পায় — ডোমেনটি নিজে ক্রল করে নয়।
আপনার PBN সাইটে MajesticBot ব্লক করলে Majestic সেই সাইটের বহির্গামী লিঙ্কগুলি দেখতে পারে না, যা মূলত সেই footprint যা আপনি গোপন রাখতে চান। এটি Majestic-এর API থেকে ডোমেনের Trust Flow বা Citation Flow সরিয়ে দেয় না, তাই আমাদের নিজস্ব SEO-ডেটা পরীক্ষাগুলি স্বাভাবিকভাবেই সেই মেট্রিকগুলি পড়তে থাকে। Ahrefs DR এবং Moz DA-এর ক্ষেত্রেও একই কথা প্রযোজ্য — যার সবই অন্তর্মুখী-লিঙ্কের পরিমাপ।
SEO এবং ব্যাকলিংক ক্রলারগুলি — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot এবং এই জাতীয় অন্যান্য। সার্চ ইঞ্জিনগুলিকে কখনই স্পর্শ করা হয় না: Googlebot, Bingbot এবং অন্যান্য সূচককারীগুলির সম্পূর্ণ অ্যাক্সেস বজায় থাকে, কারণ সূচীকরণযোগ্য থাকাই মূল লক্ষ্য। আপনি প্রতিটি ক্রলার বা একটি গ্রুপ চিহ্নিত বা অনির্বাচিত করতে পারেন এবং সংরক্ষণ করতে পারেন।
না। শুধুমাত্র ব্যাকলিঙ্ক-বিশ্লেষণকারী ক্রলারগুলিকে ব্লক করা হয়; যে সার্চ ইঞ্জিনগুলি আপনার র্যাঙ্কিং নির্ধারণ করে সেগুলিকে সম্পূর্ণরূপে অক্ষত রাখা হয়। সাইটটি ইনডেক্সযোগ্য এবং র্যাঙ্কযোগ্যই থাকে — আপনি আপনার লিঙ্ক গ্রাফটি প্রতিযোগী টুলগুলির থেকে গোপন করছেন, Google থেকে নয়।
সার্ভারে, User-Agent অনুযায়ী — একটি .htaccess, LiteSpeed বা nginx deny — কারণ robots.txt শুধুমাত্র পরামর্শমূলক এবং আক্রমণাত্মক ক্রলারগুলি এটি উপেক্ষা করার জন্য পরিচিত। আমরা নিয়ম মেনে চলা ক্রলারগুলির জন্যও একটি robots.txt Disallow লিখি, এবং ভুয়া ব্যবহারকারী-এজেন্টের অধীনে ক্রল করা সবচেয়ে খারাপ লঙ্ঘনকারীদের জন্য পরিচিত-IP বা ASN denies যোগ করতে পারি। ইঞ্জিনটি আপনার সংরক্ষিত টগলগুলি থেকে স্বয়ংক্রিয়ভাবে নিয়মগুলি লেখে এবং সরিয়ে দেয়।
না। Trust Flow এবং Citation Flow ডোমেনের ইনবাউন্ড ব্যাকলিংক গ্রাফ থেকে গণনা করা হয় — অর্থাৎ Majestic অন্যান্য সাইট ক্রল করার মাধ্যমে প্রাপ্ত লিঙ্কগুলি, ডোমেনটি নিজে ক্রল করার মাধ্যমে নয়। সাইটে MajesticBot ব্লক করলে তা Majestic-কে এর আউটবাউন্ড লিঙ্কগুলি দেখতে বাধা দেয়, যা মূলত আপনি লুকানো রাখতে চান এমন footprint, তবে এটি Majestic-এর API-তে ডোমেনের মেট্রিক্স অক্ষত রাখে। একই যুক্তি Ahrefs DR এবং Moz DA-এর ক্ষেত্রেও প্রযোজ্য।
Footprint-Free লাইনে, হ্যাঁ — ক্রলার ব্লকিং ডিফল্টভাবেই চালু থাকে, কারণ PBN থেকে মানি সাইটের লিঙ্ক গোপন রাখাই হলো footprint গেমের মূল লক্ষ্য। প্রতিটি সাইটের জন্য কোন ক্রলারগুলো ব্লক করা হবে তা সমন্বয় করার পূর্ণ নিয়ন্ত্রণ আপনার হাতেই থাকে।
কার্ড ছাড়াই একটি ১৪ দিনের ট্রায়াল শুরু করুন এবং প্রতিটি সাইটের জন্য ব্যাকলিংক ক্রলারগুলিকে ব্লক করুন, যেখানে সার্চ ইঞ্জিনগুলি সম্পূর্ণ অ্যাক্সেস বজায় রাখবে — এটি Footprint-Free লাইনের জন্য ডিফল্টভাবে চালু থাকে, ড্যাশবোর্ড এবং MCP থেকে নিয়ন্ত্রিত হয়।
বিনামূল্যে শুরু করুন