SEO-ක්රෝලර් අවහිර කිරීම
පළමු පන්තියේ, අඩවියක් පාසා ක්රියාත්මක වන පා සලකුණු-රහිත (Footprint-Free) පාලනයක්: සෙවුම් යන්ත්රවලට සම්පූර්ණ ප්රවේශය ලැබෙන අතරම, SEO සහ බැක්ලින්ක් බඩගාන්නන් (crawlers) — Ahrefs, Majestic, Semrush, Moz, Screaming Frog සහ අනෙකුත් සියල්ල — අවහිර කරන්න. PBN පේළිය සඳහා පෙරනිමියෙන් ක්රියාත්මක වන අතර, User-Agent මඟින් සේවාදායකයේ (server) බලාත්මක කරනු ලැබේ, උපකරණ පුවරුවෙන් (dashboard) සහ MCP මඟින් මෙහෙයවනු ලැබේ. එය පා සලකුණු ක්රීඩාවයි: තරඟකරුවන්ගේ මෙවලම්වලින් සබැඳිය සඟවන්න, SERP වල දර්ශකගත (indexable) වී සිටින්න.
පුද්ගලික ජාලයක වටිනාකම වන්නේ වෙන කිසිවෙකුට දැකගත නොහැකි සබැඳියයි. තරඟකරුවෙකුගේ බැක්ලින්ක් මෙවලමකට ඔබේ PBN වෙබ් අඩවිය ක්රෝල් කර එහි පිටතට යන සබැඳිය ඔබේ මුදල් උපයන වෙබ් අඩවිය වෙත අනුගමනය කළ හැකි මොහොතේම, ජාලය අනාවරණය වන අතර - වාසිය නැති වී යයි.
එබැවින් මෙහි කාර්යය නිරවද්ය වේ: එම ලින්ක් ප්රස්ථාර ගොඩනඟන බැක්ලින්ක් විශ්ලේෂණ ක්රෝලර්ස් — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot සහ ඒවායේ පිරිවර — සම්පූර්ණයෙන්ම අවහිර කරමින්, සෙවුම් යන්ත්ර (search engines) කිසිදු බාධාවකින් තොරව ඉඩ හරින්න. මන්ද Google වෙත ක්රෝල් කළ නොහැකි වෙබ් අඩවියකට ශ්රේණිගත විය නොහැකි බැවිනි. ඔත්තුකරුවන් අවහිර කරන්න, ඉන්ඩෙක්සර්වරුන් තබා ගන්න.
මෙය Footprint-Free පේළියේ එක් අඩවියක් සඳහා වන ටොගලයක් වන අතර, එය පෙරනිමියෙන් ක්රියාත්මක වේ. සෑම බඩගාන්නෙකුම හෝ සම්පූර්ණ සමූහයක් සලකුණු කරන්න හෝ ඉවත් කරන්න, සුරකින්න, එවිට එන්ජිම ඔබ වෙනුවෙන් නීති ලියයි හෝ ඉවත් කරයි.
robots.txt යනු උපදේශනාත්මක එකක් වන අතර, ආක්රමණශීලී ක්රෝලර්ස් එය නොසලකා හරී — Majestic හරියටම එයම කරන බව දක්නට ලැබී ඇත. එබැවින් සැබෑ අවහිර කිරීම සර්වරය මඟින් සිදු වන අතර, robots.txt යනු ඉහළින් ඇති අමතර අනුග්රහ තට්ටුවකි.
මෙම බලාත්මක කිරීම යනු ඔබ සුරකින ලද ටොගල් වලින් හොස්ටින් සේවකයා සහ Zinn® ප්ලගිනය විසින් ලියන ලද .htaccess, LiteSpeed හෝ nginx User-Agent තහනම් කිරීමකි. ක්රෝලර් එකක යහපත් අභිප්රේරණය මත රඳා නොපවතින බැවින්, ක්රෝලර් එකක් සැබවින්ම නවත්වන රීතිය මෙයයි.
අපි එයට ගරු කරන ක්රෝලර් සඳහා robots.txt Disallow එකක් ද ලියන්නෙමු — එය ආරක්ෂිත ක්රමයකි, ඒ නිසා හොඳින් හැසිරෙන මෙවලම් කාරුණිකව හරවා යවන අතර වැරදි ලෙස හැසිරෙන ඒවා දැඩි ලෙස හරවා යවනු ලැබේ.
සමහර ක්රෝලර්ස්ලා ව්යාජ පරිශීලක-නියෝජිතයන් (user-agents) පිටුපස සැඟවී සිටිති. වඩාත් හානිකර ක්රෝලර්ස්ලා වැළැක්වීම සඳහා අපට හැඳින්වූ IP හෝ ASN අවහිර කිරීම් එකතු කළ හැකි අතර, එවිට බ්රව්සරයක් ලෙස පෙනී සිටින ක්රෝලර් කෙනෙකුට වුවද ඇතුළු වීමට නොහැකි වේ.
Googlebot, Bingbot සහ වෙනත් ඉන්ඩෙක්සර්වරු කිසි විටෙකත් අවහිර කිරීමේ ලැයිස්තුවේ නොමැත. අවහිර කිරීම විශේෂයෙන්ම ඉලක්ක කර ඇත්තේ බැක්ලින්ක් මෙවලම් වෙත වන අතර, එමඟින් ඉන්ඩෙක්ස් කිරීම සහ ශ්රේණිගත කිරීම් ස්පර්ශ නොවේ.
Majestic අවහිර කිරීමෙන් ඩොමේන් එකක Trust Flow අතුරුදහන් වනු ඇතැයි යන බියක් සාමාන්යයෙන් පවතී. එය එසේ සිදු නොවේ. Trust Flow සහ Citation Flow ගණනය කරනු ලබන්නේ ඩොමේන් එකකට ලැබෙන පසු සබැඳි ප්රස්තාරය (inbound backlink graph) මත පදනම්වය — එනම් වෙනත් අඩවි ක්රෝල් කිරීමෙන් Majestic සොයා ගන්නා, එම ඩොමේන් එක වෙත යොමු වන සබැඳි මඟිනි; ඩොමේන් එකම ක්රෝල් කිරීමෙන් එය සිදු නොකෙරේ.
ඔබගේ PBN වෙබ් අඩවියේ MajesticBot තහනම් කිරීම මඟින් Majestic වෙත එම වෙබ් අඩවියේ පිටතට යන සබැඳි (outbound links) පෙනීම නතර කරන අතර, ඔබට සැඟවීමට අවශ්ය වන්නේද හරියටම එම footprint එකමය. එයින් Majestic හි API වෙතින් අදාළ ඩොමේනයේ Trust Flow හෝ Citation Flow ඉවත් නොවන බැවින්, අපගේම SEO-දත්ත පරීක්ෂාවන් මඟින් එම මිනුම් සාමාන්ය පරිදි දිගටම කියවනු ඇත. Ahrefs DR සහ Moz DA සඳහාද එය එලෙසම බලපායි — මේ සියල්ල ඇතුළතට එන සබැඳි (inbound-link) මිනුම් වේ.
SEO සහ බැක්ලින්ක් ක්රෝලර්ස් — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot සහ ඒ හා සමාන ඒවා. සෙවුම් යන්ත්රවලට කිසිදු බලපෑමක් සිදු නොකෙරේ: Googlebot, Bingbot සහ අනෙකුත් ඉන්ඩෙක්සර් වෙත පූර්ණ ප්රවේශය ලැබෙන අතර, මන්ද ඉන්ඩෙක්ස් කළ හැකිව තබා ගැනීම මෙහි ප්රධාන අරමුණ වේ. ඔබට එක් එක් ක්රෝලර් කෙනෙක් හෝ සමූහයක් තෝරා ගැනීමට හෝ ඉවත් කිරීමට සහ සුරැකීමට හැකිය.
නැත. පසුබැඳීම් විශ්ලේෂණ බඩගාන්නන් (crawlers) පමණක් අවහිර කර ඇත; ඔබව ශ්රේණිගත කරන සෙවුම් යන්ත්ර සම්පූර්ණයෙන්ම ස්පර්ශ නොකර තබා ඇත. වෙබ් අඩවිය දර්ශකගත කළ හැකි සහ ශ්රේණිගත කළ හැකි ලෙස පවතී — ඔබ ඔබේ සබැඳි ප්රස්ථාරය (link graph) ප්රතිවාදීන්ගේ මෙවලම්වලින් සඟවනවා මිස Google වලින් නොවේ.
සේවාදායකය තුළ, User-Agent මගින් — .htaccess, LiteSpeed හෝ nginx මගින් අවහිර කිරීමක් සිදු කරයි — මන්ද robots.txt යනු උපදෙස් ලබා දීමක් පමණක් වන අතර දැඩි ලෙස ක්රියාත්මක වන crawlers ඒවා නොසලකා හරින බව දන්නා කරුණකි. රීතිවලට අනුකූල වන ඒවා සඳහා අපි robots.txt Disallow කොටසක් ද ලියන අතර, ව්යාජ user-agents භාවිතයෙන් පැමිණෙන නරකම අගයන් සඳහා දන්නා IP හෝ ASN අවහිර කිරීම් එකතු කළ හැක. එන්ජිම මගින් ඔබ සුරකින ලද සැකසුම් මත පදනම්ව මෙම රීති ස්වයංක්රීයව ලියනු ලබන අතර ඉවත් කරනු ලබයි.
නැත. Trust Flow සහ Citation Flow ගණනය කරනු ලබන්නේ ඩොමේන් එකේ ලැබෙන (inbound) බෑක්ලින්ක් ප්රස්ථාරය මගිනි — එනම් Majestic විසින් වෙනත් අඩවි පරිශීලනය (crawl) කිරීමේදී සොයාගත් එයට ලැබෙන ලින්ක් මගිනි — ඩොමේන් එකම පරිශීලනය කිරීමෙන් නොවේ. වෙබ් අඩවිය තුළ MajesticBot අවහිර කිරීම මගින් Majestic වෙත එහි පිටතට යන (outbound) ලින්ක් පෙනීම වළක්වයි, එනම් ඔබට සැඟවීමට අවශ්ය footprint එක එයයි, නමුත් Majestic හි API තුළ ඇති ඩොමේන් එකේ මෙට්රික්ස් එලෙසම පවත්වයි. Ahrefs DR සහ Moz DA සඳහාද මෙම තර්කයම අදාළ වේ.
Footprint-Free මාදිලිය සම්බන්ධයෙන් නම්, ඔව් — ක්රෝලර් අවහිර කිරීම පෙරනිමියෙන් ක්රියාත්මක වේ, මන්ද PBN සිට මුදල් උපයන අඩවිය දක්වා ඇති සබැඳිය සැඟවීම ෆුට්ප්රින්ට් ක්රීඩාවේ හරය වන බැවිනි. එක් එක් අඩවිය සඳහා අවහිර කළ යුත්තේ කුමන ක්රෝලර් ද යන්න සකස් කිරීමට ඔබට පූර්ණ පාලනයක් ඇත.
කාඩ්පත් අවශ්ය නොවන දින 14ක නොමිලේ අත්හදා බැලීමක් ආරම්භ කර, සෙවුම් යන්ත්රවලට පූර්ණ ප්රවේශය ඉතිරි කරමින් එක් වෙබ් අඩවියකට පසු සබැඳි බඩගාන්නන් (backlink crawlers) අවහිර කරන්න — Footprint-Free මාර්ගය සඳහා පෙරනිමියෙන් ක්රියාත්මක වන අතර, එය ඩෑෂ්බෝඩ් එකෙන් සහ MCP එකෙන් පාලනය කළ හැක.
නොමිලේ අරඹන්න