എസ്.ഇ.ഒ-ക്രോളർ തടയൽ
ഒരു മികച്ച, പെർ-സൈറ്റ് Footprint-Free നിയന്ത്രണം: സെർച്ച് എഞ്ചിനുകൾക്ക് പൂർണ്ണ ആക്സസ് ലഭിക്കുമ്പോൾ തന്നെ SEO, ബാക്ക്ലിങ്ക് ക്രോളറുകളെ തടയുക — Ahrefs, Majestic, Semrush, Moz, Screaming Frog എന്നിവയും മറ്റ് ബാക്കിയുള്ളവയും. PBN ലൈനിനായി ഡിഫോൾട്ടായി ഓൺ ആണ്, യൂസർ-ഏജന്റ് വഴി സെർവറിൽ നടപ്പിലാക്കുന്നു, ഡാഷ്ബോർഡിൽ നിന്നും MCP-യിൽ നിന്നും നിയന്ത്രിക്കുന്നു. ഇത് ഫുട്പ്രിന്റ് ഗെയിം ആണ്: എതിരാളികളുടെ ടൂളുകളിൽ നിന്ന് ലിങ്ക് മറയ്ക്കുക, SERP-കളിൽ ഇൻഡക്സ് ചെയ്യപ്പെടാവുന്ന രീതിയിൽ തുടരുക.
ഒരു സ്വകാര്യ നെറ്റ്വര്ക്കിന്റെ മൂല്യം മറ്റാര്ക്കും കാണാന് കഴിയാത്ത ആ ലിങ്ക് ആണ്. എതിരാളിയുടെ ബാക്ക്ലിങ്ക് ടൂളിന് നിങ്ങളുടെ PBN സൈറ്റ് ക്രാള് ചെയ്യാനും അതിലെ ഔട്ട്ബൗണ്ട് ലിങ്ക് വഴി നിങ്ങളുടെ മണി സൈറ്റിലേക്ക് പ്രവേശിക്കാനും കഴിയുന്ന നിമിഷം, ആ നെറ്റ്വര്ക്ക് സുരക്ഷി്യമല്ലാതായിത്തീരുന്നു — കൂടാതെ ആ മേല്ക്കോയ്മ നഷ്ടപ്പെടുകയും ചെയ്യുന്നു.
അതുകൊണ്ട് ഈ ജോലിയുടെ ഉദ്ദേശ്യം വ്യക്തമാണ്: ബാക്ക്ലിങ്ക് ലിങ്ക് ഗ്രാഫുകൾ നിർമ്മിക്കുന്ന ആ ക്രാളറുകളെ — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot എന്നിവയെയും അവയുടെ വകഭേദങ്ങളെയും — തടയുക, അതേസമയം സെർച്ച് എഞ്ചിനുകളെ പൂർണ്ണമായും ബാധിക്കാതെ വിടുക; കാരണം Google-ന് ക്രാൾ ചെയ്യാൻ കഴിയാത്ത ഒരു സൈറ്റിന് റാങ്ക് ലഭിക്കില്ല. ചാരന്മാരെ ബ്ലോക്ക് ചെയ്യുക, ഇൻഡെക്സറുകളെ നിലനിർത്തുക.
Footprint-Free ലൈനിലെ ഓരോ സൈറ്റിലുമുള്ള ടോഗിൾ ആണിത്, ഇത് സ്ഥിരമായി ഓൺ ആയിരിക്കും. ഓരോ ക്രാളറെയോ ഒരു മുഴുവൻ ഗ്രൂപ്പെയോ ടിക്ക് ചെയ്യുകയോ അൺടിക്ക് ചെയ്യുകയോ ചെയ്യുക, സേവ് ചെയ്യുക, എഞ്ചിൻ നിങ്ങൾക്കായി നിയമങ്ങൾ എഴുതുകയോ നീക്കം ചെയ്യുകയോ ചെയ്യും.
robots.txt ഒരു ഉപദേശക ഫയലാണ്, കൂടാതെ അക്രമാസക്തമായ ക്രാളറുകൾ അത് അവഗണിക്കുന്നു — Majestic കൃത്യമായി അതുതന്നെ ചെയ്യുന്നത് നിരീക്ഷിക്കപ്പെട്ടിട്ടുണ്ട്. അതിനാൽ യഥാർത്ഥ ബ്ലോക്ക് സെർവറിലാണ് പ്രവർത്തിക്കുന്നത്, മുകളിൽ ഒരു സൗജന്യ ലെയറായി robots.txt പ്രവർത്തിക്കുന്നു.
ഹോസ്റ്റിംഗ് വർക്കറും നിങ്ങളുടെ സേവ് ചെയ്ത ടോഗിളുകളിൽ നിന്നുള്ള Zinn® പ്ലഗിനും ചേർന്ന് തയ്യാറാക്കിയ .htaccess, LiteSpeed അല്ലെങ്കിൽ nginx യൂസർ-ഏജന്റ് നിഷേധമാണ് എൻഫോഴ്സ്മെന്റ്. ക്രാളറുടെ സന്മനസിനെ ആശ്രയിക്കാത്തതിനാൽ, യഥാർത്ഥത്തിൽ ഒരു ക്രാളറെ തടയുന്ന നിയമം ഇതാണ്.
അത് മാനിക്കുന്ന ക്രാളറുകൾക്കായി ഞങ്ങൾ ഒരു robots.txt Disallow ഉം എഴുതുന്നു — കൂടുതൽ സുരക്ഷിതത്വത്തിനായി, അതുവഴി അനുസരണയുള്ള ടൂളുകളെ മര്യാദയോടെയും അനുസരണയില്ലാത്തവയെ കർശനമായും തടയുന്നു.
ചില ക്രാളറുകൾ വ്യാജ യൂസർ-ഏജന്റുകൾക്ക് പിന്നിൽ ഒളിച്ചിരിക്കുന്നുണ്ട്. ഏറ്റവും ദോഷകരമായവയ്ക്കായി നമുക്ക് അറിയപ്പെടുന്ന ഐ.പി (known-IP) അല്ലെങ്കിൽ എ.എസ്.എൻ (ASN) തടസ്സങ്ങൾ ചേർക്കാം, അതുവഴി ബ്രൗസർ ആണെന്ന് നടിക്കുന്ന ഒരു ക്രാളറിന് പോലും പ്രവേശനം ലഭിക്കില്ല.
ഗൂഗിൾബോട്ട്, ബിംഗ്ബോട്ട്, മറ്റ് ഇൻഡക്സറുകൾ എന്നിവ ഒരിക്കലും ബ്ലോക്ക് ലിസ്റ്റിൽ ഉണ്ടാകില്ല. ബാക്ക്ലിങ്ക് ടൂളുകളെ മാത്രം ലക്ഷ്യമിട്ടാണ് ബ്ലോക്ക് ചെയ്യുന്നത്, അതിനാൽ ഇൻഡക്സേഷനും റാങ്കിംഗും ബാധിക്കില്ല.
Majestic-നെ തടയുന്നത് ഒരു ഡൊമെയ്ന്റെ Trust Flow അപ്രത്യക്ഷമാക്കാൻ ഇടയാക്കുമെന്നത് ഒരു സാധാരണ ആശങ്കയാണ്. എന്നാൽ അത് സംഭവിക്കില്ല. Trust Flow, Citation Flow എന്നിവ ഒരു ഡൊമെയ്ന്റെ ഇൻബൗണ്ട് ബാക്ക്ലിങ്ക് ഗ്രാഫിൽ നിന്നാണ് കണക്കാക്കുന്നത് - അതായത് അതിലേക്ക് ചൂണ്ടിക്കാണിക്കുന്ന ലിങ്കുകൾ, ഇത് Majestic മറ്റ് സൈറ്റുകൾ ക്രാൾ ചെയ്താണ് കണ്ടെത്തുന്നത്, അല്ലാതെ ഡൊമെയ്ൻ നേരിട്ട് ക്രാൾ ചെയ്തുകൊണ്ടല്ല.
നിങ്ങളുടെ PBN സൈറ്റിൽ MajesticBot തടയുന്നത്, ആ സൈറ്റിന്റെ ഔട്ട്ബൗണ്ട് ലിങ്കുകൾ കാണുന്നതിൽ നിന്ന് Majestic-നെ തടയുന്നു. നിങ്ങൾ മറച്ചുവെക്കാൻ ആഗ്രഹിക്കുന്ന ഫുട്പ്രിന്റ് കൃത്യമായി ഇതാണ്. Majestic-ന്റെ API-ൽ നിന്ന് ആ ഡൊമെയ്നിന്റെ Trust Flow അല്ലെങ്കിൽ Citation Flow എന്നിവ ഇത് നീക്കം ചെയ്യുന്നില്ല, അതിനാൽ ഞങ്ങളുടെ സ്വന്തം SEO-ഡാറ്റ പരിശോധനകൾ ആ മെട്രിക്സ് സാധാരണ പോലെ വായിക്കുന്നത് തുടരുന്നു. Ahrefs DR, Moz DA എന്നിവയുടെ കാര്യത്തിലും ഇത് ബാധകമാണ് — ഇവയെല്ലാം ഇൻബൗണ്ട്-ലിങ്ക് അളവുകളാണ്.
SEO-യും ബാക്ക്ലിങ്ക് ക്രോളറുകളും — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot എന്നിവയും സമാനമായവയും. സെർച്ച് എഞ്ചിനുകളെ ഒരിക്കലും ബാധിക്കില്ല: Googlebot, Bingbot എന്നിവയും മറ്റ് ഇൻഡക്സറുകളും പൂർണ്ണ ആക്സസ് നിലനിർത്തുന്നു, കാരണം ഇൻഡക്സ് ചെയ്യാൻ കഴിയുക എന്നതാണ് ഇതിന്റെ പ്രധാന ലക്ഷ്യം. നിങ്ങൾക്ക് ഓരോ ക്രോളറും അല്ലെങ്കിൽ ഒരു ഗ്രൂപ്പും ടിക്ക് ചെയ്തോ അടിച്ചെഴുതിയോ സേവ് ചെയ്യാം.
ഇല്ല. ബാക്ക്ലിങ്ക്-അനാലിസിസ് ക്രാോളുകൾ മാത്രമേ ബ്ലോക്ക് ചെയ്യപ്പെടുന്നുള്ളൂ; നിങ്ങളെ റാങ്ക് ചെയ്യുന്ന സെർച്ച് എഞ്ചിനുകൾ പൂർണ്ണമായും ഒഴിവാക്കപ്പെടുന്നു. സൈറ്റ് ഇൻഡെക്സ് ചെയ്യാനും റാങ്ക് ചെയ്യാനും കഴിയും — നിങ്ങൾ കോമ്പറ്റീറ്റേഴ്സിന്റെ ടൂളുകളിൽ നിന്ന് നിങ്ങളുടെ ലിങ്ക് ഗ്രാഫ് മറയ്ക്കുകയാണ്, Google-ൽ നിന്നല്ല.
സെർവറിൽ, യൂസർ-ഏജന്റ് വഴി — .htaccess, LiteSpeed അല്ലെങ്കിൽ nginx നിഷേധം — കാരണം robots.txt എന്നത് ഒരു നിർദ്ദേശം മാത്രമാണ്, കൂടാതെ ആക്രമണോത്സുകരായ ക്രാളറുകൾ അത് അവഗണിക്കുന്നതായി അറിയപ്പെടുന്നു. അനുസരണയുള്ളവയ്ക്കായി ഞങ്ങൾ robots.txt Disallow എഴുതുകയും, വ്യാജ യൂസർ-ഏജന്റുകൾക്ക് കീഴിൽ ക്രാൾ ചെയ്യുന്ന ഏറ്റവും മോശമായ കുറ്റവാളികൾക്കായി അറിയപ്പെടുന്ന-IP അല്ലെങ്കിൽ ASN നിഷേധങ്ങൾ ചേർക്കുകയും ചെയ്യാം. നിങ്ങൾ സേവ് ചെയ്ത ടോഗിളുകളിൽ നിന്ന് എഞ്ചിൻ സ്വയം നിയമങ്ങൾ എഴുതുകയും നീക്കം ചെയ്യുകയും ചെയ്യുന്നു.
ഇല്ല. Majestic മറ്റ് സൈറ്റുകൾ ക്രawl ചെയ്തുകൊണ്ട് കണ്ടെത്തിയ, അതിലേക്കുള്ള ലിങ്കുകൾ അടങ്ങിയ ഡൊമെയ്ന്റെ ഇൻബൗണ്ട് ബാക്ക്ലിങ്ക് ഗ്രാഫിൽ നിന്നാണ് Trust Flow, Citation Flow എന്നിവ കണക്കാക്കുന്നത്, അല്ലാതെ ഡൊമെയ്ൻ നേരിട്ട് ക്രawl ചെയ്തുകൊണ്ടല്ല. സൈറ്റിലെ MajesticBot ബ്ലോക്ക് ചെയ്യുന്നത് ഔട്ട്ബൗണ്ട് ലിങ്കുകൾ കാണുന്നതിൽ നിന്ന് Majestic-നെ തടയുന്നു (ഇതാണ് നിങ്ങൾ മറച്ചുവെക്കാൻ ആഗ്രഹിക്കുന്ന footprint), എന്നാൽ Majestic-ന്റെ API-ൽ ഡൊമെയ്ന്റെ മെട്രിക്സ് മാറ്റമില്ലാതെ നിലനിർത്തുകയും ചെയ്യുന്നു. Ahrefs DR, Moz DA എന്നിവയ്ക്കും ഇതേ നിയമം ബാധകമാണ്.
Footprint-Free ലൈനില്, അതെ — ക്രാളർ ബ്ലോക്കിംഗ് സ്വയമേവ ഓൺ ആയിരിക്കും, കാരണം PBN-ൽ നിന്ന് മണി-സൈറ്റിലേക്കുള്ള ലിങ്ക് മറയ്ക്കുക എന്നതാണ് ഫുട്പ്രിന്റ് കളിയുടെ കാതൽ. ഓരോ സൈറ്റിലും ഏതൊക്കെ ക്രാളറുകളാണ് ബ്ലോക്ക് ചെയ്യേണ്ടതെന്ന് ക്രമീകരിക്കാനുള്ള പൂർണ്ണ നിയന്ത്രണം നിങ്ങൾക്കുണ്ട്.
കാർഡില്ലാത്ത 14 ദിവസത്തെ ട്രയൽ ആരംഭിക്കുകയും സെർച്ച് എഞ്ചിനുകൾക്ക് പൂർണ്ണ ആക്സസ് ഉള്ളപ്പോൾ തന്നെ ഓരോ സൈറ്റിലെയും ബാക്ക്ലിങ്ക് ക്രാളറുകളെ ബ്ലോക്ക് ചെയ്യുകയും ചെയ്യുക — Footprint-Free ലൈനിൽ ഇത് ഡിഫോൾട്ടായി ഓൺ ആയിരിക്കും, ഇത് ഡാഷ്ബോർഡിൽ നിന്നും MCP-യിലും നിയന്ത്രിക്കാവുന്നതാണ്.
സൗജന്യമായി തുടങ്ങൂ