நாடுகள், முகவரிகள் மற்றும் கிராலர்களைத் தடுத்தல்

இவை மூன்று வெவ்வேறு சிக்கல்களுக்கான மூன்று வெவ்வேறு அமைப்புகளாகும். தளத்தின் பாதுகாப்பு அமைப்புகளிலிருந்து அவற்றை அணுகவும்.

நாடுகள்

ஒன்று தடைப் பட்டியல் (இவர்களைத் தவிர அனைவரும் பார்வையிடலாம்) அல்லது அனுமதிப் பட்டியல் (இவர்களைத் தவிர யாரும் பார்வையிட முடியாது) ஆகும். இது ஒரே ஒரு ஸ்விட்ச் ஆகும், மேலும் சேமிப்பதற்கு முன்பு இதை இருமுறை படிப்பது நல்லது: ஒரு நாட்டை மட்டும் கொண்ட அனுமதிப் பட்டியல் உங்கள் தளத்தை மற்ற அனைவருக்கும் இணையத்திலிருந்து துண்டித்துவிடும்; சில வேளைகளில் உங்களுக்கு அதுவே சரியாகத் தேவைப்படலாம், இல்லையெனில் அது ஒரு கெட்ட பிற்பகலாக முடியும்.

ப்பட்டியலை அழிப்பது அனைத்து நாட்டுத் தடைகளையும் நீக்குகிறது; தனித்தனியாக "எங்கும் தடைநீக்கு" என்ற படிநிலை கிடையாது.

⚠️ அனுமதிப் பட்டியல் உங்களை Google இலிருந்து வெளியேற்றிவிடும், இதுவே மக்கள் கவனிக்கத் தவறும் பகுதியாகும். தேடுபொறிகள் அவற்றின் சொந்த முகவரிகளிலிருந்து வலை ஊர்ந்து செல்கின்றன - உங்கள் பார்வையாளர்கள் எங்கு இருந்தாலும், Googlebot ஐக்கிய நாடுகளிலிருந்து ஊர்ந்து செல்கிறது - எனவே அந்த நாடுகளை உள்ளடக்காத அனுமதிப் பட்டியல் மற்ற அனைவருடனும் சேர்த்து வலை ஊர்வானையும் (crawler) தடுக்கும், மேலும் ஊர்ந்து செல்ல முடியாத ஒரு தளம் குறியீட்டிலிருந்து (index) வெளியேறிவிடும். இது உடனடி யானதல்ல, வெளிப்படையானதும் அல்ல, அதனால்தான் இதற்கு அதிக விலை கொடுக்க வேண்டிவரும்.

எனவே சரிபார்க்கப்பட்ட தேடுபொறிகளை நாங்கள் இயல்பாகவே அனுமதிக்கிறோம். அந்த ஸ்விட்சை அப்படியே விட்டுவிடுங்கள், ஒரு நாட்டை மட்டும் குறிப்பிடும் அனுமதிப் பட்டியல் இருந்தால்கூட, Google மற்றும் Bing ஆகியவை அவை ஊர்ந்து செல்லும் எங்குமிருந்தும் உங்கள் தளத்தை தொடர்ந்து அணுகும். உங்களுக்கு விதிவிலக்குகள் எக்ஸெம்ப்ஷன் தேவையே இல்லை என நீங்கள் உண்மையிலேயே விரும்பினால் அந்த விலக்கை நீங்கள் முடக்கலாம் - அது மேலே குறிப்பிடப்பட்ட ஆபத்தை மீண்டும் சரியாகக் கொண்டுவரும், நீங்கள் அதைச் செய்யும்போது திரையும் அதைக் காட்டும்.

⛔ இந்த விலக்குக்கு ஒரு வலை ஊர்வானைச் சரிபார்க்கக்கூடிய ஒரு வழங்குநர் (provider) தேவை, எல்லாராலும் அதைச் செய்ய முடியாது. Googlebot என்று சொல்லிக்கொள்ளும் ஒரு பார்வையாளர், அதன் முகவரிகள் மூலம் உண்மையாகவே Google தானா என்பதைச் சரிபார்ப்பது இதன் பொருளாகும் - அதை யாராலும் நகலெடுக்க முடியும் என்பதால், அது சொல்வதை அப்படியே நம்பிவிடக்கூடாது. எங்களின் Cloudflare எட்ஜ் இதைச் செய்கிறது. Bunny, CDN77 மற்றும் Gcore ஆகியவை அவ்வாறு செய்வதில்லை, எனவே அவற்றின் மூலம் பாதுகாப்பாக அனுமதிப்பதற்கு ஏதுமில்லை, அதனால் நாங்கள் எதையும் அனுமதிப்பதில்லை. வலை ஊர்வான்களைச் சரிபார்க்க முடியாத ஒரு வழங்குநரில், அனுமதிப் பட்டியல் மேலே குறிப்பிடப்பட்ட முழு ஆபத்தையும் கொண்டுள்ளது - எந்தச் சூழலில் நீங்கள் இருக்கிறீர்கள் என்பதைத் தளத்தின் நாட்டுத் திரை உங்களுக்குக் கூறுகிறது, மேலும் விலக்கை நம்புவதற்கு முன்பு நீங்கள் அதைப் படிக்க வேண்டும். அங்கு ஒரு தடைப் பட்டியலை விரும்புங்கள்.

தனிப்பட்ட முகவரிகள்

ஒரு குறிப்பிட்ட தொல்லைக்கு - ஒரு படிவத்தைத் தாக்குமொரு முகவரி, ஒரு ஸ்கிராப்பர். சில முகவரிகளுக்கு இது சரியான கருவியாகும், ஆனால் ஆயிரக்கணக்கான முகவரிகளிலிருந்து வந்து நீங்கள் தட்டச்சு செய்வதை விட வேகமாக மாறும் ஒரு தாக்குதலுக்கு இது சரியானதல்ல. அதற்க, CDN இன் பாதுகாப்புதான் உங்களுக்குத் தேவை.

SEO வலை ஊர்வான்கள்

மூன்றாம் தரப்பு SEO வலை ஊர்வான்கள் - பேக்லிங்க் தரவுத்தளங்களை உருவாக்கும் அவைகள் - தனித்தனியாகத் தடை செய்யப்படலாம். போட்டியாளர்களால் தங்கள் இணைப்பு சுயவிவரம் (link profile) பட்டியலிடப்படுவதைத் தவிர்க்க மக்கள் இதைச் செய்கிறார்கள்.

இங்கு உங்களை நீங்களே குறியீட்டிலிருந்து நீக்க முடியாது. வடிவமைப்பு படியே, தேடுபொறிகள் தேர்வு செய்வதற்கான பட்டியலில் இல்லை: Googlebot ஐத் தடை செய்வது இந்தத் திரை எதற்காக உருவாக்கப்பட்டதோ அதை விட மிக அதிகமான விளைவுகளை ஏற்படுத்தக் கூடிய ஒரு முடிவாகும், எனவே இந்தத் திரை அதைச் செய்யாது. உங்கள் robots.txt இந்த அமைப்பால் தொடப்படாமல் உங்களிடமே இருக்கும்.

⚠️ அந்தப் பாதுகாப்பு இந்தக் கட்டுப்பாட்டிற்கு மட்டுமே உரியது. மேற்கண்ட நாட்டு விதிக்கு அதற்கென சொந்தமான பாதுகாப்பு உள்ளது, ஆனால் அது நிபந்தனைக்கு உட்பட்டது - இது சரிபார்க்கப்பட்ட தேடுபொறிகளை இயல்பாகவே அனுமதிக்கிறது, மேலும் உங்கள் வழங்குநரால் அவற்றைச் சரிபார்க்க முடிந்த இடங்களில் மட்டுமே அனுமதிக்கிறது. நீங்கள் இரண்டையும் பயன்படுத்தியிருந்தால், உங்கள் தரவரிசைகளை இழக்கச் செய்யக்கூடியது நாட்டு விதிதான், எனவே விலக்கு நடைமுறையில் இருப்பதாக ஊகிப்பதை விட அதன் திரை என்ன காட்டுகிறது என்பதைச் சரிபார்க்கவும்.

இவற்றில் எதுவுமில்லை

மென்பொருளைப் புதுப்பித்த நிலையில் வைத்திருப்பதற்கு இவற்றில் எதுவும் மாற்றாக முடியாது. ஒரு நாட்டைத் தடை செய்வது அந்த நாட்டின் போக்குவரத்தைத் தடுத்து நிறுத்துகிறது; போக்குவரத்து எதற்காகத் தேடிக்கொண்டிருந்ததோ அந்த காலாவதியான செருகுநிறைவை (plugin) அது சரிசெய்யாது.