நாடுகள், முகவரிகள் மற்றும் கிராலர்களைத் தடுப்பது

இவை மூன்று வெவ்வேறு சிக்கல்களுக்கான மூன்று வெவ்வேறு அமைப்புகள். தளத்தின் பாதுகாப்பு அமைப்புகளிலிருந்து இவற்றை அணுகலாம்.

நாடுகள்

ஒன்று தடைப் பட்டியல் (இவை தவிர அனைவரும் அணுகலாம்) அல்லது அனுமதிப் பட்டியல் (இவை தவிர வேறு எவரும் அணுக முடியாது). இது ஒரு மாற்றமைப்பு மட்டுமே, மேலும் சேமிப்பதற்கு முன் இதை இருமுறை படிப்பது நல்லது: ஒரே ஒரு நாட்டைக் கொண்டுள்ள ஓர் அனுமதிப் பட்டியல், மற்ற அனைவருக்கும் உங்கள் தளத்தை இணையத்திலிருந்து நீக்கிவிடும்; இது எப்போதாவது நீங்கள் விரும்புவதாக இருக்கலாம், மற்றபடி ஒரு மோசமான நாளாக முடிந்துவிடும்.

பட்டியலை அழிப்பது ஒவ்வொரு நாட்டுக்கான கட்டுப்பாட்டையும் நீக்குகிறது; தனியாக "எல்லா இடங்களிலும் தடையை நீக்குதல்" என்ற படி எதுவும் இல்லை.

⚠️ ஓர் அனுமதிப் பட்டியல் உங்களை Google-லிருந்து நீக்கிவிடும், மேலும் மக்கள் தவறவிடும் பகுதி இதுவே ஆகும். தேடுபொறிகள் அவற்றின் சொந்த முகவரிகளிலிருந்து கிரால் செய்கின்றன — உங்கள் பார்வையாளர்கள் எங்கிருந்தாலும் Googlebot அமெரிக்காவிலிருந்து கிரால் செய்கிறது — எனவே அந்த நாடுகளை உள்ளடக்காத ஓர் அனுமதிப் பட்டியல், மற்றவர்களுடன் சேர்த்து கிராலரையும் தடுத்துவிடும், மேலும் கிரால் செய்ய முடியாத தளம் அட்டவணையிலிருந்து (index) வெளியேறிவிடும். இது உடனடியானதும் அல்ல, எளிதில் புலப்படுவதும் அல்ல, அதுவே இதனை அதிக இழப்பை ஏற்படுத்துவதாக மாற்றுகிறது.

எனவே நாங்கள் சரிபார்க்கப்பட்ட தேடுபொறிகளை முன்னிருப்பாக அனுமதிக்கிறோம். அந்த மாற்றமைப்பை மாற்றாமல் விட்டுவிட்டால், ஓர் அனுமதிப் பட்டியலில் ஒரே ஒரு நாடு மட்டுமே குறிப்பிடப்பட்டிருந்தாலும், Google மற்றும் Bing ஆகியவை அவை எங்கிருந்து கிரால் செய்தாலும் உங்கள் தளத்தைத் தொடர்ந்து அணுகும். நீங்கள் எந்த விதிவிலக்குகளும் உண்மையில் விரும்பவில்லை என்றால் இந்த விதிவிலக்கை முடக்கலாம் — அது மேலே விவரிக்கப்பட்ட ஆபத்தை அப்படியே மீண்டும் கொண்டுவரும், நீங்கள் அவ்வாறு செய்யும்போது திரை அதைத் தெரிவிக்கும்.

⛔ இந்த விதிவிலக்கிற்கு ஒரு கிராலரைச் சரிபார்க்கக்கூடிய வழங்குநர் தேவை, மேலும் அவர்கள் அனைவரும் அதைச் செய்ய முடியாது. சரிபார்ப்பது என்பது Googlebot என்று கூறிக்கொள்ளும் ஒரு பார்வையாளர் உண்மையிலேயே Google தானா என்பதை அதன் முகவரிகளைக் கொண்டு உறுதிப்படுத்துவதாகும் — யாராலும் நகலெடுக்கக்கூடிய அதன் வார்த்தையை மட்டும் நம்புவது அல்ல. எங்கள் Cloudflare edge இதைச் செய்கிறது. Bunny, CDN77 மற்றும் Gcore ஆகியவை இதைச் செய்வதில்லை, எனவே அவற்றில் பாதுகாப்பாக அனுமதிக்க எதுவும் இல்லை மற்றும் நாங்கள் எதையும் அனுமதிப்பதில்லை. கிராலர்களைச் சரிபார்க்க முடியாத ஒரு வழங்குநரில், ஓர் அனுமதிப் பட்டியல் மேலே குறிப்பிட்ட முழு ஆபத்தையும் கொண்டுள்ளது — நீங்கள் எந்த நிலையில் உள்ளீர்கள் என்பதை தளத்தின் நாட்டுத் திரை உங்களுக்குக் கூறுகிறது, மேலும் விலக்கை நம்புவதற்கு முன் அதை நீங்கள் படிக்க வேண்டும். அங்கே ஒரு தடைப் பட்டியலைத் தேர்ந்தெடுப்பது நல்லது.

தனிப்பட்ட முகவரிகள்

ஒரு குறிப்பிட்ட தொல்லைக்கு — ஒரு படிவத்தைத் தொடர்ந்து தாக்கும் ஒரு முகவரி, ஒரு ஸ்கிராப்பர். விரல் விட்டு எண்ணக்கூடிய முகவரிகளுக்கு இது சரியான கருவி, ஆனால் ஆயிரக்கணக்கான முகவரிகளிலிருந்து வரும் மற்றும் நீங்கள் தட்டச்சு செய்வதை விட வேகமாக அவற்றை மாற்றும் ஒரு தாக்குதலுக்கு இது தவறான கருவி. அதற்கு, CDN-இன் பாதுகாப்பே உங்களுக்குத் தேவை.

SEO கிராலர்கள்

மூன்றாம் தரப்பு SEO கிராலர்கள் — பேக்லிங்க் தரவுத்தளங்களை உருவாக்குபவை — தனித்தனியாகத் தடுக்கப்படலாம். போட்டியாளர்களால் தங்கள் இணைப்பு விவரக்குறிப்பு பட்டியலிடப்படுவதைத் தடுக்க மக்கள் இதைச் செய்கிறார்கள்.

இங்கே உங்களை நீங்களே அட்டவணையிலிருந்து நீக்க (de-index) முடியாது. வடிவமைப்பிலேயே, தேர்வு செய்வதற்கான பட்டியலில் தேடுபொறிகள் இல்லை: Googlebot-ஐத் தடுப்பது என்பது இந்தத் திரை எதற்காக உருவாக்கப்பட்டதோ அதற்கு அப்பாற்பட்ட விளைவுகளைக் கொண்ட ஒரு முடிவாகும், எனவே திரை அதைச் செய்யாது. உங்கள் robots.txt இந்த அமைப்பால் மாற்றப்படாமல் உங்களுடையதாகவே இருக்கும்.

⚠️ அந்தப் பாதுகாப்பு இந்தக் கட்டுப்பாட்டிற்கு மட்டுமே உரியது. மேலே உள்ள நாட்டு விதி தனக்கென ஒரு பாதுகாப்பைக் கொண்டுள்ளது, ஆனால் அது நிபந்தனைக்குட்பட்டது — இது முன்னிருப்பாகச் சரிபார்க்கப்பட்ட தேடுபொறிகளை அனுமதிக்கிறது, மேலும் உங்கள் வழங்குநர் அவற்றைச் சரிபார்க்கக்கூடிய இடங்களில் மட்டுமே அனுமதிக்கிறது. நீங்கள் இரண்டையும் பயன்படுத்தியிருந்தால், உங்கள் தரவரிசைகளை இழக்க வைக்கும் அபாயம் இன்னும் நாட்டு விதிக்குத்தான் உள்ளது, எனவே விதிவிலக்கு நடைமுறையில் இருப்பதாகக் கருதுவதை விட அதன் திரை என்ன தெரிவிக்கிறது என்பதைச் சரிபார்க்கவும்.

இவற்றில் எதுவுமே இல்லாத ஒன்று

இவற்றில் எதுவுமே மென்பொருளைப் புதுப்பித்த நிலையில் வைத்திருப்பதற்கு மாற்றாக அமையாது. ஒரு நாட்டைத் தடுப்பது அந்நாட்டின் ட்ராஃபிக்கை நிறுத்துகிறது; அந்த ட்ராஃபிக் தேடிக்கொண்டிருந்த காலாவதியான செருகுநிரலை (plugin) அது சரிசெய்யாது.