රටවල්, ලිපින සහ ක්‍රෝලර් අවහිර කිරීම

මේවා විවිධ ගැටලු තුනක් සඳහා වන විවිධ සැකසුම් තුනකි. වෙබ් අඩවියේ ආරක්ෂක සැකසුම් වෙතින් ඒවා වෙත පිවිසෙන්න.

රටවල්

වාරණ ලැයිස්තුවක් (මොවුන් හැර අන් සියල්ලන්ටම පිවිසිය හැක) හෝ අවසර ලැයිස්තුවක් (මොවුන් හැර අන් කිසිවෙකුට පිවිසිය නොහැක). එය එක් ස්විචයකි, සහ සුරැකීමට පෙර දෙවරක් කියවීම වටී: එක් රටක් පමණක් අඩංගු අවසර ලැයිස්තුවක් අන් සියල්ලන් සඳහාම ඔබේ වෙබ් අඩවිය අන්තර්ජාලයෙන් ඉවත් කරයි, එය ඉඳහිට ඔබට අවශ්‍යම දෙය විය හැකි නමුත් අනෙක් අතට නරක දවසක් උදා කරනු ඇත.

ලැයිස්තුව හිස් කිරීමෙන් සෑම රටකම සීමා කිරීම් ඉවත් වේ; වෙනම "සෑම තැනකින්ම වාරණය ඉවත් කිරීමේ" පියවරක් නොමැත.

⚠️ අවසර ලැයිස්තුවක් ඔබව Google වෙතින් ඉවත් කරනු ඇත, සහ මිනිසුන්ට මඟ හැරෙන්නේ මෙම කොටසයි. සෙවුම් යන්ත්‍ර ඒවායේම ලිපිනවලින් බඩගා යයි (crawl කරයි) — ඔබේ අමුත්තන් කොතැනක සිටියත් Googlebot එක්සත් ජනපදයේ සිට පැමිණේ — එබැවින් එම රටවල් ඇතුළත් නොවන අවසර ලැයිස්තුවක් අන් සියල්ලන් සමඟම ක්‍රෝලරය ද වාරණය කරනු ඇත, තවද බඩගා යා නොහැකි වෙබ් අඩවියක් සුචියෙන් (index) ඉවත් වේ. එය ක්ෂණික නොවන අතර එය පැහැදිලිව පෙනෙන්නට නැත, එය මිල අධික පාඩුවක් බවට පත් කරන්නේ එයයි.

එබැවින් අපි පෙරනිමියෙන් සත්‍යාපිත සෙවුම් යන්ත්‍රවලට ඉඩ දෙන්නෙමු. එම ස්විචය වෙනස් නොකර තබන්න, එවිට එක් රටක් නම් කරන ලද අවසර ලැයිස්තුවක් තිබුණද, Google සහ Bing ඒවා බඩගා යන ඕනෑම තැනක සිට ඔබේ වෙබ් අඩවිය වෙත දිගටම ළඟා වේ. ඔබට සැබවින්ම කිසිදු ව්‍යතිරේකයක් අවශ්‍ය නැතිනම් ඔබට මෙම නිදහස් කිරීම අක්‍රිය කළ හැක — එය ඉහත අවදානම හරියටම විස්තර කර ඇති පරිදි නැවත ඇති කරයි, ඔබ එසේ කරන විට තිරය ඒ බව පෙන්වයි.

⛔ මෙම නිදහස් කිරීම සඳහා ක්‍රෝලරයක් සත්‍යාපනය කළ හැකි සැපයුම්කරුවෙකු අවශ්‍ය වන අතර, ඔවුන් සැමටම එය කළ නොහැක. සත්‍යාපනය කිරීම යනු තමන් Googlebot ලෙස හඳුන්වා ගන්නා අමුත්තෙකු සැබවින්ම Google දැයි එහි ලිපින මගින් පරීක්ෂා කිරීමයි — ඕනෑම කෙනෙකුට පිටපත් කළ හැකි එහි ප්‍රකාශය පමණක් විශ්වාස කිරීම නොවේ. අපගේ Cloudflare edge මෙය සිදු කරයි. Bunny, CDN77 සහ Gcore එසේ නොකරයි, එබැවින් ඒවා මත ආරක්ෂිතව ඇතුළු වීමට ඉඩ දිය හැකි කිසිවක් නොමැති අතර අපි කිසිවකට ඉඩ නොදෙමු. ක්‍රෝලර් සත්‍යාපනය කළ නොහැකි සැපයුම්කරුවෙකු මත අවසර ලැයිස්තුවක් ඉහත සම්පූර්ණ අවදානම දරයි — ඔබ සිටින්නේ කුමන අවස්ථාවේදැයි අඩවියේ රටවල් තිරය ඔබට පවසන අතර, නිදහස් කිරීම මත විශ්වාසය තැබීමට පෙර ඔබ එය කියවිය යුතුය. එහිදී වාරණ ලැයිස්තුවක් වඩාත් සුදුසු වේ.

තනි ලිපින

නිශ්චිත කරදරයක් සඳහා — පෝරමයකට දිගින් දිගටම පහර දෙන එක් ලිපිනයක්, එක් scraper එකක්. මෙය ලිපින කිහිපයක් සඳහා නිවැරදි මෙවලම වන අතර, දහස් ගණනකින් පැමිණෙන සහ ඔබට ටයිප් කළ හැකි ප්‍රමාණයට වඩා වේගයෙන් වෙනස් වන ප්‍රහාරයක් සඳහා වැරදි මෙවලමකි. ඒ සඳහා, CDN හි ආරක්ෂාව ඔබට අවශ්‍ය දේ වේ.

SEO ක්‍රෝලර්

තෙවන පාර්ශ්වීය SEO ක්‍රෝලර් — බැක්ලින්ක් දත්ත සමුදායන් ගොඩනගන ඒවා — තනි තනිව වාරණය කළ හැක. තරඟකරුවන් විසින් තමන්ගේ ලින්ක් පැතිකඩ නාමාවලිගත කිරීම වැළැක්වීම සඳහා මිනිසුන් මෙය සිදු කරයි.

ඔබට මෙහිදී ඔබව දර්ශකයෙන් ඉවත් (de-index) කළ නොහැක. සැලසුමෙන්ම, තෝරා ගැනීමට ඇති ලැයිස්තුවේ සෙවුම් යන්ත්‍ර නොමැත: Googlebot වාරණය කිරීම යනු මෙම තිරය සඳහා අදහස් කරන දෙයට වඩා බොහෝ දුරදිග යන ප්‍රතිවිපාක සහිත තීරණයකි, එබැවින් තිරය එය සිදු නොකරනු ඇත. මෙම සැකසුම මගින් ඔබේ robots.txt වෙත කිසිදු වෙනසක් සිදු නොවන අතර එය ඔබ සතුවම පවතී.

⚠️ එම ආරක්ෂාව මෙම පාලනයට විශේෂිත වේ. ඉහත රටවල් නීතියට තමන්ගේම ආරක්ෂක වැටක් ඇත, නමුත් එය කොන්දේසි සහිත එකකි — එය පෙරනිමියෙන් සත්‍යාපිත සෙවුම් යන්ත්‍රවලට ඉඩ දෙන්නේ ඔබේ සැපයුම්කරුට ඒවා සත්‍යාපනය කළ හැකි තැන්වලදී පමණි. ඔබ දෙකම භාවිතා කර ඇත්නම්, ඔබේ ශ්‍රේණිගත කිරීම් අහිමි කළ හැක්කේ තවමත් රටවල් නීතියයි, එබැවින් නිදහස් කිරීම බලාත්මකව පවතින බව උපකල්පනය කරනවාට වඩා එහි තිරය වාර්තා කරන්නේ කුමක්දැයි පරීක්ෂා කරන්න.

මේ කිසිවක් අදාළ නොවන්නේ කුමකටද

මෘදුකාංග යාවත්කාලීනව තබා ගැනීම සඳහා මේ කිසිවක් ආදේශකයක් නොවේ. රටක් වාරණය කිරීමෙන් එම රටේ ගමනාගමනය (traffic) නවත්වයි; ගමනාගමනය මගින් සොයමින් තිබූ යල් පැන ගිය ප්ලගිනය එයින් නිවැරදි නොවේ.