ទាំងនេះគឺជាការកំណត់ផ្សេងគ្នាបីសម្រាប់បញ្ហាផ្សេងគ្នាបី។ ចូលប្រើប្រាស់ពួកវាពីការកំណត់សុវត្ថិភាពរបស់គេហទំព័រ។
ប្រទេស
អាចជាបញ្ជីរារាំង (អ្នករាល់គ្នាអាចចូលមើលបាន លើកលែងតែប្រទេសទាំងនេះ) ឬបញ្ជីអនុញ្ញាត (គ្មាននរណាម្នាក់អាចចូលមើលបានទេ លើកលែងតែប្រទេសទាំងនេះ)។ វាគឺជាកុងតាក់បិទបើកតែមួយ ហើយវាមានតម្លៃក្នុងការអានពីរដងមុនពេលអ្នករក្សាទុក៖ បញ្ជីអនុញ្ញាតដែលមានប្រទេសមួយ នឹងដកគេហទំព័ររបស់អ្នកចេញពីអ៊ីនធឺណិតសម្រាប់អ្នកដទៃទាំងអស់ ដែលជួនកាលជាអ្វីដែលអ្នកចង់បានពិតប្រាកដ ហើយបើមិនដូច្នោះទេ វាគឺជាបទពិសោធន៍ដ៏អាក្រក់មួយ។
ការសម្អាតបញ្ជីនឹងលុបចោលការរឹតបន្តឹងប្រទេសទាំងអស់ចេញ មិនមានជំហាន "ឈប់រារាំងគ្រប់ទីកន្លែង" ដាច់ដោយឡែកនោះទេ។
⚠️ បញ្ជីអនុញ្ញាតនឹងដកអ្នកចេញពី Google ហើយនេះគឺជាចំណុចដែលមនុស្សភាគច្រើនមើលរំលង។ ម៉ាស៊ីនស្វែងរកធ្វើការ crawl ពីអាសយដ្ឋានផ្ទាល់ខ្លួនរបស់ពួកគេ — Googlebot មកពីសហរដ្ឋអាមេរិក មិនថាអ្នកចូលមើលរបស់អ្នកនៅទីណានោះទេ — ដូច្នេះបញ្ជីអនុញ្ញាតដែលមិនរាប់បញ្ចូលប្រទេសទាំងនោះ នឹងរារាំង crawler ជាមួយអ្នកដទៃទាំងអស់ ហើយគេហទំព័រដែលមិនអាច crawl បាន នឹងធ្លាក់ចេញពីលិបិក្រម (index)។ វាមិនកើតឡើងភ្លាមៗទេ ហើយវាក៏មិនជាក់ស្តែងដែរ ដែលជាហេតុធ្វើឱ្យវាខាតបង់ធ្ងន់ធ្ងរ។
ដូច្នេះ យើងអនុញ្ញាតឱ្យម៉ាស៊ីនស្វែងរកដែលបានផ្ទៀងផ្ទាត់ឆ្លងកាត់តាមលំនាំដើម។ ទុកកុងតាក់នោះនៅដដែល នោះ Google និង Bing នឹងបន្តចូលទៅកាន់គេហទំព័ររបស់អ្នកពីទីកន្លែងណាដែលពួកគេ crawl ទោះបីជាមានបញ្ជីអនុញ្ញាតដែលបញ្ជាក់ឈ្មោះប្រទេសតែមួយក៏ដោយ។ អ្នកអាចបិទការលើកលែងនេះបាន ប្រសិនបើអ្នកពិតជាមិនចង់ឱ្យមានការលើកលែងណាមួយ — ការធ្វើបែបនេះនឹងនាំមកនូវហានិភ័យខាងលើត្រឡប់មកវិញដូចដែលបានរៀបរាប់ ហើយអេក្រង់នឹងបង្ហាញប្រាប់នៅពេលអ្នកធ្វើវា។
⛔ ការលើកលែងត្រូវការអ្នកផ្តល់សេវាដែលអាចផ្ទៀងផ្ទាត់ crawler បាន ហើយមិនមែនអ្នកផ្តល់សេវាទាំងអស់សុទ្ធតែអាចធ្វើបាននោះទេ។ ការផ្ទៀងផ្ទាត់មានន័យថាការត្រួតពិនិត្យមើលថាអ្នកចូលមើលដែលហៅខ្លួនឯងថា Googlebot គឺជា Google ពិតប្រាកដឬអត់ តាមរយៈអាសយដ្ឋានរបស់វា — មិនមែនគ្រាន់តែជឿតាមការអះអាងនោះទេ ដែលនរណាក៏អាចចម្លងតាមបាន។ គែមបណ្តាញ Cloudflare របស់យើងធ្វើការងារនេះ។ Bunny, CDN77 និង Gcore មិនធ្វើដូច្នេះទេ ដូច្នេះនៅលើសេវាកម្មទាំងនោះគឺគ្មានអ្វីដែលមានសុវត្ថិភាពដើម្បីអនុញ្ញាតឱ្យឆ្លងកាត់ឡើយ ហើយយើងក៏មិនអនុញ្ញាតឱ្យអ្វីឆ្លងកាត់ដែរ។ នៅលើអ្នកផ្តល់សេវាដែលមិនអាចផ្ទៀងផ្ទាត់ crawlers បាន បញ្ជីអនុញ្ញាត (allow list) នឹងប្រឈមហានិភ័យពេញលេញដូចបានរៀបរាប់ខាងលើ — អេក្រង់ប្រទេសរបស់គេហទំព័រនឹងប្រាប់អ្នកអំពីករណីដែលអ្នកកំពុងស្ថិតនៅ ហើយអ្នកគួរតែអានវាជាមុនសិន មុនពេលពឹងផ្អែកលើការលើកលែងនេះ។ សូមជ្រើសរើសបញ្ជីរារាំង (block list) វិញនៅទីនោះ។
អាសយដ្ឋាននីមួយៗ
សម្រាប់ការរំខានជាក់លាក់ណាមួយ — អាសយដ្ឋានមួយដែលវាយលុកលើទម្រង់បែបបទ, scraper មួយ។ នេះគឺជាឧបករណ៍ដ៏ត្រឹមត្រូវសម្រាប់អាសយដ្ឋានមួយចំនួនតូច ហើយជាឧបករណ៍ខុសសម្រាប់ការវាយប្រហារ ដែលមកពីអាសយដ្ឋានរាប់ពាន់ និងផ្លាស់ប្តូរវាលឿនជាងអ្នកអាចវាយបញ្ចូលទៅទៀត។ សម្រាប់ករណីនោះ ការការពាររបស់ CDN គឺជាអ្វីដែលអ្នកត្រូវការ។
Crawlers របស់ SEO
SEO crawlers របស់ភាគីទីបី — ឧបករណ៍ដែលបង្កើតមូលដ្ឋានទិន្នន័យ backlink — អាចត្រូវបានរារាំងជាលក្ខណៈបុគ្គល។ មនុស្សធ្វើបែបនេះដើម្បីកុំឱ្យទម្រង់តំណភ្ជាប់ (link profile) របស់ពួកគេត្រូវបានចងក្រងជាកាតាឡុកដោយគូប្រជែង។
អ្នកមិនអាចលុបការធ្វើលិបិក្រម (de-index) ខ្លួនឯងនៅទីនេះបានទេ។ ម៉ាស៊ីនស្វែងរកមិនមាននៅក្នុងបញ្ជីសម្រាប់ជ្រើសរើសនោះទេ ដោយសារតែការរចនា៖ ការរារាំង Googlebot គឺជាការសម្រេចចិត្តដែលមានផលវិបាកលើសពីអ្វីដែលអេក្រង់នេះត្រូវបានបង្កើតឡើង ដូច្នេះអេក្រង់នេះនឹងមិនធ្វើវាឡើយ។ ឯកសារ robots.txt របស់អ្នកមិនត្រូវបានប៉ះពាល់ដោយការកំណត់នេះទេ ហើយនៅតែជារបស់អ្នកដដែល។
⚠️ ការការពារនោះគឺជាក់លាក់សម្រាប់តែការគ្រប់គ្រងនេះប៉ុណ្ណោះ។ ច្បាប់ប្រទេសខាងលើមានរបាំងការពារផ្ទាល់ខ្លួនរបស់វា ប៉ុន្តែជាលក្ខខណ្ឌមួយ — តាមលំនាំដើម វាអនុញ្ញាតឱ្យម៉ាស៊ីនស្វែងរកដែលបានផ្ទៀងផ្ទាត់ឆ្លងកាត់ ហើយមានតែនៅពេលដែលក្រុមហ៊ុនផ្តល់សេវាកម្មរបស់អ្នកអាចផ្ទៀងផ្ទាត់ពួកវាបានប៉ុណ្ណោះ។ ប្រសិនបើអ្នកបានប្រើទាំងពីរ ច្បាប់ប្រទេសនៅតែជាច្បាប់ដែលអាចធ្វើឱ្យអ្នកបាត់បង់ចំណាត់ថ្នាក់របស់អ្នក ដូច្នេះសូមពិនិត្យមើលអ្វីដែលអេក្រង់របស់វាបង្ហាញ ជាជាងការសន្មតថាការលើកលែងនេះកំពុងមានប្រសិទ្ធភាព។
អ្វីដែលជម្រើសទាំងនេះមិនអាចធ្វើបាន
គ្មានជម្រើសណាមួយក្នុងចំណោមជម្រើសទាំងនេះអាចជំនួសឱ្យការធ្វើបច្ចុប្បន្នភាពកម្មវិធីបានឡើយ។ ការរារាំងប្រទេសមួយ គឺបញ្ឈប់ចរាចរណ៍របស់ប្រទេសនោះ ប៉ុន្តែវាមិនអាចជួសជុលកម្មវិធីជំនួយ (plugin) ហួសសម័យ ដែលចរាចរណ៍នោះកំពុងស្វែងរកដើម្បីវាយប្រហារនោះទេ។