Penyekatan perayap SEO
Kawalan Footprint-Free kelas pertama untuk setiap tapak: sekat perangkak SEO dan pautan balik — Ahrefs, Majestic, Semrush, Moz, Screaming Frog dan yang lain — sementara enjin carian mengekalkan akses penuh. Dihidupkan secara lalai untuk talian PBN, dikuatkuasakan pada pelayan melalui User-Agent, dipacu daripada papan pemuka dan MCP. Inilah permainan footprint: sembunyikan pautan daripada alatan pesaing, kekal boleh diindeks dalam SERP.
Nilai rangkaian peribadi terletak pada pautan yang tidak dapat dilihat oleh orang lain. Sebaik sahaja alat pautan balik pesaing dapat merangkak tapak PBN anda dan menjejaki pautan keluarnya ke tapak utama anda, rangkaian tersebut terdedah — dan kelebihannya hilang.
Jadi tugasnya adalah tepat: sekat perangkak analisis pautan balik yang membina graf pautan tersebut — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot dan seumpamanya — sambil membiarkan enjin carian langsung tidak terjejas, kerana laman yang tidak dapat dirangkak oleh Google tidak boleh mendapat kedudukan. Sekat pengintip, kekalkan pengindeks.
Ini ialah togol bagi setiap tapak pada barisan Footprint-Free, yang diaktifkan secara lalai. Tandakan atau nyahartandakan setiap crawler, atau seluruh kumpulan, simpan, dan enjin akan menulis atau mengalih keluar peraturan untuk anda.
robots.txt bersifat nasihat, dan perayap yang agresif mengabaikannya — Majestic telah diperhatikan melakukan perkara itu secara tepat. Oleh itu, sekatan sebenar berlaku pada pelayan, dengan robots.txt sebagai lapisan budi bicara tambahan di atasnya.
Penguatkuasaan ini ialah penafian User-Agent .htaccess, LiteSpeed atau nginx, yang ditulis oleh pekerja pengehosan dan pemalam Zinn® daripada togol yang anda simpan. Ini ialah peraturan yang benar-benar menghentikan perangkak, kerana ia tidak bergantung pada niat baik perangkak tersebut.
Kami juga menulis robots.txt Disallow untuk perangkak yang mematuhinya — langkah berjaga-jaga tambahan, supaya alat yang mematuhi peraturan ditolak dengan sopan dan yang melanggar peraturan ditolak dengan tegas.
Sesetengah perayap bersembunyi di sebalik ejen pengguna palsu. Bagi pesalah yang paling teruk, kami boleh menambahkan penolakan IP atau ASN yang diketahui, supaya perayap yang berpura-pura menjadi pelayar masih tidak dapat masuk.
Googlebot, Bingbot dan pengindeks lain tidak pernah berada dalam senarai sekatan. Penyekatan disasarkan secara eksklusif kepada alatan pautan balik, jadi pengindeksan dan kedudukan tidak terjejas.
Kebimbangan umum ialah bahawa menyekat Majestic akan menyebabkan Trust Flow domain hilang. Ini tidak akan berlaku. Trust Flow dan Citation Flow dikira daripada graf pautan balik masuk sesebuah domain — pautan yang menghala kepadanya, yang ditemui oleh Majestic dengan merayapi tapak web lain — bukannya dengan merayapi domain itu sendiri.
Menyekat MajesticBot pada laman PBN anda menghalang Majestic daripada melihat pautan keluar laman tersebut, yang sememangnya jejak (footprint) yang anda ingin sembunyikan. Ini tidak memadam Trust Flow atau Citation Flow domain tersebut daripada API Majestic, jadi semakan data SEO kami sendiri akan terus membaca metrik tersebut seperti biasa. Perkara yang sama berlaku untuk Ahrefs DR dan Moz DA — semua ukuran pautan masuk.
Perangkak SEO dan pautan balik — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot dan seumpamanya. Enjin carian tidak akan disentuh: Googlebot, Bingbot dan pengindeks lain mengekalkan akses penuh, kerana kekal boleh diindeks adalah matlamat utamanya. Anda boleh menanda dan menyahtanda setiap perangkak, atau kumpulan, dan menyimpan.
Tidak. Hanya perayap analisis pautan balik yang disekat; enjin carian yang meletakkan kedudukan anda langsung tidak disentuh. Tapak ini kekal boleh diindeks dan boleh diberi kedudukan — anda menyembunyikan graf pautan anda daripada alatan pesaing, bukan daripada Google.
Pada pelayan, mengikut User-Agent — penolakan .htaccess, LiteSpeed atau nginx — kerana robots.txt hanyalah bersifat nasihat dan perangkak (crawler) yang agresif diketahui mengabaikannya. Kami turut menulis robots.txt Disallow untuk yang patuh, dan boleh menambah penolakan IP atau ASN yang diketahui bagi pelanggar terburuk yang merangkak di bawah user-agent palsu. Enjin menulis dan mengalih keluar peraturan secara automatik daripada togol anda yang disimpan.
Tidak. Trust Flow dan Citation Flow dikira daripada graf pautan balik masuk sesebuah domain — pautan ke domain tersebut, yang ditemui oleh Majestic semasa merangkak tapak web lain — bukan dengan merangkak domain itu sendiri. Menyekat MajesticBot pada tapak web menghalang Majestic daripada melihat pautan keluarnya, iaitu footprint yang anda ingin sembunyikan, tetapi mengekalkan metrik domain dalam API Majestic. Logik yang sama turut diguna pakai untuk Ahrefs DR dan Moz DA.
Pada barisan Footprint-Free, ya — penyekatan crawler dihidupkan secara lalai, kerana menyembunyikan pautan dari PBN ke laman utama (money-site) adalah teras kepada permainan footprint. Anda mengekalkan kawalan penuh untuk melaraskan crawler yang disekat bagi setiap tapak.
Mulakan percubaan 14 hari tanpa kad dan sekat perangkak pautan balik bagi setiap tapak sementara enjin carian mengekalkan akses penuh — didayakan secara lalai untuk rangkaian Footprint-Free, dikawal daripada papan pemuka dan MCP.
Mula secara percuma