Kowane shafi da kowace sabar da muke ɗaukar nauyinta na toshe munanan bots da crawlers na bogi ta asali. Ba kwa buƙatar kunna komai, kuma ba ya ɗaukar ƙarin kuɗi.
Me ake tosheshewa?
- Sanannun munanan bots: scrapers, ɓarayin abun ciki, kayan aikin spam da na'urorin duba lahani waɗanda ke bayyana kansu da suna.
- Crawlers na bogi: shirye-shiryen da ke nuna cewa su sanannen crawler ne, kamar Googlebot, Bingbot, Applebot, GPTBot ko ClaudeBot, don wuce tsaronku. Buƙatar da ta ce ita ɗaya ce daga cikin waɗannan amma ba ta fito daga adiresoshin hanyar sadarwa da kamfanin da kansa ya buga ba ana ƙin ta.
Ana gudanar da binciken sau biyu: a kan hanyar sadarwarmu ta gefe kafin buƙatar ta isa sabarku, sannan a kan sabar gidan yanar gizon kanta, don haka buƙatar da ta tafi kai tsaye zuwa sabarku ma ana bincika ta.
Me ba a taɓa toshewa ba?
Tabbatattun crawlers na gaskiya koyaushe suna wucewa. Googlebot, Bingbot, Applebot da ainihin crawlers na AI (kamar GPTBot da ClaudeBot) ana gane su ta inda suka fito, ba kawai ta sunan da suka bayar ba, don haka shafinku yana ci gaba da kasancewa a sakamakon bincike da kuma amsoshin AI.
Zan iya toshe crawlers na AI a shafina?
Ee, kuma zaɓin naku ne ga kowane shafi. Buɗe Shafuka, zaɓi shafin, buɗe shafin CDN kuma nemo Tsaro da sarrafa bot → Crawlers na AI:
- Babu wata kulawa ta musamman: Ana ɗaukar crawlers na AI kamar kowane mai ziyara.
- Ba su izini: Ana barin crawlers na AI su wuce.
- Kalubalance su ko Toshe su: Ana ƙalubalantar crawlers na AI ko kuma a ƙi su a gefe. Waɗannan zaɓuɓɓuka biyu suna zuwa tare da kariya ta bot ɗin da aka haɗa a cikin tsarinku; allon zai nuna idan naku bai haɗa da shi ba.
Ba ma taɓa canza wannan saitin don ku ba. Toshe bots na bogi ba ya taɓa shi: ana toshe ainihin crawler na AI kawai idan kuka zaɓi toshe shi.
An ƙi wani abu na halas
Masu lura da lokacin aiki, kiran biyan kuɗi da kayan aikin SEO ba sa shafar su sai dai idan sun yi kamar ɗaya daga cikin crawlers na sama. Idan an ƙi sabis ɗin da kuke amfani da shi, buɗe tikitin tallafi tare da lokaci da adireshin da ya fito kuma za mu duba shi.