知识库

屏蔽国家、地址和网络爬虫

三个独立的控制器,用于三个不同的问题——其中一个即使你尝试,也无法将你带离 Google。

这些是针对三个不同问题的三个不同设置。可以在站点的安全设置中找到它们。

国家/地区

可以是阻止列表(除这些之外所有人均可访问)或允许列表(除这些之外无人可访问)。这是一个开关,在保存之前值得仔细阅读两遍:包含一个国家的允许列表会使您的网站对其他所有人下线,这有时正是您想要的,否则将会是一个糟糕的下午。

清除列表会移除所有国家/地区限制;没有单独的“全部解除阻止”步骤。

⚠️ 允许列表会使您从 Google 中退登,而这是人们往往会忽略的部分。 搜索引擎从它们自己的地址进行抓取——无论您的访客在哪里,Googlebot 都来自美国——因此,未包含这些国家的允许列表会阻止该抓取工具以及其他所有人,而无法被抓取的网站将会从索引中掉落。这不是即时发生的,也不是显而易见的,这正是它代价高昂的原因。

因此,我们默认放行经过验证的搜索引擎。 不要动那个开关,即使在只指定了一个国家的允许列表中,Google 和 Bing 也能继续从它们抓取的位置访问您的网站。如果您确实不希望有任何例外,您可以关闭该豁免——这会完全恢复如上所述的风险,屏幕在您这样做时会显示提示。

⛔ 该豁免需要能够验证抓取工具的提供商,并非所有提供商都能做到。 验证意味着通过地址检查自称为 Googlebot 的访客是否真的是 Google,而不是轻信其一面之词(任何人都可以复制)。我们的 Cloudflare 边缘节点可以做到这一点。Bunny、CDN77 和 Gcore 则不能,因此在这些提供商上没有什么可以安全放行的,我们不会放行任何内容。在无法验证抓取工具的提供商上,允许列表会完全承担上述风险——网站的国家/地区屏幕会告诉您您处于哪种情况,并且您在依赖该豁免之前应该阅读它。在此类提供商上请优先使用阻止列表。

个人地址

针对特定的干扰——一个频繁攻击表单的地址,或一个抓取工具。这是针对少数地址的正确工具,而对于源源不断且变化速度超乎您输入速度的攻击,它则是不对的。对于那种情况,CDN 的保护才是您所需要的。

SEO 抓取工具

第三方 SEO 抓取工具(即那些建立反向链接数据库的工具)可以被单独阻止。人们这样做是为了防止自己的链接概况被竞争对手编入目录。

您无法在这里取消自己的索引。 出于设计考虑,搜索引擎不在可供选择的列表中:阻止 Googlebot 的后果远远超出了此屏幕的用途,因此屏幕不会这样做。您的 robots.txt 不受此设置的影响,并且仍然属于您。

⚠️ 该保护特定于控制项。上面的国家/地区规则有其自身的防护机制,但这是有条件的——它默认放行经过验证的搜索引擎,并且仅在您的提供商能够验证它们的民意测验下。如果您同时使用了这两者,国家/地区规则仍然是那个可能让您付出排名代价的规则,因此请检查其屏幕报告的内容,而不是假设该豁免正在生效。

这些都不是什么

其中任何一个都不能替代保持软件更新。阻止一个国家/地区会停止该国家/地区的流量;它无法修复该流量正在探测的过时插件。

还是没头绪?

每个套餐均包含支持服务,并支持使用您的母语进行解答。

联系客服 所有文章