SEO 爬虫拦截

阻止反向链接爬虫——绝不拦截搜索引擎

一类顶级的、基于单站点的 Footprint-Free 控制功能:阻止 SEO 和反向链接爬虫(Ahrefs、Majestic、Semrush、Moz、Screaming Frog 以及其他爬虫),同时搜索引擎保留完全访问权限。该功能在 PBN 系列中默认开启,在服务器端由 User-Agent 执行,并通过控制面板和 MCP 进行驱动。这就是数字足迹的游戏:对竞争对手的工具隐藏链接,同时在 SERP 中保持可被索引。

  • 按站点切换每个爬虫或作为一个整体
  • 默认开启对于 Footprint-Free 系列
  • 搜索引擎安全从未屏蔽 Googlebot
  • 服务器强制执行.htaccess UA-deny + robots.txt

掌控全局的足迹游戏

私密网络的价值在于外人看不到的链接。一旦竞争对手的反向链接工具能够抓取您的 PBN 网站并追踪其指向您的盈利网站的出该站链接,该网络就会暴露无遗,优势也将荡然无存。

这项工作很明确:屏蔽那些构建链接图谱的反向链接分析爬虫——Ahrefs、Majestic、Semrush、Moz、Screaming Frog、BLEXBot及其同类——同时完全不限制搜索引擎,因为Google无法抓取的网站是无法获得排名的。阻挡间谍,保留索引器。

这是 Footprint-Free 产品线上的每站点开关,默认开启。勾选或取消勾选每个爬虫或整个组,保存后,引擎即会为您写入或移除规则。

在服务器端强制执行,而不仅仅是发出请求

robots.txt 只是建议性的,而那些激进的爬虫会忽略它——曾观察到 Majestic 正是如此。因此,真正的拦截是在服务器层面进行的,robots.txt 仅作为上一层的辅助礼貌措施。

服务器端拒绝 User-Agent

此强制执行是通过托管工作程序和您保存的开关中的 Zinn® 插件编写的 .htaccess、LiteSpeed 或 nginx 用户代理拒绝。这就是真正阻止爬虫的规则,因为它不依赖于爬虫的善意。

遵循规则者的 robots.txt

我们还会为遵守规范的爬虫编写 robots.txt Disallow 规则 —— 双保险,礼貌地劝退循规蹈矩的工具,坚决地挡住不守规矩的工具。

IP 和 ASN 拦截最恶劣的访客

有些爬虫会伪装成合法的用户代理。针对那些最恶意的爬虫,我们可以添加已知 IP 或 ASN 拒绝规则,这样即使爬虫伪装成浏览器也无法进入。

始终允许搜索引擎

Googlebot、Bingbot 和其他索引器绝不会被列入阻止名单。阻止操作专门针对外链工具,因此索引和排名完全不受影响。

您保留 Trust Flow

一个常见的担忧是,屏蔽 Majestic 会让域名的 Trust Flow 消失。事实并非如此。Trust Flow 和 Citation Flow 是根据域名的入站反向链接图(即指向该域名的链接,Majestic 通过抓取其他网站来发现这些链接)计算得出的,而不是通过抓取域名本身来计算的。

在PBN站点上屏蔽MajesticBot可以阻止Majestic看到该站点的出链,这正是您想要隐藏的footprint。这并不会从Majestic的API中移除该域名的Trust Flow或Citation Flow,因此我们自己的SEO数据检查可以继续正常读取这些指标。Ahrefs DR和Moz DA也是如此——所有这些都是入链衡量指标。

常见问题

哪些爬虫会被阻止?

SEO和反向链接爬虫——Ahrefs、Majestic、Semrush、Moz、Screaming Frog、BLEXBot等。搜索引擎绝不会受到影响:Googlebot、Bingbot和其他索引爬虫将保持完全访问权限,因为保持可被索引才是核心目的。您可以勾选或取消勾选每个爬虫或某一组爬虫,然后进行保存。

这会影响我的排名吗?

不是。只有反向链接分析爬虫被阻止;对您进行排名的搜索引擎完全不受影响。网站仍然可以被索引和排名——您只是向竞争对手的工具隐藏了您的链接图谱,而不是向 Google 隐藏。

这个屏蔽实际上是怎么执行的?

在服务器端通过 User-Agent 进行拦截(通过 .htaccess、LiteSpeed 或 nginx deny 规则),因为 robots.txt 仅具建议性质,而已知的激进爬虫通常会忽略它。我们也会为合规的爬虫在 robots.txt 中写入 Disallow 规则,并针对伪装 User-Agent 进行抓取的最恶劣爬虫添加已知 IP 或 ASN 拒绝规则。该引擎会根据您保存的开关设置自动写入和移除这些规则。

如果我屏蔽 Majestic,会丢失 Trust Flow 吗?

不是的。Trust Flow 和 Citation Flow 是根据域名的入站反向链接图谱(即 Majestic 爬取其他网站时发现指向该域名的链接)计算得出的,而不是通过爬取该域名本身。在网站上阻止 MajesticBot 会阻止 Majestic 看到其出站链接(这正是您想要隐藏的 footprint),但会保留 Majestic API 中该域名的指标完好无损。同样的逻辑也适用于 Ahrefs DR 和 Moz DA。

默认情况下是开启的吗?

在 Footprint-Free 系列上,是的 — 默认会开启爬虫屏蔽,因为隐藏 PBN 到主站的链接是规避 SEO 痕迹的核心所在。您仍然拥有完全的控制权,可以针对每个站点调整要屏蔽的爬虫。

隐藏您的链接图谱,保持收录

开启免绑卡的 14 天试用,在搜索引擎保持完全访问权限的同时,按站点屏蔽反向链接爬虫——Footprint-Free 系列产品默认开启,可通过控制面板和 MCP 进行控制。

免费开始