服务器端拒绝 User-Agent
此强制执行是通过托管工作程序和您保存的开关中的 Zinn® 插件编写的 .htaccess、LiteSpeed 或 nginx 用户代理拒绝。这就是真正阻止爬虫的规则,因为它不依赖于爬虫的善意。
SEO 爬虫拦截
一类顶级的、基于单站点的 Footprint-Free 控制功能:阻止 SEO 和反向链接爬虫(Ahrefs、Majestic、Semrush、Moz、Screaming Frog 以及其他爬虫),同时搜索引擎保留完全访问权限。该功能在 PBN 系列中默认开启,在服务器端由 User-Agent 执行,并通过控制面板和 MCP 进行驱动。这就是数字足迹的游戏:对竞争对手的工具隐藏链接,同时在 SERP 中保持可被索引。
私密网络的价值在于外人看不到的链接。一旦竞争对手的反向链接工具能够抓取您的 PBN 网站并追踪其指向您的盈利网站的出该站链接,该网络就会暴露无遗,优势也将荡然无存。
这项工作很明确:屏蔽那些构建链接图谱的反向链接分析爬虫——Ahrefs、Majestic、Semrush、Moz、Screaming Frog、BLEXBot及其同类——同时完全不限制搜索引擎,因为Google无法抓取的网站是无法获得排名的。阻挡间谍,保留索引器。
这是 Footprint-Free 产品线上的每站点开关,默认开启。勾选或取消勾选每个爬虫或整个组,保存后,引擎即会为您写入或移除规则。
robots.txt 只是建议性的,而那些激进的爬虫会忽略它——曾观察到 Majestic 正是如此。因此,真正的拦截是在服务器层面进行的,robots.txt 仅作为上一层的辅助礼貌措施。
此强制执行是通过托管工作程序和您保存的开关中的 Zinn® 插件编写的 .htaccess、LiteSpeed 或 nginx 用户代理拒绝。这就是真正阻止爬虫的规则,因为它不依赖于爬虫的善意。
我们还会为遵守规范的爬虫编写 robots.txt Disallow 规则 —— 双保险,礼貌地劝退循规蹈矩的工具,坚决地挡住不守规矩的工具。
有些爬虫会伪装成合法的用户代理。针对那些最恶意的爬虫,我们可以添加已知 IP 或 ASN 拒绝规则,这样即使爬虫伪装成浏览器也无法进入。
Googlebot、Bingbot 和其他索引器绝不会被列入阻止名单。阻止操作专门针对外链工具,因此索引和排名完全不受影响。
一个常见的担忧是,屏蔽 Majestic 会让域名的 Trust Flow 消失。事实并非如此。Trust Flow 和 Citation Flow 是根据域名的入站反向链接图(即指向该域名的链接,Majestic 通过抓取其他网站来发现这些链接)计算得出的,而不是通过抓取域名本身来计算的。
在PBN站点上屏蔽MajesticBot可以阻止Majestic看到该站点的出链,这正是您想要隐藏的footprint。这并不会从Majestic的API中移除该域名的Trust Flow或Citation Flow,因此我们自己的SEO数据检查可以继续正常读取这些指标。Ahrefs DR和Moz DA也是如此——所有这些都是入链衡量指标。
SEO和反向链接爬虫——Ahrefs、Majestic、Semrush、Moz、Screaming Frog、BLEXBot等。搜索引擎绝不会受到影响:Googlebot、Bingbot和其他索引爬虫将保持完全访问权限,因为保持可被索引才是核心目的。您可以勾选或取消勾选每个爬虫或某一组爬虫,然后进行保存。
不是。只有反向链接分析爬虫被阻止;对您进行排名的搜索引擎完全不受影响。网站仍然可以被索引和排名——您只是向竞争对手的工具隐藏了您的链接图谱,而不是向 Google 隐藏。
在服务器端通过 User-Agent 进行拦截(通过 .htaccess、LiteSpeed 或 nginx deny 规则),因为 robots.txt 仅具建议性质,而已知的激进爬虫通常会忽略它。我们也会为合规的爬虫在 robots.txt 中写入 Disallow 规则,并针对伪装 User-Agent 进行抓取的最恶劣爬虫添加已知 IP 或 ASN 拒绝规则。该引擎会根据您保存的开关设置自动写入和移除这些规则。
不是的。Trust Flow 和 Citation Flow 是根据域名的入站反向链接图谱(即 Majestic 爬取其他网站时发现指向该域名的链接)计算得出的,而不是通过爬取该域名本身。在网站上阻止 MajesticBot 会阻止 Majestic 看到其出站链接(这正是您想要隐藏的 footprint),但会保留 Majestic API 中该域名的指标完好无损。同样的逻辑也适用于 Ahrefs DR 和 Moz DA。
在 Footprint-Free 系列上,是的 — 默认会开启爬虫屏蔽,因为隐藏 PBN 到主站的链接是规避 SEO 痕迹的核心所在。您仍然拥有完全的控制权,可以针对每个站点调整要屏蔽的爬虫。
开启免绑卡的 14 天试用,在搜索引擎保持完全访问权限的同时,按站点屏蔽反向链接爬虫——Footprint-Free 系列产品默认开启,可通过控制面板和 MCP 进行控制。
免费开始