SEOクローラーのブロック

バックリンククローラーをブロックし、検索エンジンはブロックしません

ファーストクラスのサイト別Footprint-Freeコントロール:検索エンジンがフルアクセスを維持する一方で、SEOおよびバックリンククローラー(Ahrefs、Majestic、Semrush、Moz、Screaming Frogその他)をブロックします。PBNラインではデフォルトで有効になっており、User-Agentによってサーバー上で強制され、ダッシュボードとMCPから駆動されます。これがフットプリントゲームです:競合他社のツールからリンクを隠し、SERPでインデックス可能な状態を維持します。

  • サイトごとの切り替えクローラーごと、またはグループとして
  • デフォルト:オンFootprint-Free ライン用
  • 検索エンジン対応Googlebotがブロックされたことはありません
  • サーバー強制.htaccess UA拒否 + robots.txt

1つのコントロールでフットプリントゲームを体験

プライベートネットワークの価値とは、他の誰にも見えないリンクが存在することです。競合他社のバックリンクツールがあなたのPBNサイトをクロールし、マネーサイトへの発リンクをたどった瞬間、そのネットワークは露呈し、優位性は失われます。

つまり、やるべきことは正確に言うとこうです。Ahrefs、Majestic、Semrush、Moz、Screaming Frog、BLEXBotをはじめとする、リンクグラフを構築する被リンク分析クローラーを完全に遮断しつつ、検索エンジンは一切そのままにしておきます。Googleがクロールできないサイトはランクインできないからです。スパイをブロックし、インデクサーを残しましょう。

Footprint-Freeのラインにあるサイトごとのトグルで、デフォルトでオンになっています。各クローラーまたはグループ全体のチェックを入れるか外し、保存するだけで、エンジンが自動的にルールを書き込むか削除します。

サーバー側で強制され、要求されるだけではありません

robots.txtはあくまでも推奨であり、悪質なクローラーはこれを無視します。実際にMajesticがまさにそれを行っているのが確認されています。そのため実際のブロックはサーバーレベルで行い、robots.txtはその上の補足的なレイヤーとして機能させます。

サーバーでのUser-Agent拒否

ブロックの適用は、保存された設定に基づいてホスティングワーカーとZinn®プラグインによって記述された、.htaccess、LiteSpeed、またはnginxのUser-Agent拒否設定です。これはクローラーの善意に依存しないため、実際にクローラーをブロックするルールとなります。

コンプライアンスを遵守するボットのための robots.txt

さらに、ルールを遵守するクローラーに対しても robots.txt で Disallow を設定します。これは万全を期すための措置であり、行儀の良いツールには丁寧に、行儀の悪いツールには厳格に対処します。

悪質なアクセスに対するIPおよびASNの拒否設定

一部のクローラーは偽のユーザーエージェントを隠れ蓑にしています。特に悪質なクローラーに対しては、既知のIPやASNによる拒否設定を追加できるため、ブラウザになりすましたクローラーであってもアクセスを完全に遮断できます。

検索エンジンのインデックス登録を常に許可

Googlebot、Bingbotをはじめとするインデクサーは、ブロックリストには一切載りません。ブロックの対象は被リンクツールに限定されているため、インデックスやランキングには影響しません。

トラストフローはそのまま維持されます

MajesticをブロックするとドメインのTrust Flowが消えてしまうのではないかと心配されることがよくありますが、そのようなことはありません。Trust FlowやCitation Flowは、ドメイン自体のクロールではなく、他のサイトをクロールすることでMajesticが発見した、そのドメインを指すリンク(インバウンドバックリンクグラフ)から計算されます。

PBNサイト上のMajesticBotをブロックすると、Majesticはそのサイトのアウトバウンドリンクを認識できなくなります。これこそが、隠したい検索エンジンフットプリントそのものです。これにより、ドメインの Trust Flow や Citation Flow がMajesticのAPIから削除されるわけではないため、当社独自のSEOデータチェックでは引き続きそれらの指標を正常に読み取ることができます。Ahrefs DRやMoz DAなど、すべてのインバウンドリンク測定指標についても同様です。

よくある質問

どのクローラーをブロックしますか?

SEOおよび被リンククローラー(Ahrefs、Majestic、Semrush、Moz、Screaming Frog、BLEXBotなど)。検索エンジンは一切影響を受けません。Googlebot、Bingbot、その他のインデクサーは完全にアクセスを維持します。なぜなら、インデックス可能な状態を維持することこそが目的のすべてだからです。各クローラーまたはグループごとにチェックを入れたり外したりして、保存することができます。

検索順位に影響はありますか?

いいえ。ブロックされるのはバックリンク分析クローラーのみで、お客様の順位を決定する検索エンジンは完全にそのまま残されます。サイトのインデックス登録およびランク付けは維持されます。つまり、競合他社のツールからリンクグラフを隠しているのであって、Googleから隠しているのではありません。

このブロックは実際にどのように適用されますか?

サーバー側でUser-Agentに基づいて(.htaccess、LiteSpeed、nginxの拒否設定を使用)、ブロックします。robots.txtは推奨規定にすぎず、悪質なクローラーがそれを無視することが知られているためです。標準的なクローラーに対してもrobots.txtでDisallowを指定し、偽のUser-Agentでクロールする悪質なクローラーに対しては、既知のIPやASNによる拒否設定を追加できます。エンジンは、保存された切り替え設定に従って、ルールを自動的に書き込みおよび削除します。

Majestic をブロックした場合、Trust Flow は失われますか?

いいえ。Trust Flow と Citation Flow は、ドメイン自体のクロールではなく、Majestic が他のサイトをクロールして見つけた被リンク(そのドメインへのリンク)である、ドメインのインバウンド・バックリンク・グラフから算出されます。サイト上で MajesticBot をブロックすると、Majestic は発リンクを見られなくなります(これが隠したいフットプリントです)が、Majestic の API におけるドメインの指標はそのまま残ります。同じロジックが Ahrefs DR と Moz DA にも当てはまります。

これはデフォルトで有効になっていますか?

Footprint-Free シリーズでは、PBN(プライベート・ブログ・ネットワーク)と収益サイト間のリンクを隠すことがフットプリント対策の核心であるため、クローラーのブロックがデフォルトで有効になっています。もちろん、サイトごとにどのクローラーをブロックするかを完全にコントロールして調整できます。

リンクグラフを隠して、インデックスを維持する

クレジットカード不要の14日間無料トライアルを開始し、検索エンジンが完全なアクセスを維持したままサイトごとにバックリンククローラーをブロック — Footprint-Freeプランではデフォルトで有効になり、ダッシュボードおよびMCPから制御できます。

無料で始める