Blockieren von SEO-Crawlern
Erstklassige, Website-spezifische Footprint-Free-Kontrolle: Blockieren Sie die SEO- und Backlink-Crawler – Ahrefs, Majestic, Semrush, Moz, Screaming Frog und die übrigen –, während Suchmaschinen weiterhin vollen Zugriff behalten. Standardmäßig für die PBN-Reihe aktiviert, auf Serverebene per User-Agent durchgesetzt, gesteuert über das Dashboard und das MCP. Es ist das Spiel mit dem Footprint: Verbergen Sie den Link vor den Tools der Konkurrenz, bleiben Sie in den SERPs indexierbar.
Der Wert eines privaten Netzwerks liegt in dem Link, den niemand sonst sehen kann. In dem Moment, in dem das Backlink-Tool eines Konkurrenten Ihre PBN-Website crawlen und deren ausgehenden Link zu Ihrer Money-Site verfolgen kann, ist das Netzwerk enttarnt – und der Vorteil verloren.
Die Aufgabe ist also präzise: Schließen Sie die Crawler für die Backlink-Analyse aus, die diese Linkgraphen erstellen – Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot und deren Artverwandte –, während Sie die Suchmaschinen völlig unberührt lassen, da eine Website, die Google nicht crawlen kann, kein Ranking erzielen kann. Blockieren Sie die Spione, behalten Sie die Indexierer.
Dies ist ein Schalter pro Website in der Footprint-Free-Linie, der standardmäßig aktiviert ist. Setzen oder entfernen Sie das Häkchen für jeden Crawler oder eine ganze Gruppe, speichern Sie, und das System erstellt oder entfernt die Regeln für Sie.
Die robots.txt ist lediglich eine Empfehlung, und aggressive Crawler ignorieren sie — bei Majestic wurde genau dieses Verhalten beobachtet. Die eigentliche Blockierung erfolgt daher auf dem Server, wobei die robots.txt lediglich eine zusätzliche Höflichkeitsebene darstellt.
Die Durchsetzung erfolgt über eine .htaccess-, LiteSpeed- oder nginx-User-Agent-Verweigerung, die vom Hosting-Worker und dem Zinn®-Plugin anhand Ihrer gespeicherten Einstellungen geschrieben wird. Dies ist die Regel, die einen Crawler tatsächlich stoppt, da sie nicht vom guten Willen des Crawlers abhängt.
Wir verfassen auch eine robots.txt-Disallow-Anweisung für Crawler, die diese respektieren – doppelt genäht hält besser, damit wohlgesinnte Tools höflich und schlecht erzogene Tools bestimmt abgewiesen werden.
Einige Crawler verstecken sich hinter gefälschten User-Agents. Bei den schlimmsten Verursachern können wir bekannte IP- oder ASN-Sperren hinzufügen, sodass ein Crawler, der sich als Browser ausgibt, dennoch keinen Zugriff erhält.
Googlebot, Bingbot und die anderen Indexierer befinden sich niemals auf der Sperrliste. Das Blockieren richtet sich ausschließlich an die Backlink-Tools, sodass Indexierung und Rankings unberührt bleiben.
Eine häufige Sorge ist, dass das Blockieren von Majestic dazu führt, dass der Trust Flow einer Domain verschwindet. Das wird nicht passieren. Trust Flow und Citation Flow werden anhand des eingehenden Backlink-Graphen einer Domain berechnet – also anhand der Links, die auf sie verweisen und die Majestic durch das Crawlen anderer Websites findet, nicht durch das Crawlen der Domain selbst.
Das Blockieren von MajesticBot auf Ihrer PBN-Website verhindert, dass Majestic die ausgehenden Links dieser Website sieht – genau der footprint, den Sie verbergen möchten. Dadurch werden weder Trust Flow noch Citation Flow der Domain aus der API von Majestic entfernt, sodass unsere eigenen SEO-Datenprüfungen diese Metriken weiterhin normal erfassen. Dasselbe gilt für Ahrefs DR und Moz DA – allesamt Kennzahlen für eingehende Links.
Die SEO- und Backlink-Crawler — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot und ähnliche. Die Suchmaschinen werden niemals angetastet: Googlebot, Bingbot und die anderen Indexierer behalten vollen Zugriff, da die Indexierbarkeit der eigentliche Zweck ist. Sie können jeden Crawler oder eine Gruppe an- und abwählen und speichern.
Nein. Es werden nur die Crawler zur Backlink-Analyse blockiert; die Suchmaschinen, die Sie ranken, bleiben völlig unberührt. Die Website bleibt indexierbar und rankingfähig — Sie verbergen Ihren Link-Graphen vor den Tools Ihrer Konkurrenten, nicht vor Google.
Auf dem Server, nach User-Agent – eine .htaccess-, LiteSpeed- oder nginx-Sperre –, da robots.txt lediglich empfehlenden Charakter hat und aggressive Crawler diese bekanntermaßen ignorieren. Für die konformen Crawler schreiben wir ebenfalls ein robots.txt-Disallow und können Sperren für bekannte IPs oder ASNs für die hartnäckigsten Übeltäter hinzufügen, die unter gefälschten User-Agents crawlen. Die Engine schreibt und entfernt die Regeln automatisch anhand Ihrer gespeicherten Einstellungen.
Nein. Trust Flow und Citation Flow werden aus dem eingehenden Backlink-Graphen einer Domain berechnet – Links, die auf sie verweisen und die Majestic beim Crawlen anderer Websites findet –, nicht durch das Crawlen der Domain selbst. Das Blockieren von MajesticBot auf der Website hindert Majestic daran, deren ausgehende Links zu sehen, was genau der footprint ist, den Sie verbergen möchten, lässt jedoch die Metriken der Domain in der API von Majestic intakt. Dieselbe Logik gilt für Ahrefs DR und Moz DA.
Bei der Footprint-Free-Linie ja – die Crawler-Blockierung ist standardmäßig aktiviert, da das Verbergen der Verbindung vom PBN zur Money-Site der Kern des Footprint-Spiels ist. Sie behalten die volle Kontrolle darüber, welche Crawler pro Website blockiert werden.
Starten Sie eine 14-tägige Testphase ohne Kreditkarte und blockieren Sie Backlink-Crawler pro Website, während Suchmaschinen weiterhin vollen Zugriff behalten — standardmäßig aktiviert für die Footprint-Free-Reihe, steuerbar über das Dashboard und das MCP.
Kostenlos starten