SEO-Crawler-Blockierung
Eine erstklassige, pro Site einsetzbare Footprint-freie Kontrolle: Blockieren Sie die SEO- und Backlink-Crawler — Ahrefs, Majestic, Semrush, Moz, Screaming Frog und die übrigen —, während die Suchmaschinen vollen Zugriff behalten. Standardmäßig für die PBN-Linie aktiviert, serverseitig über den User-Agent durchgesetzt, gesteuert über das Dashboard und das MCP. Es ist das Footprint-Spiel: Verstecken Sie den Link vor den Tools der Konkurrenz, bleiben Sie in den SERPs indexierbar.
Der Wert eines privaten Netzwerks ist die Verbindung, die sonst niemand sehen kann. Sobald das Backlink-Tool eines Konkurrenten Ihre PBN-Website crawlen und ihrem ausgehenden Link zu Ihrer Money-Site folgen kann, ist das Netzwerk entlarvt – und der Vorteil dahin.
Die Aufgabe ist also präzise: Sperren Sie die Backlink-Analyse-Crawler aus, die diese Link-Graphen erstellen – Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot und ihresgleichen –, während Sie die Suchmaschinen völlig unangetastet lassen, denn eine Website, die Google nicht crawlen kann, kann auch nicht ranken. Blockieren Sie die Spione, behalten Sie die Indexierer.
Dies ist ein pro-Website-Schalter in der Footprint-Free-Produktreihe, der standardmäßig aktiviert ist. Aktivieren oder deaktivieren Sie jeden Crawler oder eine ganze Gruppe, speichern Sie, und die Engine schreibt oder entfernt die Regeln für Sie.
robots.txt ist nur eine Empfehlung, die von aggressiven Crawlern ignoriert wird – es ist bekannt, dass Majestic genau das tut. Die eigentliche Sperre erfolgt daher auf Serverebene, während robots.txt lediglich eine zusätzliche Höflichkeitsebene darstellt.
Die Durchsetzung erfolgt über eine .htaccess-, LiteSpeed- oder nginx-User-Agent-Sperre, die vom Hosting-Mitarbeiter und dem Zinn®-Plugin anhand Ihrer gespeicherten Umschalter erstellt wird. Dies ist die Regel, die einen Crawler tatsächlich stoppt, da sie nicht vom guten Willen des Crawlers abhängt.
Wir schreiben außerdem eine robots.txt-Regel „Disallow“ für Crawler, die sich daran halten – doppelt genäht hält besser, sodass die wohlerzogenen Tools höflich und die ungezogenen bestimmt abgewiesen werden.
Einige Crawler tarnen sich hinter gefälschten User-Agents. Bei den hartnäckigsten Übeltätern können wir bekannte IP- oder ASN-Sperren hinzufügen, sodass ein sich als Browser ausgebender Crawler dennoch keinen Zugriff erhält.
Googlebot, Bingbot und die anderen Indexierer stehen niemals auf der Sperrliste. Die Sperrung richtet sich ausschließlich auf die Backlink-Tools, sodass Indexierung und Rankings unangetastet bleiben.
Eine häufige Sorge ist, dass das Blockieren von Majestic den Trust Flow einer Domain verschwinden lässt. Das wird es nicht. Trust Flow und Citation Flow werden aus dem eingehenden Backlink-Graph einer Domain berechnet – also den Links, die auf sie verweisen und die Majestic durch das Crawlen anderer Websites findet –, nicht durch das Crawlen der Domain selbst.
Das Blockieren von MajesticBot auf Ihrer PBN-Site hindert Majestic daran, die ausgehenden Links dieser Site zu sehen, was genau der Footprint ist, den Sie verbergen möchten. Dies entfernt weder den Trust Flow noch den Citation Flow der Domain aus der API von Majestic, sodass unsere eigenen SEO-Datenprüfungen diese Metriken weiterhin normal ablesen können. Dasselbe gilt für Ahrefs DR und Moz DA – alles Messwerte für eingehende Links.
Die SEO- und Backlink-Crawler – Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot und ähnliche. Die Suchmaschinen sind davon niemals betroffen: Googlebot, Bingbot und die anderen Indexierer behalten vollen Zugriff, denn die Indexierbarkeit ist schließlich der Sinn der Sache. Sie können jeden Crawler oder eine Gruppe einzelner Crawler an- und abwählen und speichern.
Nein. Es werden ausschließlich die Backlink-Analyse-Crawler blockiert; die Suchmaschinen, die Ihr Ranking bestimmen, bleiben völlig unberührt. Die Website bleibt indexierbar und rankfähig – Sie verbergen Ihr Linkgraphen-Tool lediglich vor den Tools von Mitbewerbern, nicht vor Google.
Auf Server-Ebene über den User-Agent – durch eine .htaccess-, LiteSpeed- oder nginx-Sperre –, da robots.txt nur eine Empfehlung ist und aggressive Crawler dafür bekannt sind, sie zu ignorieren. Wir schreiben einen robots.txt-Disallow auch für die regelkonformen Crawler und können bekannte IP- oder ASN-Sperren für die schlimmsten Täter hinzufügen, die unter gefälschten User-Agents crawlen. Die Engine schreibt und entfernt die Regeln automatisch basierend auf Ihren gespeicherten Einstellungen.
Nein. Trust Flow und Citation Flow werden aus dem eingehenden Backlink-Graph einer Domain berechnet – also Links dorthin, die durch das Crawlen anderer Sites durch Majestic gefunden werden –, nicht durch das Crawlen der Domain selbst. Das Blockieren von MajesticBot auf der Site hindert Majestic daran, ihre ausgehenden Links zu sehen, was der Footprint ist, den Sie verbergen möchten, belässt jedoch die Metriken der Domain in der API von Majestic intakt. Dieselbe Logik gilt für Ahrefs DR und Moz DA.
Auf der Footprint-Free Linie, ja — Crawler-Blockierung ist standardmäßig aktiviert, da das Verstecken des Links von PBN zu Money-Site der Kern des Footprint-Spiels ist. Sie behalten die volle Kontrolle darüber, welche Crawler pro Site blockiert werden, und können dies anpassen.
Starte eine 14-tägige Testphase ohne Kreditkarte und blockiere Backlink-Crawler pro Website, während Suchmaschinen vollen Zugriff behalten – standardmäßig aktiviert für die Footprint-Free-Linie, steuerbar über das Dashboard und das MCP.
Kostenlos starten