Blokkeren van SEO-crawlers
Een eersteklas Footprint-Free-beheer per site: blokkeer de SEO- en backlinkcrawlers — Ahrefs, Majestic, Semrush, Moz, Screaming Frog en de rest — terwijl de zoekmachines volledige toegang behouden. Standaard ingeschakeld voor de PBN-lijn, afgedwongen op de server via User-Agent, aangestuurd vanuit het dashboard en het MCP. Het is het spel van de footprint: verberg de link voor de tools van concurrenten, blijf indexeerbaar in de SERP's.
De waarde van een privénetwerk schuilt in de link die niemand anders kan zien. Zodra de backlinktool van een concurrent uw PBN-site kan crawlen en de uitgaande link naar uw geldsite kan volgen, ligt het netwerk open en bloot — en is het voordeel verdwenen.
De taak is dus heel specifiek: sluit de crawlers voor backlink-analyse uit die deze linkgrafieken opbouwen — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot en soortgelijke — terwijl u de zoekmachines volledig ongemoeid laat, aangezien een site die Google niet kan crawlen, niet kan ranken. Blokkeer de spionnen, behoud de indexeerders.
Dit is een schakelaar per site op de Footprint-Free-lijn, die standaard is ingeschakeld. Vink elke crawler of een hele groep aan of uit, sla op en de engine schrijft of verwijdert de regels voor u.
Het bestand robots.txt is slechts adviserend, en agressieve crawlers negeren het — er is waargenomen dat Majestic precies dat doet. De daadwerkelijke blokkade vindt dus plaats op de server, met robots.txt als een beleefdheidslaag daarbovenop.
De handhaving is een User-Agent deny via .htaccess, LiteSpeed of nginx, geschreven door de hosting worker en de Zinn®-plug-in op basis van uw opgeslagen schakelaars. Dit is de regel die een crawler daadwerkelijk tegenhoudt, omdat deze niet afhankelijk is van de goede wil van de crawler.
We stellen ook een robots.txt Disallow in voor de crawlers die dit respecteren — dubbel genaaid houdt beter, zodat welgemanierde tools beleefd worden afgewezen en kwaadwillende tools resoluut worden tegengehouden.
Sommige crawlers verbergen zich achter valse user-agents. Voor de ernstigste overtreders kunnen we bekende IP- of ASN-blokkades toevoegen, zodat een crawler die zich voordoet als browser alsnog niet binnenkomt.
Googlebot, Bingbot en de andere indexeerders staan nooit op de blokkeerlijst. Het blokkeren is uitsluitend gericht op de backlink-tools, waardoor de indexering en rangschikking onaangetast blijven.
Een veelvoorkomende zorg is dat het blokkeren van Majestic ertoe leidt dat de Trust Flow van een domein verdwijnt. Dat is niet het geval. Trust Flow en Citation Flow worden berekend op basis van de inkomende backlink-grafiek van een domein — de links die ernaar verwijzen, die Majestic vindt door andere sites te crawlen — en niet door het domein zelf te crawlen.
Het blokkeren van MajesticBot op uw PBN-site voorkomt dat Majestic de uitgaande links van die site ziet, wat precies de footprint is die u verborgen wilt houden. Het verwijdert de Trust Flow of Citation Flow van het domein niet uit de API van Majestic, zodat onze eigen SEO-gegevenscontroles die statistieken gewoon blijven uitlezen. Hetzelfde geldt voor Ahrefs DR en Moz DA — allemaal meetwaarden voor inkomende links.
De SEO- en backlinkcrawlers — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot en dergelijke. De zoekmachines worden nooit beïnvloed: Googlebot, Bingbot en de andere indexeerders behouden volledige toegang, omdat indexeerbaar blijven het hele doel is. U kunt elke crawler, of een groep, aan- en uitvinken en opslaan.
Nee. Alleen de crawlers voor backlink-analyse worden geblokkeerd; de zoekmachines die uw positie bepalen, worden volledig met rust gelaten. De site blijft indexeerbaar en behoudt zijn rankingmogelijkheden — u verbergt uw linkgrafiek voor de tools van concurrenten, niet voor Google.
Op de server, via User-Agent — een weigering via .htaccess, LiteSpeed of nginx — omdat robots.txt slechts adviserend is en agressieve crawlers erom bekendstaan dit te negeren. We schrijven tevens een robots.txt Disallow voor de crawlers die zich wel aan de regels houden, en we kunnen blokkades op basis van bekende IP-adressen of ASN's toevoegen voor de ergste overtreders die onder valse user-agents crawlen. De engine schrijft en verwijdert de regels automatisch op basis van uw opgeslagen schakelaars.
Nee. Trust Flow en Citation Flow worden berekend op basis van de inkomende backlinkgrafiek van een domein — links ernaartoe, gevonden doordat Majestic andere sites crawlt — en niet door het domein zelf te crawlen. Door MajesticBot op de site te blokkeren, voorkomt u dat Majestic de uitgaande links ziet, wat de footprint is die u verborgen wilt houden, maar blijven de statistieken van het domein in de API van Majestic intact. Dezelfde logica geldt voor Ahrefs DR en Moz DA.
Op de Footprint-Free-lijn, ja: crawlerblokkering staat standaard aan, omdat het verbergen van de link tussen het PBN en de money-site de kern is van het footprint-spel. U behoudt de volledige controle om per site aan te passen welke crawlers worden geblokkeerd.
Start een proefperiode van 14 dagen zonder creditcard en blokkeer de backlink-crawlers per site terwijl zoekmachines volledige toegang behouden — standaard ingeschakeld voor de Footprint-Free-lijn, beheerd via het dashboard en het MCP.
Gratis starten