SEO-crawler blokkeren
Een eersteklas, per site instelbare Footprint-Free regeling: blokkeer de SEO- en backlinkcrawlers — Ahrefs, Majestic, Semrush, Moz, Screaming Frog en de rest — terwijl zoekmachines volledige toegang behouden. Standaard ingeschakeld voor de PBN-lijn, afgedwongen op de server via User-Agent, aangestuurd vanuit het dashboard en de MCP. Het is het spel van de footprint: verberg de link voor de tools van concurrenten, blijf indexeerbaar in de SERP's.
De waarde van een privénetwerk is de link die niemand anders kan zien. Zodra de backlinktool van een concurrent je PBN-site kan crawlen en de uitgaande link naar je moneysite kan volgen, ligt het netwerk bloot en is het voordeel verdwenen.
Dus de taak is nauwkeurig: sluit de backlinks-analyse-crawlers buiten die die linkgrafieken opbouwen — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot en hun soortgenoten — terwijl de zoekmachines volledig met rust gelaten worden, omdat een site die Google niet kan crawlen niet kan ranken. Blokkeer de spionnen, behoud de indexeerders.
Dit is een per-site schakelaar in de Footprint-Free-lijn, standaard ingeschakeld. Vink elke crawler of een hele groep aan of uit, sla op, en de engine schrijft of verwijdert de regels voor u.
robots.txt is adviserend, en agressieve crawlers negeren het — van Majestic is bekend dat het precies dat doet. De echte blokkering gebeurt dus op de server, met robots.txt als een beleefdheidslaag daarbovenop.
De handhaving is een .htaccess-, LiteSpeed- of nginx User-Agent-blokkering, geschreven door de hostingmedewerker en de Zinn®-plugin op basis van uw opgeslagen instellingen. Dit is de regel die een crawler daadwerkelijk tegenhoudt, omdat deze niet afhankelijk is van de goede wil van de crawler.
We schrijven ook een robots.txt Disallow voor de crawlers die zich daaraan houden — dubbel verzekerd, zodat de netjes volgende tools beleefd worden weggestuurd en de kwaadwillende ferm de deur worden gewezen.
Sommige crawlers verbergen zich achter neppe user-agents. Voor de ergste overtreders kunnen we bekende IP- of ASN-blokkeringen toevoegen, zodat een crawler die zich voordoet als browser alsnog buiten de deur wordt gehouden.
Googlebot, Bingbot en de andere indexeerders staan nooit op de blokkeerlijst. Het blokkeren is uitsluitend gericht op de backlink-tools, waardoor indexering en rankings onaangetast blijven.
Een veelvoorkomende zorg is dat het blokkeren van Majestic de Trust Flow van een domein laat verdwijnen. Dat zal niet gebeuren. Trust Flow en Citation Flow worden berekend op basis van de inkomende backlinkgrafiek van een domein — de links die ernaar verwijzen en die Majestic vindt door andere sites te crawlen — en niet door het domein zelf te crawlen.
Het blokkeren van MajesticBot op je PBN-site zorgt ervoor dat Majestic de uitgaande links van die site niet kan zien, en dat is precies de footprint die je verborgen wilt houden. Het verwijdert de Trust Flow of Citation Flow van het domein niet uit de API van Majestic, waardoor onze eigen SEO-gegevenscontroles die statistieken gewoon blijven uitlezen. Hetzelfde geldt voor Ahrefs DR en Moz DA — alle meetwaarden voor inkomende links.
De SEO- en backlinkcrawlers — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot en dergelijke. De zoekmachines worden nooit aangeraakt: Googlebot, Bingbot en de andere indexeerders behouden volledige toegang, omdat vindbaar blijven immers het hele doel is. U kunt elke crawler of een groep aan- en uitvinken en opslaan.
Nee. Alleen de crawlers voor backlink-analyse worden geblokkeerd; de zoekmachines die je rangschikken worden volledig met rust gelaten. De site blijft indexeerbaar en vindbaar — je verbergt je linkprofiel voor tools van concurrenten, niet voor Google.
Op de server, op User-Agent — een .htaccess, LiteSpeed of nginx deny — omdat robots.txt slechts een advies is en agressieve crawlers dit negeren. We schrijven ook een robots.txt Disallow voor de compliant crawlers, en kunnen bekende IP- of ASN-blokkades toevoegen voor de ergste overtreders die onder neppe user-agents crawlen. De engine schrijft en verwijdert de regels automatisch op basis van uw opgeslagen instellingen.
Nee. Trust Flow en Citation Flow worden berekend op basis van de inkomende backlinkgraaf van een domein (links ernaar toe, gevonden doordat Majestic andere sites crawlt), en niet door het domein zelf te crawlen. Het blokkeren van MajesticBot op de site zorgt ervoor dat Majestic de uitgaande links niet meer ziet (dat is de footprint die u verborgen wilt hebben), maar laat de statistieken van het domein in de API van Majestic intact. Dezelfde logica is van toepassing op Ahrefs DR en Moz DA.
Op de Footprint-Free lijn zeker wel — het blokkeren van crawlers staat standaard aan, omdat het verbergen van de PBN-naar-geld-site-link de kern is van het footprintspel. Je behoudt de volledige controle om per site aan te passen welke crawlers worden geblokkeerd.
Start een proefperiode van 14 dagen zonder creditcard en blokkeer de backlinkcrawlers per site terwijl zoekmachines volledige toegang behouden — standaard ingeschakeld voor de Footprint-Free-lijn, te beheren vanuit het dashboard en de MCP.
Start gratis