SEO ਕ੍ਰਾਲਰ ਬਲਾਕਿੰਗ
ਹਰੇਕ-ਸਾਈਟ ਲਈ ਪਹਿਲੇ ਦਰਜੇ ਦਾ Footprint-Free ਕੰਟਰੋਲ: ਖੋਜ ਇੰਜਣਾਂ ਦੀ ਪੂਰੀ ਪਹੁੰਚ ਬਣਾਈ ਰੱਖਦੇ ਹੋਏ SEO ਅਤੇ ਬੈਕਲਿੰਕ ਕ੍ਰਾਲਰਾਂ — Ahrefs, Majestic, Semrush, Moz, Screaming Frog ਅਤੇ ਬਾਕੀ ਸਾਰਿਆਂ — ਨੂੰ ਬਲਾਕ ਕਰੋ। PBN ਲਾਈਨ ਲਈ ਡਿਫੌਲਟ ਤੌਰ 'ਤੇ ਚਾਲੂ, User-Agent ਦੁਆਰਾ ਸਰਵਰ 'ਤੇ ਲਾਗੂ ਕੀਤਾ ਗਿਆ, ਡੈਸ਼ਬੋਰਡ ਅਤੇ MCP ਤੋਂ ਸੰਚਾਲਿਤ। ਇਹ footprint ਦੀ ਖੇਡ ਹੈ: ਪ੍ਰਤੀਯੋਗੀਆਂ ਦੇ ਟੂਲਸ ਤੋਂ ਲਿੰਕ ਲੁਕਾਓ, SERPs ਵਿੱਚ ਇੰਡੈਕਸ ਹੋਣ ਯੋਗ ਬਣੇ ਰਹੋ।
ਇੱਕ ਨਿੱਜੀ ਨੈੱਟਵਰਕ ਦੀ ਕੀਮਤ ਉਹ ਲਿੰਕ ਹੈ ਜੋ ਕੋਈ ਹੋਰ ਨਹੀਂ ਵੇਖ ਸਕਦਾ। ਜਿਸ ਪਲ ਕਿਸੇ ਪ੍ਰਤੀਯੋਗੀ ਦਾ ਬੈਕਲਿੰਕ ਟੂਲ ਤੁਹਾਡੀ PBN ਸਾਈਟ ਨੂੰ ਕ੍ਰਾਲ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੀ ਮਨੀ ਸਾਈਟ ਲਈ ਇਸਦੇ ਬਾਹਰੀ ਲਿੰਕ ਦਾ ਪਿੱਛਾ ਕਰ ਸਕਦਾ ਹੈ, ਨੈੱਟਵਰਕ ਦਾ ਪਰਦਾਫਾਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ — ਅਤੇ ਲਾਭ ਖਤਮ ਹੋ ਜਾਂਦਾ ਹੈ।
ਇਸ ਲਈ ਕੰਮ ਬਿਲਕੁਲ ਸਪਸ਼ਟ ਹੈ: ਉਹਨਾਂ ਲਿੰਕ ਗ੍ਰਾਫਾਂ ਨੂੰ ਬਣਾਉਣ ਵਾਲੇ ਬੈਕਲਿੰਕ-ਵਿਸ਼ਲੇਸ਼ਣ ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਬਾਹਰ ਰੱਖੋ — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot ਅਤੇ ਉਹਨਾਂ ਦੇ ਸਾਥੀ — ਜਦੋਂ ਕਿ ਖੋਜ ਇੰਜਣਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਣਛੋਹਿਆ ਛੱਡ ਦਿਓ, ਕਿਉਂਕਿ ਇੱਕ ਸਾਈਟ ਜਿਸ ਨੂੰ Google ਕ੍ਰਾਲ ਨਹੀਂ ਕਰ ਸਕਦਾ, ਉਹ ਰੈਂਕ ਨਹੀਂ ਕਰ ਸਕਦੀ। ਜਾਸੂਸਾਂ ਨੂੰ ਬਲਾਕ ਕਰੋ, ਇੰਡੈਕਸਰਾਂ ਨੂੰ ਰੱਖੋ।
ਇਹ Footprint-Free ਲਾਈਨ 'ਤੇ ਪ੍ਰਤੀ-ਸਾਈਟ ਟੌਗਲ ਹੈ, ਜੋ ਮੂਲ ਰੂਪ ਵਿੱਚ ਚਾਲੂ ਹੁੰਦਾ ਹੈ। ਹਰੇਕ ਕ੍ਰਾਲਰ ਜਾਂ ਪੂਰੇ ਸਮੂਹ ਨੂੰ ਟਿੱਕ ਜਾਂ ਅਨਟਿੱਕ ਕਰੋ, ਸੁਰੱਖਿਅਤ ਕਰੋ, ਅਤੇ ਇੰਜਣ ਤੁਹਾਡੇ ਲਈ ਨਿਯਮ ਲਿਖੇਗਾ ਜਾਂ ਹਟਾਏਗਾ।
robots.txt ਸਿਰਫ਼ ਸਲਾਹਕਾਰੀ ਹੈ, ਅਤੇ ਹਮਲਾਵਰ ਕ੍ਰਾਲਰ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ — Majestic ਨੂੰ ਬਿਲਕੁਲ ਇਹੀ ਕਰਦੇ ਦੇਖਿਆ ਗਿਆ ਹੈ। ਇਸ ਲਈ ਅਸਲ ਬਲਾਕ ਸਰਵਰ 'ਤੇ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ robots.txt ਸਿਰਫ਼ ਸ਼ਿਸ਼ਟਾਚਾਰ ਦੀ ਇੱਕ ਵਾਧੂ ਪਰਤ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।
ਲਾਗੂਕਰਨ ਇੱਕ .htaccess, LiteSpeed ਜਾਂ nginx User-Agent deny ਹੈ, ਜੋ ਹੋਸਟਿੰਗ ਵਰਕਰ ਅਤੇ Zinn® ਪਲੱਗਇਨ ਦੁਆਰਾ ਤੁਹਾਡੇ ਸੁਰੱਖਿਅਤ ਕੀਤੇ ਟੌਗਲਾਂ ਤੋਂ ਲਿਖਿਆ ਗਿਆ ਹੈ। ਇਹ ਉਹ ਨਿਯਮ ਹੈ ਜੋ ਅਸਲ ਵਿੱਚ ਇੱਕ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਕ੍ਰਾਲਰ ਦੀ ਚੰਗੀ ਇੱਛਾ 'ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰਦਾ।
ਅਸੀਂ ਇਸ ਦਾ ਸਤਿਕਾਰ ਕਰਨ ਵਾਲੇ ਕ੍ਰਾਲਰਾਂ ਲਈ robots.txt Disallow ਵੀ ਲਿਖਦੇ ਹਾਂ — ਵਾਧੂ ਸੁਰੱਖਿਆ ਲਈ, ਤਾਂ ਜੋ ਨਿਯਮ ਮੰਨਣ ਵਾਲੇ ਟੂਲਸ ਨੂੰ ਨਿਮਰਤਾ ਨਾਲ ਮੋੜਿਆ ਜਾਵੇ ਅਤੇ ਉਲੰਘਣਾ ਕਰਨ ਵਾਲਿਆਂ ਨੂੰ ਸਖ਼ਤੀ ਨਾਲ ਰੋਕਿਆ ਜਾਵੇ।
ਕੁਝ ਕ੍ਰਾਲਰ ਜਾਅਲੀ ਯੂਜ਼ਰ-ਏਜੰਟਾਂ ਦੇ ਪਿੱਛੇ ਲੁਕ ਜਾਂਦੇ ਹਨ। ਸਭ ਤੋਂ ਭੈੜੇ ਉਲੰਘਣਾ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਅਸੀਂ ਜਾਣੇ-ਪਛਾਣੇ IP ਜਾਂ ASN ਇਨਕਾਰ ਸ਼ਾਮਲ ਕਰ ਸਕਦੇ ਹਾਂ, ਤਾਂ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਹੋਣ ਦਾ ਦਿਖਾਵਾ ਕਰਨ ਵਾਲਾ ਕ੍ਰਾਲਰ ਅਜੇ ਵੀ ਅੰਦਰ ਨਾ ਆ ਸਕੇ।
Googlebot, Bingbot ਅਤੇ ਹੋਰ ਇੰਡੈਕਸਰ ਕਦੇ ਵੀ ਬਲਾਕ ਸੂਚੀ ਵਿੱਚ ਨਹੀਂ ਹੁੰਦੇ ਹਨ। ਬਲਾਕ ਕਰਨਾ ਸਿਰਫ਼ ਬੈਕਲਿੰਕ ਟੂਲਸ 'ਤੇ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਇੰਡੈਕਸੇਸ਼ਨ ਅਤੇ ਰੈਂਕਿੰਗ ਅਣਛੂਹੀ ਰਹਿੰਦੀ ਹੈ।
ਇੱਕ ਆਮ ਚਿੰਤਾ ਇਹ ਹੈ ਕਿ Majestic ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਡੋਮੇਨ ਦਾ Trust Flow ਗਾਇਬ ਹੋ ਜਾਵੇਗਾ। ਅਜਿਹਾ ਨਹੀਂ ਹੋਵੇਗਾ। Trust Flow ਅਤੇ Citation Flow ਦੀ ਗਣਨਾ ਡੋਮੇਨ ਦੇ ਇਨਬਾਊਂਡ ਬੈਕਲਿੰਕ ਗ੍ਰਾਫ ਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ — ਉਹ ਲਿੰਕ ਜੋ ਇਸ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ Majestic ਡੋਮੇਨ ਨੂੰ ਖੁਦ ਕ੍ਰੌਲ ਕਰਕੇ ਨਹੀਂ, ਸਗੋਂ ਹੋਰ ਸਾਈਟਾਂ ਨੂੰ ਕ੍ਰੌਲ ਕਰਕੇ ਲੱਭਦਾ ਹੈ।
ਤੁਹਾਡੀ PBN ਸਾਈਟ 'ਤੇ MajesticBot ਨੂੰ ਬਲੌਕ ਕਰਨਾ Majestic ਨੂੰ ਉਸ ਸਾਈਟ ਦੇ ਆਊਟਬਾਊਂਡ ਲਿੰਕਾਂ ਨੂੰ ਦੇਖਣ ਤੋਂ ਰੋਕਦਾ ਹੈ, ਜੋ ਕਿ ਬਿਲਕੁਲ ਉਹ ਪੈਰਾਂ ਦਾ ਨਿਸ਼ਾਨ (footprint) ਹੈ ਜਿਸਨੂੰ ਤੁਸੀਂ ਛੁਪਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ। ਇਹ Majestic ਦੇ API ਤੋਂ ਡੋਮੇਨ ਦੇ Trust Flow ਜਾਂ Citation Flow ਨੂੰ ਨਹੀਂ ਹਟਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਸਾਡੀ ਆਪਣੀ SEO-ਡਾਟਾ ਜਾਂਚ ਉਹਨਾਂ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਆਮ ਵਾਂਗ ਪੜ੍ਹਨਾ ਜਾਰੀ ਰੱਖਦੀ ਹੈ। ਇਹੀ ਗੱਲ Ahrefs DR ਅਤੇ Moz DA ਲਈ ਵੀ ਲਾਗੂ ਹੁੰਦੀ ਹੈ — ਸਾਰੇ ਇਨਬਾਊਂਡ-ਲਿੰਕ ਮਾਪ।
SEO ਅਤੇ ਬੈਕਲਿੰਕ ਕ੍ਰੌਲਰ — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਹੋਰ। ਖੋਜ ਇੰਜਣਾਂ ਨੂੰ ਕਦੇ ਵੀ ਛੇੜਿਆ ਨਹੀਂ ਜਾਂਦਾ: Googlebot, Bingbot ਅਤੇ ਹੋਰ ਇੰਡੈਕਸਰ ਪੂਰੀ ਪਹੁੰਚ ਬਣਾਈ ਰੱਖਦੇ ਹਨ, ਕਿਉਂਕਿ ਇੰਡੈਕਸ ਕੀਤੇ ਜਾਣ ਯੋਗ ਰਹਿਣਾ ਹੀ ਪੂਰਾ ਮਕਸਦ ਹੈ। ਤੁਸੀਂ ਹਰੇਕ ਕ੍ਰੌਲਰ, ਜਾਂ ਕਿਸੇ ਸਮੂਹ ਨੂੰ ਟਿੱਕ ਅਤੇ ਅਨਟਿੱਕ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਸੇਵ ਕਰ ਸਕਦੇ ਹੋ।
ਨਹੀਂ। ਸਿਰਫ਼ ਬੈਕਲਿੰਕ-ਵਿਸ਼ਲੇਸ਼ਣ ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕੀਤਾ ਗਿਆ ਹੈ; ਖੋਜ ਇੰਜਣ ਜੋ ਤੁਹਾਨੂੰ ਰੈਂਕ ਦਿੰਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਛੱਡ ਦਿੱਤਾ ਗਿਆ ਹੈ। ਸਾਈਟ ਇੰਡੈਕਸ ਕਰਨ ਯੋਗ ਅਤੇ ਰੈਂਕ ਕਰਨ ਯੋਗ ਰਹਿੰਦੀ ਹੈ — ਤੁਸੀਂ ਆਪਣੇ ਲਿੰਕ ਗ੍ਰਾਫ ਨੂੰ ਪ੍ਰਤੀਯੋਗੀਆਂ ਦੇ ਟੂਲਸ ਤੋਂ ਲੁਕਾ ਰਹੇ ਹੋ, Google ਤੋਂ ਨਹੀਂ।
ਸਰਵਰ 'ਤੇ, User-Agent ਦੁਆਰਾ — ਇੱਕ .htaccess, LiteSpeed ਜਾਂ nginx deny — ਕਿਉਂਕਿ robots.txt ਸਿਰਫ਼ ਸਲਾਹਕਾਰੀ ਹੁੰਦੀ ਹੈ ਅਤੇ ਹਮਲਾਵਰ ਕ੍ਰਾਲਰਾਂ ਵੱਲੋਂ ਇਸ ਨੂੰ ਅਣਦੇਖਾ ਕਰਨ ਬਾਰੇ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਅਸੀਂ ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਵਾਲਿਆਂ ਲਈ robots.txt Disallow ਵੀ ਲਿਖਦੇ ਹਾਂ, ਅਤੇ ਜਾਅਲੀ user-agents ਹੇਠਾਂ ਕ੍ਰਾਲ ਕਰਨ ਵਾਲੇ ਸਭ ਤੋਂ ਮਾੜੇ ਉਲੰਘਣਾ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਜਾਣੇ-ਪਛਾਣੇ IP ਜਾਂ ASN ਨਕਾਰਾਂ ਨੂੰ ਜੋੜ ਸਕਦੇ ਹਾਂ। ਇੰਜਨ ਤੁਹਾਡੇ ਸੁਰੱਖਿਅਤ ਕੀਤੇ ਟੌਗਲਾਂ ਤੋਂ ਨਿਯਮਾਂ ਨੂੰ ਆਪਣੇ ਆਪ ਲਿਖਦਾ ਅਤੇ ਹਟਾਉਂਦਾ ਹੈ।
ਨਹੀਂ। Trust Flow ਅਤੇ Citation Flow ਦੀ ਗਣਨਾ ਕਿਸੇ ਡੋਮੇਨ ਦੇ ਇਨਬਾਊਂਡ ਬੈਕਲਿੰਕ ਗ੍ਰਾਫ ਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ — ਇਸ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਲਿੰਕ, ਜੋ Majestic ਦੁਆਰਾ ਦੂਜੀਆਂ ਸਾਈਟਾਂ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨ ਦੌਰਾਨ ਲੱਭੇ ਗਏ ਹਨ — ਨਾ ਕਿ ਖੁਦ ਉਸ ਡੋਮੇਨ ਨੂੰ ਕ੍ਰੌਲ ਕਰਕੇ। ਸਾਈਟ 'ਤੇ MajesticBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Majestic ਇਸਦੇ ਆਊਟਬਾਊਂਡ ਲਿੰਕਾਂ ਨੂੰ ਨਹੀਂ ਦੇਖ ਸਕਦਾ, ਜੋ ਕਿ ਉਹ footprint ਹੈ ਜਿਸਨੂੰ ਤੁਸੀਂ ਲੁਕਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਪਰ ਇਹ Majestic ਦੇ API ਵਿੱਚ ਡੋਮੇਨ ਦੇ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ। ਇਹੀ ਤਰਕ Ahrefs DR ਅਤੇ Moz DA 'ਤੇ ਵੀ ਲਾਗੂ ਹੁੰਦਾ ਹੈ।
Footprint-Free ਲਾਈਨ 'ਤੇ, ਹਾਂ — ਕ੍ਰੌਲਰ ਬਲਾਕ ਕਰਨਾ ਡਿਫੌਲਟ ਤੌਰ 'ਤੇ ਚਾਲੂ ਹੈ, ਕਿਉਂਕਿ PBN ਤੋਂ ਮਨੀ-ਸਾਈਟ ਦੇ ਲਿੰਕ ਨੂੰ ਛੁਪਾਉਣਾ ਹੀ footprint ਖੇਡ ਦਾ ਮੁੱਖ ਹਿੱਸਾ ਹੈ। ਪ੍ਰਤੀ ਸਾਈਟ ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਬਲਾਕ ਕੀਤੇ ਜਾਣੇ ਹਨ, ਇਸ ਨੂੰ ਅਨੁਕੂਲ ਕਰਨ ਦਾ ਪੂਰਾ ਕੰਟਰੋਲ ਤੁਹਾਡੇ ਕੋਲ ਰਹਿੰਦਾ ਹੈ।
ਬਿਨਾਂ ਕਾਰਡ ਦੇ 14-ਦਿਨਾਂ ਦਾ ਟ੍ਰਾਇਲ ਸ਼ੁਰੂ ਕਰੋ ਅਤੇ ਪ੍ਰਤੀ ਸਾਈਟ ਬੈਕਲਿੰਕ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰੋ ਜਦੋਂ ਕਿ ਖੋਜ ਇੰਜਣ ਪੂਰੀ ਪਹੁੰਚ ਬਣਾਈ ਰੱਖਦੇ ਹਨ — Footprint-Free ਲਾਈਨ ਲਈ ਡਿਫੌਲਟ ਤੌਰ 'ਤੇ ਚਾਲੂ, ਡੈਸ਼ਬੋਰਡ ਅਤੇ MCP ਤੋਂ ਨਿਯੰਤਰਿਤ।
ਮੁਫ਼ਤ ਸ਼ੁਰੂ ਕਰੋ