SEO კროულერების დაბლოკვა
უმაღლესი დონის Footprint-Free კონტროლი თითოეული საიტისთვის: დაბლოკეთ SEO და უკუბმულების (backlink) მცოცავები — Ahrefs, Majestic, Semrush, Moz, Screaming Frog და სხვები — მაშინ, როცა საძიებო სისტემები ინარჩუნებენ სრულ წვდომას. ნაგულისხმევად ჩართულია PBN ხაზისთვის, აღსრულდება სერვერზე User-Agent-ის მეშვეობით, იმართება მართვის პანელიდან და MCP-დან. ეს არის footprint-ის თამაში: დამალეთ ბმული კონკურენტების ხელსაწყოებისგან, დარჩით ინდექსირებადი SERP-ებში.
კერძო ქსელის ღირებულება არის ბმული, რომელსაც სხვა ვერავინ ხედავს. იმ მომენტში, როდესაც კონკურენტის უკუბმულების ხელსაწყოს შეუძლია თქვენი PBN საიტის დასკანირება და მისი გამავალი ბმულის მიყოლა თქვენს ძირითად საიტამდე, ქსელი მჟღავნდება — და უპირატესობა იკარგება.
ასე რომ, ამოცანა ზუსტია: დაბლოკეთ უკუბმულების ანალიზის მცოცავები (crawlers), რომლებიც აგებენ ამ ბმულების გრაფებს — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot და მათი მსგავსნი — ამავდროულად, საძიებო სისტემები დატოვეთ სრულიად ხელუხლებელი, რადგან საიტი, რომლის სკანირებაც Google-ს არ შეუძლია, ვერ დაიკავებს პოზიციებს. დაბლოკეთ ჯაშუშები, შეინარჩუნეთ ინდექსატორები.
ეს არის საიტის დონის გადამრთველი Footprint-Free ხაზზე, რომელიც ჩართულია ნაგულისხმევად. მონიშნეთ ან მოხსენით მონიშვნა თითოეულ crawler-ს ან მთელ ჯგუფს, შეინახეთ და სისტემა თქვენთვის ჩაწერს ან წაშლის წესებს.
robots.txt სარეკომენდაციო ხასიათისაა და აგრესიული რობოტები მას უგულებელყოფენ — დაფიქსირებულია, რომ Majestic ზუსტად ასე იქცევა. ასე რომ, რეალური დაბლოკვა ხდება სერვერზე, ხოლო robots.txt მხოლოდ ზრდილობის დამატებითი ფენაა.
აღსრულება წარმოადგენს .htaccess, LiteSpeed ან nginx User-Agent-ის უარყოფას, რომელიც დაწერილია ჰოსტინგის პროცესისა და Zinn® მოდულის მიერ თქვენი შენახული პარამეტრებიდან. ეს არის წესი, რომელიც რეალურად აჩერებს მცოცავს, რადგან ის არ არის დამოკიდებული მცოცავის კეთილ ნებაზე.
ჩვენ ასევე ვწერთ robots.txt Disallow-ს იმ მცოცავებისთვის, რომლებიც პატივს სცემენ მას — ორმაგი უსაფრთხოებისთვის, რათა წესიერი ხელსაწყოები თავაზიანად იქნეს უარყოფილი, ხოლო წესების დამრღვევი — მტკიცედ.
ზოგიერთი მძებნავი რობოტი ყალბი მომხმარებლის აგენტების უკან იმალება. ყველაზე უარესი დამრღვევებისთვის შეგვიძლია დავამატოთ ცნობილი IP ან ASN უარყოფები, რათა ბრაუზერად თავის მომჩვენებელმა რობოტმა მაინც ვერ შეძლოს შემოსვლა.
Googlebot, Bingbot და სხვა ინდექსატორები არასდროს არიან დაბლოკილთა სიაში. დაბლოკვა მიმართულია ექსკლუზიურად უკუკავშირების ინსტრუმენტებზე, ამიტომ ინდექსირება და პოზიციები უცვლელი რჩება.
ხშირია შეშფოთება იმის შესახებ, რომ Majestic-ის დაბლოკვა გამოიწვევს დომენის Trust Flow-ს გაქრობას. ეს ასე არ მოხდება. Trust Flow და Citation Flow გამოითვლება დომენის შემომავალი უკუბმულების გრაფიდან — მასზე მიმთითებელი ბმულებიდან, რომლებსაც Majestic სხვა საიტების დასკანირებით პოულობს — და არა უშუალოდ თავად დომენის დასკანირებით.
თქვენს PBN საიტზე MajesticBot-ის დაბლოკვა ხელს უშლის Majestic-ს ამ საიტის გამავალი ბმულების დანახვაში, რაც ზუსტად ის კვალია (footprint), რომლის დამალვაც გსურთ. ეს არ შლის დომენის Trust Flow-ს ან Citation Flow-ს Majestic-ის API-დან, ამიტომ ჩვენი საკუთარი SEO მონაცემთა შემოწმებები აგრძელებს ამ მეტრიკების ჩვეულ რეჟიმში წაკითხვას. იგივე ეხება Ahrefs DR-ს და Moz DA-ს — შემომავალი ბმულების ყველა საზომს.
SEO და უკუბმულების მძებნელები (crawlers) — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot და მსგავსი. საძიებო სისტემებს არასდროს ვეხებით: Googlebot, Bingbot და სხვა ინდექსატორები ინარჩუნებენ სრულ წვდომას, რადგან ინდექსირებად მდგომარეობაში დარჩენა მთავარი მიზანია. შეგიძლიათ მონიშნოთ ან მოხსნათ მონიშვნა თითოეული მძებნელისთვის ან ჯგუფისთვის და შეინახოთ.
არა. იბლოკება მხოლოდ უკუბმულების ანალიზის მცოცავები; საძიებო სისტემები, რომლებიც თქვენს პოზიციონირებას ახდენენ, სრულიად ხელუხლებელი რჩება. საიტი ინდექსირებადი და რანჟირებადი რჩება — თქვენ მალავთ თქვენი ბმულების გრაფს კონკურენტების ხელსაწყოებისგან და არა Google-ისგან.
სერვერზე, User-Agent-ის მიხედვით — .htaccess, LiteSpeed ან nginx deny — რადგან robots.txt მხოლოდ სარეკომენდაციო ხასიათისაა და ცნობილია, რომ აგრესიული მცოცავები (crawlers) მას უგულებელყოფენ. ჩვენ ასევე ვწერთ robots.txt Disallow-ს წესების დამცველთათვის და შეგვიძლია დავამატოთ ცნობილი IP-ის ან ASN-ის დაბლოკვები ყველაზე უარესი დამრღვევებისთვის, რომლებიც ყალბი user-agent-ებით მოქმედებენ. სისტემა ავტომატურად წერს და შლის წესებს თქვენ მიერ შენახული გადამრთველების შესაბამისად.
არა. Trust Flow და Citation Flow გამოითვლება დომენის შემომავალი უკუბმულების გრაფიდან — მასზე მიმთითებელი ბმულებიდან, რომლებსაც Majestic სხვა საიტების სკანირებისას პოულობს — და არა თავად დომენის სკანირებით. საიტზე MajesticBot-ის დაბლოკვა ხელს უშლის Majestic-ს მისი გამავალი ბმულების დანახვაში, რაც სწორედ ის footprint-ია, რომლის დამალვაც გსურთ, მაგრამ უცვლელს ტოვებს დომენის მეტრიკებს Majestic-ის API-ში. იგივე ლოგიკა ვრცელდება Ahrefs DR-სა და Moz DA-ზეც.
Footprint-Free ხაზზე, დიახ — crawler-ების დაბლოკვა ნაგულისხმევად ჩართულია, რადგან PBN-იდან მთავარ საიტზე (money-site) ბმულის დამალვა footprint თამაშის არსია. თქვენ სრულად აკონტროლებთ, თუ რომელი crawler-ები დაიბლოკოს თითოეული საიტისთვის.
დაიწყეთ 14-დღიანი საცდელი პერიოდი ბარათის გარეშე და დაბლოკეთ უკუბმულების (backlink) მძრომელები თითოეული საიტისთვის, სანამ საძიებო სისტემები ინარჩუნებენ სრულ წვდომას — ნაგულისხმევად ჩართულია Footprint-Free ხაზისთვის, იმართება მართვის პანელიდან და MCP-დან.
დაიწყეთ უფასოდ