Chặn trình thu thập dữ liệu SEO
Một quyền kiểm soát Footprint-Free cao cấp theo từng trang web: chặn các trình thu thập thông tin SEO và backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog và các trình khác — trong khi các công cụ tìm kiếm vẫn có toàn quyền truy cập. Được bật mặc định cho dòng PBN, được thực thi ở cấp máy chủ bởi User-Agent, được điều khiển từ trang tổng quan và MCP. Đó là trò chơi dấu chân: ẩn liên kết khỏi các công cụ của đối thủ cạnh tranh, duy trì khả năng lập chỉ mục trên SERP.
Giá trị của một mạng riêng ẩn chứa ở liên kết mà không ai khác có thể nhìn thấy. Ngay khoảnh khắc công cụ backlink của đối thủ cạnh tranh có thể quét trang PBN của bạn và lần theo liên kết ra ngoài của nó tới trang kiếm tiền của bạn, mạng lưới đó sẽ bị phơi bày — và lợi thế không còn nữa.
Vì vậy công việc rất chính xác: chặn các trình thu thập thông tin phân tích backlink – những bên xây dựng biểu đồ liên kết đó – gồm Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot và các đối tượng tương tự – đồng thời để nguyên các công cụ tìm kiếm, bởi vì một trang web mà Google không thể thu thập thông tin thì không thể xếp hạng. Chặn các bên theo dõi, giữ lại các trình lập chỉ mục.
Đây là một công tắc trên từng trang web thuộc dòng Footprint-Free, được bật mặc định. Hãy chọn hoặc bỏ chọn từng trình thu thập dữ liệu, hoặc toàn bộ nhóm, lưu lại và hệ thống sẽ tự động viết hoặc xóa các quy tắc cho bạn.
robots.txt chỉ mang tính khuyến nghị và các trình thu thập dữ liệu hung hãn thường bỏ qua nó — Majestic đã được quan sát thấy làm chính xác điều đó. Vì vậy, việc chặn thực tế diễn ra ở máy chủ, với robots.txt đóng vai trò là một lớp hỗ trợ lịch sự ở bên trên.
Việc thực thi này là một quy tắc từ chối User-Agent trong .htaccess, LiteSpeed hoặc nginx, do nhân viên lưu trữ và plugin Zinn® viết dựa trên các nút gạt đã lưu của bạn. Đây là quy tắc thực sự ngăn chặn một trình thu thập thông tin, vì nó không phụ thuộc vào thiện chí của trình thu thập đó.
Chúng tôi cũng viết một tệp robots.txt Disallow cho các trình thu thập thông tin tuân thủ nó — chắc ăn đôi đường, nhờ đó các công cụ tuân thủ quy tắc sẽ được từ chối một cách lịch sự và những công cụ vi phạm sẽ bị từ chối kiên quyết.
Một số trình thu thập dữ liệu ẩn nấp đằng sau các user-agent giả mạo. Đối với những trường hợp vi phạm nghiêm trọng nhất, chúng tôi có thể thêm các lệnh chặn theo IP hoặc ASN đã biết, nhờ đó trình thu thập dữ liệu giả dạng trình duyệt vẫn không thể truy cập vào được.
Googlebot, Bingbot và các trình lập chỉ mục khác không bao giờ nằm trong danh sách bị chặn. Việc chặn chỉ nhắm đến các công cụ backlink, do đó việc lập chỉ mục và thứ hạng hoàn toàn không bị ảnh hưởng.
Một lo lắng phổ biến là việc chặn Majestic sẽ làm cho Trust Flow của một tên miền biến mất. Sẽ không có chuyện đó. Trust Flow và Citation Flow được tính toán từ đồ thị backlink trỏ vào của một tên miền — các liên kết trỏ đến nó, mà Majestic tìm thấy bằng cách thu thập dữ liệu các trang web khác — chứ không phải bằng cách thu thập dữ liệu chính tên miền đó.
Việc chặn MajesticBot trên trang PBN của bạn sẽ ngăn Majestic nhìn thấy các liên kết đi của trang đó, đây chính là footprint mà bạn muốn ẩn đi. Thao tác này không xóa Trust Flow hoặc Citation Flow của tên miền khỏi API của Majestic, vì vậy các kiểm tra dữ liệu SEO của riêng chúng tôi vẫn tiếp tục đọc các chỉ số đó một cách bình thường. Điều tương tự cũng áp dụng cho Ahrefs DR và Moz DA — tất cả đều là các chỉ số đo lường liên kết đến.
Các trình thu thập dữ liệu SEO và backlink — Ahrefs, Majestic, Semrush, Moz, Screaming Frog, BLEXBot và các công cụ tương tự. Các công cụ tìm kiếm không bao giờ bị ảnh hưởng: Googlebot, Bingbot và các trình lập chỉ mục khác vẫn giữ nguyên quyền truy cập đầy đủ, vì việc duy trì khả năng lập chỉ mục mới là mục đích chính. Bạn có thể chọn và bỏ chọn từng trình thu thập dữ liệu, hoặc một nhóm, sau đó lưu lại.
Không. Chỉ các trình thu thập thông tin phân tích backlink bị chặn; các công cụ tìm kiếm xếp hạng cho bạn vẫn hoàn toàn hoạt động bình thường. Trang web vẫn có thể lập chỉ mục và xếp hạng — bạn đang ẩn biểu đồ liên kết của mình khỏi các công cụ của đối thủ cạnh tranh, chứ không phải khỏi Google.
Ở cấp độ máy chủ, theo User-Agent — quy tắc chặn qua .htaccess, LiteSpeed hoặc nginx — vì tệp robots.txt chỉ mang tính khuyến nghị và các trình thu thập dữ liệu hung hãn thường phớt lờ nó. Chúng tôi cũng viết lệnh Disallow trong robots.txt cho các bên tuân thủ, đồng thời có thể thêm quy tắc chặn theo IP hoặc ASN đối với những đối tượng vi phạm tồi tệ nhất hoạt động dưới các user-agent giả mạo. Hệ thống sẽ tự động viết và xóa các quy tắc dựa trên các nút bật/tắt đã lưu của bạn.
Không. Trust Flow và Citation Flow được tính toán từ biểu đồ liên kết ngược trỏ vào của một miền — các liên kết trỏ đến nó, được tìm thấy bằng cách Majestic thu thập dữ liệu các trang web khác — chứ không phải bằng cách thu thập dữ liệu chính miền đó. Việc chặn MajesticBot trên trang web sẽ ngăn Majestic nhìn thấy các liên kết trỏ ra ngoài của nó, đây là footprint mà bạn muốn ẩn, nhưng vẫn giữ nguyên các chỉ số của miền trong API của Majestic. Logic tương tự áp dụng cho Ahrefs DR và Moz DA.
Trên dòng sản phẩm Footprint-Free, vâng — tính năng chặn trình thu thập dữ liệu được bật theo mặc định, bởi vì việc ẩn liên kết từ PBN sang trang web kiếm tiền là cốt lõi của trò chơi dấu vết SEO. Bạn vẫn giữ toàn quyền kiểm soát để điều chỉnh những trình thu thập dữ liệu nào bị chặn cho mỗi trang web.
Bắt đầu dùng thử 14 ngày không cần thẻ và chặn các trình thu thập liên kết ngược theo từng trang web trong khi công cụ tìm kiếm vẫn giữ quyền truy cập đầy đủ — tính năng được bật theo mặc định đối với dòng sản phẩm Footprint-Free, được quản lý từ bảng điều khiển và MCP.
Dùng thử miễn phí