Кожен сайт і кожен сервер, який ми обслуговуємо, за замовчуванням блокує шкідливих ботів і підроблених пошукових роботів. Вам не потрібно нічого вмикати, і це не потребує додаткових витрат.
Що блокується?
- Відомі шкідливі боти: скрепери, викрадачі контенту, інструменти для спаму та сканери вразливостей, які відкрито повідомляють своє ім'я.
- Підроблені пошукові роботи: програми, які видають себе за відомого робота, такого як Googlebot, Bingbot, Applebot, GPTBot або ClaudeBot, щоб обійти ваш захист. Запит, який стверджує, що є одним із них, але надходить не з власних опублікованих мережевих адрес цієї компанії, відхиляється.
Перевірка виконується двічі: у нашій периферійній мережі до того, як запит досягне вашого сервера, і ще раз на самому вебсервері, тому запит, який іде безпосередньо до вашого сервера, також перевіряється.
Що ніколи не блокується?
Справжні, перевірені пошукові роботи проходять завжди. Googlebot, Bingbot, Applebot і справжні роботи штучного інтелекту (такі як GPTBot і ClaudeBot) розпізнаються за тим, звідки вони надходять, а не лише за вказаним ними ім'ям, тому ваш сайт залишається в результатах пошуку та у відповідях штучного інтелекту.
Чи можу я заблокувати роботів штучного інтелекту на своєму сайті?
Так, і вибір залишається за вами для кожного сайту. Відкрийте Сайти, виберіть сайт, відкрийте вкладку CDN і знайдіть Безпека та контроль ботів → Роботи штучного інтелекту:
- Без особливої обробки: до роботів штучного інтелекту ставляться як до будь-яких інших відвідувачів.
- Дозволити їм: роботів штучного інтелекту пропускають.
- Перевірити їх або Заблокувати їх: роботи штучного інтелекту перевіряються або відхиляються на периферії. Ці два варіанти доступні разом із захистом від ботів, включеним у ваш тарифний план; екран покаже, якщо ваш план його не містить.
Ми ніколи не змінюємо це налаштування замість вас. Блокування підроблених ботів його не зачіпає: справжній робот штучного інтелекту блокується лише в тому випадку, якщо ви вирішите його заблокувати.
Щось правомірне було відхилено
Монітори доступності, зворотні виклики платежів та інструменти SEO не зазнають впливу, якщо вони не видають себе за одного з вищезазначених роботів. Якщо послугу, якою ви користуєтеся, відхилено, відкрийте запит до служби підтримки, вказавши час та адресу, з якої надійшов запит, і ми розглянемо це питання.