Всеки сайт и всеки сървър, който хостваме, блокира по подразбиране вредните ботове и фалшивите кроулъри. Не е необходимо да включвате нищо и това не струва нищо допълнително.
Какво се блокира?
- Известни вредни ботове: скрапери, крадци на съдържание, инструменти за спам и скенери за уязвимости, които се представят по име.
- Фалшиви кроулъри: програми, които се преструват на добре познат кроулър, като Googlebot, Bingbot, Applebot, GPTBot или ClaudeBot, за да преминат през защитите ви. Заявка, която твърди, че е една от тези, но не идва от публикуваните мрежови адреси на самата компания, се отхвърля.
Проверката се извършва два пъти: в нашата периферна мрежа (edge), преди заявката да достигне вашия сървър, и отново на самия уеб сървър, така че заявка, която отива директно към вашия сървър, също се проверява.
Какво никога не се блокира?
Истинските, проверени кроулъри винаги преминават. Googlebot, Bingbot, Applebot и истинските AI кроулъри (като GPTBot и ClaudeBot) се разпознават по това откъде идват, а не само по името, което предоставят, така че вашият сайт остава в резултатите от търсенето и в отговорите на AI.
Мога ли да блокирам AI кроулъри на моя сайт?
Да, и изборът е ваш за всеки сайт. Отворете Сайтове, изберете сайта, отворете раздела CDN и намерете Сигурност и контрол на ботове → AI кроулъри:
- Без специално отношение: AI кроулърите се третират като всеки друг посетител.
- Разрешаване: AI кроулърите се допускат.
- Отправяне на предизвикателство или Блокиране: AI кроулърите се подлагат на проверка или се отхвърлят на ниво периферна мрежа. Тези две опции се предоставят със защитата от ботове, включена във вашия план; екранът показва, ако вашият план не я включва.
Ние никога не променяме тази настройка вместо вас. Блокирането на фалшиви ботове не я засяга: истински AI кроулър се блокира само ако вие изберете да го блокирате.
Нещо легитимно беше отхвърлено
Мониторите за непрекъсната работа (uptime monitors), обратните извиквания за плащания и SEO инструментите не се засягат, освен ако не се преструват на някой от горните кроулъри. Ако услуга, която използвате, бъде отхвърлена, отворете тикет за поддръжка с часа и адреса, от който е дошла, и ние ще я разгледаме.