Každý web a každý server, který hostujeme, ve výchozím nastavení blokuje škodlivé roboty a falešné crawlery. Nemusíte nic zapínat a nestojí to nic navíc.
Co je blokováno?
- Známí škodliví roboti: scrapery, zloději obsahu, spamovací nástroje a skenery zranitelností, které se hlásí svým jménem.
- Falešné crawlery: programy, které předstírají, že jsou známým crawlerem, jako je Googlebot, Bingbot, Applebot, GPTBot nebo ClaudeBot, aby obešly vaši ochranu. Požadavek, který tvrdí, že je jedním z nich, ale nepochází z vlastních zveřejněných síťových adres dané společnosti, je odmítnut.
Kontrola probíhá dvakrát: v naší síti edge dříve, než požadavek dorazí na váš server, a znovu na samotném webovém serveru, takže je zkontrolován i požadavek směřující přímo na váš server.
Co není nikdy blokováno?
Skutečné, ověřené crawlery vždy projdou. Googlebot, Bingbot, Applebot a skutečné crawlery umělé inteligence (například GPTBot a ClaudeBot) jsou rozpoznány podle toho, odkud přicházejí, nikoli pouze podle jména, které uvádějí, takže váš web zůstane ve výsledcích vyhledávání a v odpovědích umělé inteligence.
Mohu na svém webu blokovat crawlery umělé inteligence?
Ano, a volba je na vás pro každý web zvlášť. Otevřete Weby, vyberte web, otevřete kartu CDN a vyhledejte Zabezpečení a kontrola botů → Crawlery AI:
- Žádné zvláštní zacházení: S crawlery AI se zachází jako s jakýmkoli jiným návštěvníkem.
- Povolit je: Crawlery AI jsou vpuštěny.
- Zobrazit výzvu nebo Blokovat je: Crawlery AI jsou vyzvány k ověření nebo odmítnuty na úrovni edge. Tyto dvě možnosti jsou součástí ochrany proti botům zahrnuté ve vašem tarifu; pokud ji váš tarif nezahrnuje, na obrazovce se to zobrazí.
Toto nastavení za vás nikdy neměníme. Blokování falešných botů se ho netýká: skutečný crawler umělé inteligence je blokován pouze tehdy, pokud se jej rozhodnete blokovat sami.
Bylo odmítnuto něco legitimního
Monitorování dostupnosti, zpětná volání plateb a nástroje SEO nejsou ovlivněny, pokud nepředstírají, že jsou jedním z výše uvedených crawlerů. Pokud je vámi používaná služba odmítnuta, otevřete lístek podpory s časem a adresou, ze které přišla, a my se na to podíváme.