Fiecare site și fiecare server pe care îl găzduim blochează în mod implicit roboții periculoși și crawlerele false. Nu trebuie să activați nimic și nu implică niciun cost suplimentar.
Ce este blocat?
- Roboți periculoși cunoscuți: instrumente de scraping, hoți de conținut, instrumente de spam și scanere de vulnerabilități care își declară numele.
- Crawlere false: programe care pretind a fi un crawler bine-cunoscut, cum ar fi Googlebot, Bingbot, Applebot, GPTBot sau ClaudeBot, pentru a trece de sistemele dumneavoastră de protecție. O cerere care susține că este unul dintre aceștia, dar nu provine de la adresele de rețea publicate oficial de compania respectivă, este refuzată.
Verificarea are loc de două ori: pe rețeaua noastră edge înainte ca o cerere să ajungă la serverul dumneavoastră, și din nou pe serverul web în sine, astfel încât o cerere trimisă direct către serverul dumneavoastră să fie, de asemenea, verificată.
Ce nu este niciodată blocat?
Crawlerele reale și verificate au întotdeauna acces. Googlebot, Bingbot, Applebot și crawlerele AI reale (precum GPTBot și ClaudeBot) sunt recunoscute după originea lor, nu doar după numele pe care îl declară, astfel încât site-ul dumneavoastră să rămână în rezultatele căutării și în răspunsurile oferite de inteligența artificială.
Pot bloca crawlerele AI pe site-ul meu?
Da, iar alegerea vă aparține pentru fiecare site în parte. Deschideți Site-uri, alegeți site-ul, deschideți fila CDN și căutați Securitate și control roboți → Crawlere AI:
- Fără tratament special: crawlerele AI sunt tratate ca orice alt vizitator.
- Permite-le: crawlerelor AI li se permite accesul.
- Provoacă-le sau Blochează-le: crawlerele AI sunt provocate printr-un test de verificare sau refuzate la nivel de edge. Aceste două opțiuni vin împreună cu protecția împotriva roboților inclusă în planul dumneavoastră; ecranul va afișa o notificare dacă planul dumneavoastră nu o include.
Nu modificăm niciodată această setare în locul dumneavoastră. Blocarea roboților falși nu influențează această setare: un crawler AI real este blocat numai dacă alegeți dumneavoastră să îl blocați.
Un element legitim a fost refuzat
Sistemele de monitorizare a disponibilității (uptime), callback-urile de plată și instrumentele SEO nu sunt afectate, cu excepția cazului în care pretind a fi unul dintre crawlerele de mai sus. Dacă un serviciu pe care îl utilizați este refuzat, deschideți un tichet de asistență specificând ora și adresa de la care a provenit, iar noi vom investiga situația.