ცოდნის ბაზა

ქვეყნების, მისამართებისა და რობოტების (კრაულერების) დაბლოკვა

სami ცალკეული კონტროლი სამი სხვადასხვა პრობლემისთვის — და ერთ-ერთმა მათგანმა შესაძლოა Google-დან ვერ გაგიყვანოთ, თუნდაც რომ სცადოთ.

ეს არის სამი განსხვავებული პარამეტრი სამი განსხვავებული პრობლემისთვის. შედით მათთან საიტის უსაფრთხოების პარამეტრებიდან.

ქვეყნები

ან დაბლოკვის სია (ყველას შეუძლია ეწვიოს მათ გარდა), ან ნებადართულთა სია (არავის შეუძლია ეწვიოს მათ გარდა). ეს არის ერთი გადამრთველი და ღირს მის შენახვამდე ორჯერ წაკითხვა: ნებადართულთა სია, რომელიც შეიცავს მხოლოდ ერთ ქვეყანას,თქვენს საიტს ყველასთვის თიშავს ინტერნეტიდან, რაც ზოგჯერ ზუსტად ისაა, რაც გსურთ, წინააღმდეგ შემთხვევაში კი — ცუდი დღეა.

სიის გასუფთავება აუქმებს ყველა ქვეყნის შეზღუდვას; არ არსებობს ცალკე „ყველგან განბლოკვის“ ნაბიჯი.

⚠️ ნებადართულთა სია გამოგაგდებთ Google-დან და სწორედ ამას აპარებენ ხოლმე მხედველობიდან. საძიებო სისტემები თავიანთი მისამართებიდან ახდენენ ინდექსირებას — Googlebot ამერიკის შეერთებული შტატებიდან, მიუხედავად იმისა, თუ სად არიან თქვენი ვიზიტორები — ასე რომ, ნებადართულთა სია, რომელიც არ მოიცავს ამ ქვეყნებს, დაბლოკავს მცოცავს (crawler) ყველასთან ერთად, ხოლო საიტი, რომლის ინდექსირებაც შეუძლებელია, ინდექსიდან ვარდება. ეს არ ხდება დაუყოვნებლივ და არც თვალსაჩინოა, რაც მას ძვირად ღირებულს ხდის.

ამიტომ, ჩვენ ნებაყოფლობით ვუშვებთ ვერიფიცირებულ საძიებო სისტემებს. არ შეეხოთ ამ გადამრთველს და Google და Bing გააგრძელებენ თქვენს საიტზე წვდომას იქიდან, საიდანაც ისინი ახდენენ ინდექსირებას, თუნდაც ერთი ქვეყნის შემცველი ნებადართულთა სიის შემთხვევაში. თქვენ შეგიძლიათ გამორთოთ ეს გამონაკლისი, თუ ნამდვილად არ გსურთ გამონაკლისები — ეს ზუსტად ისე აბრუნებს ზემოთ ხსენებულ რისკს, როგორც აღწერილია, და ეკრანიც ამას მიგითითებთ, როდესაც ამას აკეთებთ.

⛔ გამონაკლისს სჭირდება პროვაიდერი, რომელსაც შეუძლია მცოცავის (crawler) ვერიფიკაცია და ყველა მათგანს არ აქვს ამის შესაძლებლობა. ვერიფიკაცია ნიშნავს იმის შემოწმებას, რომ ვიზიტორი, რომელიც თავის თავს Googlebot-ს უწოდებს, რეალურად Google-ია თავისი მისამართებით — და არა მისი სიტყვაზე ნდობა, რისი კოპირებაც ყველას შეუძლია. ამას ჩვენი Cloudflare edge აკეთებს. Bunny, CDN77 და Gcore ამას ვერ ახერხებენ, ამიტომ მათზე არ არსებობს უსაფრთხო გზა ვინმეს გასაშვებად და ჩვენ არავის ვუშვებთ. იმ პროვაიდერზე, რომელსაც არ შეუძლია მცოცავების ვერიფიკაცია, ნებადართულთა სიას მთლიანად ახლავს ზემოთ აღწერილი რისკი — საიტის ქვეყნების ეკრანი გიჩვენებთ, რომელ მდგომარეობაში იმყოფებით და სანამ გამონაკლისს დაეყრდნობოდეთ, ის უნდა წაიკითხოთ. იქ უპირატესობა მიანიჭეთ დაბლოკვის სიას.

ინდივიდუალური მისამართები

კონკრეტული შეწუხებისთვის — ერთი მისამართი, რომელიც ფორმას უტევს, ერთი სკრაპერი. ეს არის სწორი ინსტრუმენტი მისამართების მცირე ჯგუფისთვის და არასწორი თავდასხმისთვის, რომელიც ათასობით მისამართიდან მოდის და უფრო სწრაფად იცვლება, ვიდრე მის აკრეფას მოასწრებთ. ამისთვის CDN-ის დაცვაა საჭირო.

SEO მცოცავები (crawlers)

მესამე მხარის SEO მცოცავების (crawlers) — ბმულების ბაზების შემქმნელების — დაბლოკვა შესაძლებელია ინდივიდუალურად. ადამიანები ამას აკეთებენ იმისათვის, რომ კონკურენტებმა მათი ბმულების პროფილი არ დააკატალოგონ.

თქვენ აქ საკუთარ თავს ინდექსიდან ვერ ამოშლით. საძიებო სისტემები განზრახ არ არიან სიაში ასარჩევად: Googlebot-ის დაბლოკვა არის გადაწყვეტილება ისეთი შედეგებით, რომლებიც ბცილად სცდება იმას, რისთვისაც ეს ეკრანია განკუთვნილი, ამიტომ ეკრანი ამას არ გააკეთებს. თქვენი robots.txt ამ პარამეტრით ხელუხლებელი რჩება და თქვენივე საკუთრებაა.

⚠️ ეს დაცვა კონკრეტულად ამ კონტროლს ეხება. ქვეყნის ზემოთ მოცემულ წესს საკუთარი დამცავი მექანიზმი აქვს, თუმცა პირობითი — ის ნებაყოფლობით უშვებს ვერიფიცირებულ საძიებო სისტემებს და მხოლოდ იმ შემთხვევაში, თუ თქვენი პროვაიდერი შეძლებს მათ ვერიფიკაციას. თუ თქვენ ორივე გამოიყენეთ, ქვეყნის წესი მაინც ისაა, რამაც შეიძლება თქვენი რეიტინგები დაგიკარგოთ, ამიტომ შეამოწმეთ რას აცხადებს მისი ეკრანი და ნუ ივარაუდებთ, რომ გამონაკლისი მოქმედებს.

რა არ არის ეს ყველაფერი

არცერთი მათგანი არ არის პროგრამული უზრუნველყოფის განახლების შენარჩუნების შემცვლელი. ქვეყნის დაბლოკვა აჩერებს ამ ქვეყნის ტრაფიკს; ის არ ასწორებს მოძველებულ პლაგინს, რომელსაც ეს ტრაფიკი ამოწმებდა.

ისევ გაჭედილი ხართ?

მხარდაჭერა შედის ყველა გეგმაში და პასუხები თქვენს საკუთარ ენაზე გაიცემა.

მხარდაჭერასთან დაკავშირება ყველა სტატია
ქვეყნების, მისამართებისა და რობოტების (კრაულერების) დაბლოკვა