እነዚህ ለሦስት የተለያዩ ችግሮች የተዘጋጁ ሦስት የተለያዩ ቅንብሮች ናቸው። ከጣቢያው የደህንነት ቅንብሮች ውስጥ ሊያገኟቸው ይችላሉ።
አገሮች
ወይ የማገድ ዝርዝር (ከእነዚህ በስተቀር ሁሉም ሰው መጎብኘት ይችላል) ወይም የመፍቀድ ዝርዝር (ከእነዚህ በስተቀር ማንም መጎብኘት አይችልም)። ይህ አንድ መቀየሪያ ነው፣ እና ከማስቀመጥዎ በፊት ደግመው ቢያነቡት ይጠቅማል፡ አንድ አገርን ብቻ የያዘ የመፍቀድ ዝርዝር ጣቢያዎን ለሌላው ሰው ሁሉ ከበይነመረብ ውጭ ያደርገዋል፣ ይህም አልፎ አልፎ በትክክል የሚፈልጉት ሊሆን ይችላል፣ አለበለዚያ ግን መጥፎ ከሰዓት ያስከትላል።
ዝርዝሩን ማጽዳት እያንዳንዱን የአገር ገደብ ያስወግዳል፤ የተለየ «በሁሉም ቦታ እገዳ አንሳ» የሚል እርምጃ የለም።
⚠️ የመፍቀድ ዝርዝር ከ Google ውጭ ያደርግዎታል፣ ሰዎች የሚያመልጣቸውም ክፍል ይኸው ነው። የፍለጋ ፕሮግራሞች ጎብኚዎችዎ የትም ቢሆኑ ከራሳቸው አድራሻዎች ይጎበኛሉ — Googlebot ከዩናይትድ ስቴትስ — ስለዚህ እነዚያን አገሮች የማያካትት የመፍቀድ ዝርዝር ከሌላው ሰው ጋር አብሮ ክራውለሩን ያግዳል፣ መጎብኘት የማይችል ጣቢያ ደግሞ ከማውጫው (index) ይወጣል። ይህ ፈጣን አይደለም እና ግልጽም አይደለም፣ ይህም ውድ ዋጋ የሚያስከፍል ያደርገዋል።
ስለዚህ የተረጋገጡ የፍለጋ ፕሮግራሞችን በነባሪነት እናሳልፋለን። ያንን መቀየሪያ አይንኩት እና አንድ አገርን ብቻ የጠቀሰ የመፍቀድ ዝርዝር ቢኖርም እንኳ Google እና Bing ከሚጎበኙበት ከየትኛውም ቦታ ሆነው ጣቢያዎን ማግኘታቸውን ይቀጥላሉ። ምንም ዓይነት ልዩ ሁኔታ እንዳይኖር በእውነት ከፈለጉ ነፃ ማድረግን ማጥፋት ይችላሉ — ያ ከላይ የተገለጸውን አደጋ በትክክል ይመልሰዋል፣ እና ይህን ሲያደርጉ ማያ ገጹ ይነግርዎታል።
⛔ ነፃ ማድረግ ክራውለርን ማረጋገጥ የሚችል አቅራቢ ይፈልጋል፣ ሁሉም ደግሞ ይህን ማድረግ አይችሉም። ማረጋገጥ ማለት እራሱን Googlebot ብሎ የሚጠራ ጎብኚ በእርግጥ Google መሆኑን በአድራሻዎቹ መፈተሽ ማለት ነው — ማንኛውም ሰው ሊገለብጠው የሚችለውን ቃሉን ብቻ መቀበል አይደለም። የእኛ የ Cloudflare ጠርዝ (edge) ይህን ያደርጋል። Bunny፣ CDN77 እና Gcore ይህን አያደርጉም፣ ስለዚህ በእነዚያ ላይ በደህና ሊያልፍ የሚችል ምንም ነገር የለም እና እኛም ምንም ነገር እንዲያልፍ አንፈቅድም። ክራውለሮችን ማረጋገጥ በማይችል አቅራቢ ላይ የመፍቀድ ዝርዝር ከላይ የተጠቀሰውን ሙሉ አደጋ ይሸከማል — የጣቢያው የአገር ማያ ገጽ በየትኛው ሁኔታ ላይ እንዳሉ ይነግርዎታል፣ እና ነፃ በማድረጉ ላይ ከመተማመንዎ በፊት ሊያነቡት ይገባል። እዚያ የማገድ ዝርዝርን ይምረጡ።
የግል አድራሻዎች
ለተወሰነ ችግር — አንድ ፎርም ላይ ጫና የሚያደርግ አድራሻ፣ አንድ መረጃ ሰብሳቢ (scraper)። ይህ ለጥቂት አድራሻዎች ትክክለኛው መሣሪያ ሲሆን ከብዙ ሺሆች ለሚመጣ እና እርስዎ ከሚተይቡት በበለጠ ፍጥነት ለሚለዋወጥ ጥቃት ግን የተሳሳተ ነው። ለዚያ፣ የሚፈልጉት የ CDN ጥበቃ ነው።
የ SEO ክራውለሮች
የሶስተኛ ወገን የ SEO ክራውለሮች — የኋላ አገናኝ (backlink) የውሂብ ጎታዎችን የሚገነቡት — በተናጠል ሊታገዱ ይችላሉ። ሰዎች ይህን የሚያደርጉት የአገናኝ መገለጫቸው በተወዳዳሪዎች እንዳይመዘገብ ለመከላከል ነው።
እዚህ ራስዎን ከማውጫ ውጭ ማድረግ አይችሉም። የፍለጋ ፕሮግራሞች ሆን ተብሎ እንዲመረጡ በዝርዝሩ ውስጥ አልተካተቱም፦ Googlebot ን ማገድ ይህ ማያ ገጽ ከተሰራበት ዓላማ እጅግ ያለፈ መዘዝ ያለው ውሳኔ ነው፣ ስለዚህ ማያ ገጹ ይህን አያደርገውም። የእርስዎ robots.txt በዚህ ቅንብር አይነካም እና የእርስዎ ሆኖ ይቆያል።
⚠️ ያ ጥበቃ ለዚህ መቆጣጠሪያ ብቻ የተወሰነ ነው። ከላይ ያለው የአገር ደንብ የራሱ መከላከያ አለው፣ ነገር ግን ሁኔታዊ ነው — የተረጋገጡ የፍለጋ ፕሮግራሞችን በነባሪነት የሚያሳልፈው፣ አቅራቢዎ ሊያረጋግጣቸው በሚችልበት ቦታ ብቻ ነው። ሁለቱንም ከተጠቀሙ፣ አሁንም ደረጃዎን ሊያሳጣዎ የሚችለው የአገር ደንብ ነው፣ ስለዚህ ነፃ ማድረጉ በስራ ላይ ነው ብለው ከማሰብ ይልቅ ማያ ገጹ ምን እንደሚያሳይ ያረጋግጡ።
ከእነዚህ ውስጥ አንዳቸውም ያልሆኑት ነገር
ከእነዚህ መካከል አንዳቸውም ሶፍትዌርን ወቅታዊ አድርጎ ለመጠበቅ ምትክ አይደሉም። አንድን አገር ማገድ የዚያን አገር ትራፊክ ያቆማል፤ ትራፊኩ ሲፈልገው የነበረውን ጊዜው ያለፈበትን ፕለጊን አያስተካክለውም።