অ্যান্টি-বট হ্যান্ডলিং এবং পরিষ্কার CSV বা JSON আউটপুট সহ একটি Python বা Node.js ওয়েব স্ক্র্যাপার তৈরি করুন

Zinn Digital দ্বারা বিক্রিত

বাস্তব-বিশ্বের সাইটগুলির জন্য তৈরি কাস্টম Python বা Node.js ওয়েব স্ক্র্যাপার, যা JS rendering, অ্যান্টি-বট সুরক্ষা এবং বহু-পৃষ্ঠা ক্রল পরিচালনা করে, সাথে ২ থেকে ১০ দিনের মধ্যে পরিচ্ছন্ন CSV, JSON বা ডেটাবেস আউটপুট সরবরাহ করা হয়।

এক নজরে

মূল্য
৫০.৯৯ US$ থেকে
বিতরণ
3 দিনে ডেলিভারি
বিক্রেতা
Zinn Digital
বিক্রিত
0

এই তালিকা সম্পর্কে

আসল সাইটের জন্য তৈরি স্ক্র্যাপার, কোনো ডেমোর জন্য নয়

প্রোডাক্ট ক্যাটালগ, ডিরেক্টরি, মার্কেটপ্লেস এবং ডাইনামিক সিঙ্গেল-পেজ অ্যাপ্লিকেশনের জন্য প্রোডাকশন-রেডি ডেটা নিষ্কাশন টুলগুলি Python বা Node.js-এ তৈরি করা হয়। আউটপুট CSV, JSON হিসেবে অথবা সরাসরি আপনার ডাটাবেসে পৌঁছে যায়।

যা অন্তর্ভুক্ত রয়েছে

  • আপনার স্পেসিফিকেশন অনুযায়ী ফিল্ড ম্যাপিং সহ সিঙ্গেল-পেজ নিষ্কাশন
  • পেজিনেশন, বিভাগ বা সাইটম্যাপ জুড়ে মাল্টি-পেজ ক্রলিং
  • Puppeteer, Playwright বা Selenium দিয়ে পরিচালিত JavaScript-রেন্ডার করা পেজ
  • লগইন-সুরক্ষিত কন্টেন্টের জন্য সেশন হ্যান্ডলিং, কুকিজ এবং ফর্ম সাবমিশন
  • অ্যান্টি-বট ব্যবস্থা: ইউজার এজেন্ট রোটেশন, প্রক্সি রোটেশন, রিকোয়েস্ট থ্রটলিং, হেডার ভ্যারিয়েশন
  • CAPTCHA-সচেতন প্রক্রিয়া, হয় ম্যানুয়াল-সমাধান অথবা থার্ড-পার্টি সমাধানকারী
  • ক্রল বিলম্বের সম্মান প্রদর্শন, 403, 429 এবং 503 রেসপন্সের ক্ষেত্রে ব্যাকঅফ, সাথে কনকারেন্সি টিউনিং
  • ডেটা পরিচ্ছন্নতা: ডুপ্লিকেট দূরীকরণ, স্বাভাবিকীকরণ, ফিল্ড ম্যাপিং, তারিখ ও মূল্যের পার্সিং
  • CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB বা Airtable-এ ডেলিভারি
  • cron, GitHub Actions বা ক্লাউড ফাংশনের মাধ্যমে নির্ধারিত রান
  • রানগুলোর মধ্যে নতুন, আপডেট করা বা মুছে ফেলা রেকর্ড চিহ্নিত করার পরিবর্তন শনাক্তকরণ
  • পুনরায় চেষ্টার সারি এবং ডেড-লেটার হ্যান্ডলিং সহ কাঠামোগত ত্রুটি লগিং

কেন এটি নির্ভরযোগ্য

অনেক স্ক্র্যাপার পরীক্ষার সময় একবার কাজ করে এবং সাইটের মার্কআপ পরিবর্তন হলে, ব্যবহারকারী এজেন্ট ব্লক করলে বা নতুন সুরক্ষা স্তর যুক্ত করলেই ব্যর্থ হয়। বিল্ডগুলি স্থিতিস্থাপক নির্বাচক, পুনরায় চেষ্টা করার যুক্তি, প্রক্সি ফলব্যাক এবং স্পষ্ট লগিংয়ের উপর নির্ভর করে, তাই যখন কোনো নির্বাচক কাজ করা বন্ধ করে দেয় বা কোনো পৃষ্ঠা ডেটার পরিবর্তে ত্রুটি প্রদর্শন করে, তখন আপনি নীরবে খালি সারি পাওয়ার পরিবর্তে ঠিক কোন রেকর্ডগুলি এবং কেন ব্যর্থ হয়েছে তা দেখতে পান।

ব্যবহৃত সরঞ্জাম

স্ক্র্যাপিংয়ের জন্য Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests) এবং Node.js (Puppeteer, Cheerio, Playwright, Axios); অ্যান্টি-বট কাজের জন্য রোটেটিং প্রক্সি এবং ইউজার-এজেন্ট রোটেশনের পাশাপাশি হেডলেস ব্রাউজার ফিঙ্গারপ্রিন্টিং; CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite এবং Airtable জুড়ে স্টোরেজ; cron, GitHub Actions, AWS Lambda, Vercel Cron বা Railway-এর মাধ্যমে সময় নির্ধারণ; Docker, VPS প্রদানকারী, AWS বা Render-এ পরিকাঠামো।

হস্তান্তরের আগে পরীক্ষা

প্রতিটি বিল্ড প্রথমে একটি ছোট নমুনার উপর একটি ড্রাই পাস চালায়, তারপর সাফল্য এবং ব্যর্থতার সারাংশ সহ একটি সম্পূর্ণ রান করে। অনুপুস্থিত ক্ষেত্র, সদৃশ সারি এবং পার্সিং ত্রুটিগুলি সরবরাহের আগে চিহ্নিত করে আউটপুটটি প্রত্যাশিত স্কিমার সাথে মিলিয়ে নেওয়া হয়।

মালিকানা

চূড়ান্ত সরবরাহের সময় সোর্স কোড এবং স্ক্র্যাপারের পরিচয়পত্র সম্পূর্ণরূপে আপনার কাছে হস্তান্তর করা হয়। সংবেদনশীল বা প্রতিযোগিতামূলক ডেটা প্রকল্পের জন্য অনুরোধ সাপেক্ষে একটি অপ্রকাশ চুক্তি (NDA) উপলব্ধ রয়েছে।

সময়সীমা

Basic ২ থেকে ৩ দিনে, Standard ৫ থেকে ৭ দিনে এবং Premium ১০ দিনে সরবরাহ করা হয়।

আপনার কাছ থেকে যা প্রয়োজন

  • স্ক্র্যাপ করার জন্য লক্ষ্যযুক্ত URL বা সাইট
  • প্রয়োজনীয় নির্দিষ্ট ক্ষেত্রসমূহ, যেমন নাম, মূল্য, URL বা ছবি
  • আপনার পছন্দের আউটপুট ফরম্যাট: CSV, JSON, Google Sheets বা ডাটাবেস
  • এটি কি একবারের জন্য স্ক্র্যাপ নাকি কোনো পুনরাবৃত্তিমূলক কাজ

লক্ষ্যযুক্ত সাইট এবং ক্ষেত্রের তালিকাটি পাঠিয়ে দিন, এবং কোনো অর্থপ্রদানের প্রয়োজন হওয়ার আগেই ৪৮ ঘণ্টার মধ্যে একটি কার্যক্ষম প্রিভিউ স্ক্র্যাপার প্রস্তুত করা যেতে পারে, যাতে আপনি প্রথমে আপনার নিজস্ব লক্ষ্য থেকে নিষ্কাশিত বাস্তব তথ্য দেখতে পারেন।

আপনি যা কিনতে পারবেন

Basic

৫০.৯৯ US$
অথবা আজকের মূল্যে ৪৫.৫১€ · ৩৮.১১£ প্রদান করুন — এটি আপনার কার্টে যোগ করার সময় মূল্য অপরিবর্তিত রাখা হবে।

Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions

3 দিনে ডেলিভারি

অন্তর্ভুক্ত সংশোধন: 0

এই প্যাকেজটি কিনুন

ইতিমধ্যেই একজন গ্রাহক? আপনার অ্যাকাউন্টে কিনুন

Standard

১২৫.৯৯ US$
অথবা আজকের মূল্যে ১১২.৪৫€ · ৯৪.১৭£ প্রদান করুন — এটি আপনার কার্টে যোগ করার সময় মূল্য অপরিবর্তিত রাখা হবে।

Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions

7 দিনে ডেলিভারি

অন্তর্ভুক্ত সংশোধন: 0

এই প্যাকেজটি কিনুন

ইতিমধ্যেই একজন গ্রাহক? আপনার অ্যাকাউন্টে কিনুন

Premium

৩৭৫.৯৯ US$
অথবা আজকের মূল্যে ৩৩৫.৬০€ · ২৮১.০৪£ প্রদান করুন — এটি আপনার কার্টে যোগ করার সময় মূল্য অপরিবর্তিত রাখা হবে।

Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions

10 দিনে ডেলিভারি

অন্তর্ভুক্ত সংশোধন: 0

এই প্যাকেজটি কিনুন

ইতিমধ্যেই একজন গ্রাহক? আপনার অ্যাকাউন্টে কিনুন

প্রথমে কোনো অ্যাকাউন্টের প্রয়োজন নেই — চেকআউটের সময় আপনার অ্যাকাউন্ট তৈরি করা হবে। আপনি কাজটি গ্রহণ না করা পর্যন্ত আমরা অর্থ জমা রাখব।

প্রশ্ন ও উত্তর

স্ক্র্যাপারদের ব্লক করে এমন একটি সাইট থেকে কি আপনি ডেটা স্ক্র্যাপ করতে পারেন?

অনেক ক্ষেত্রে, হ্যাঁ। সাধারণ ব্লকগুলো অতিক্রম করতে আমরা প্রক্সি রোটেশন, ব্যবহারকারী-এজেন্টের ভিন্নতা, থ্রটলিং এবং হেডলেস ব্রাউজার রেন্ডারিংয়ের সমন্বয় করি। যেসব সাইট অপেক্ষাকৃত ভারী সুরক্ষা পরিষেবা ব্যবহার করে, সেগুলোর ক্ষেত্রে খরচ বৃদ্ধি পেতে পারে; তাই আমরা প্রথমে লক্ষ্যবস্তু পর্যালোচনা করি এবং এটি স্ট্যান্ডার্ড মূল্যের অন্তর্ভুক্ত কিনা বা কোনো কাস্টম উদ্ধৃতি প্রয়োজন কিনা তা আপনাকে জানাই।

ওয়েব স্ক্র্যাপিং কি বৈধ?

সর্বজনীনভাবে উপলব্ধ পৃষ্ঠাগুলি স্ক্র্যাপ করার অনুমতি সাধারণত বেশিরভাগ জায়গায় রয়েছে, যদিও এটি সাইটের শর্তাবলী, সংশ্লিষ্ট ডেটা এবং আপনার উদ্দেশ্যমূলক ব্যবহারের উপর নির্ভর করে। আমরা কেবল সর্বজনীন পৃষ্ঠাগুলির সাথেই কাজ করি, কোনো পেওয়াল এড়িয়ে যাই না, ব্যক্তিগত ডেটা সংগ্রহ করা এড়িয়ে চলি এবং আপনার লিখিত অনুমোদন ও আইনি ছাড়পত্র ছাড়া স্পষ্টভাবে স্ক্র্যাপিং-বিরোধী শর্তাবলী লঙ্ঘন করব না।

সাইটটি পরবর্তীতে তার লেআউট পরিবর্তন করলে কী হবে?

পৃষ্ঠার কাঠামোর পরিবর্তন ঘটে, এবং এর ফলে সিলেক্টরগুলো কাজ করা বন্ধ করে দিতে পারে। প্রতিটি স্ক্র্যাপারে সুসংগঠিত ত্রুটি লগিং অন্তর্ভুক্ত থাকে যাতে কোনো ফিল্ড ডেটা ফেরত দেওয়া বন্ধ করার সাথে সাথেই আপনাকে অবহিত করা হয়। ত্রুটি সীমিত করার জন্য Standard এবং Premium বিকল্প সিলেক্টর এবং সতর্কতার মতো স্থিতিস্থাপক সুবিধা যোগ করে, এবং ডেলিভারির পরবর্তী ১৪ দিনের মধ্যে লেআউট-সম্পর্কিত যেকোনো সংশোধন আমরা বিনামূল্যে প্রদান করি।

আপনি কি JavaScript-রেন্ডার করা পৃষ্ঠাগুলি স্ক্র্যাপ করতে পারেন?

হ্যাঁ, একক-পৃষ্ঠার অ্যাপ্লিকেশন, লেজি লোডিং এবং অবিরাম স্ক্রোল পরিচালনা করতে Puppeteer, Playwright বা Selenium ব্যবহার করে। এটি Standard এবং Premium প্যাকেজের অংশ; Basic কেবল স্ট্যাটিক HTML-এই সীমাবদ্ধ।

আপনি কি লগইন দ্বারা সুরক্ষিত বিষয়বস্তু স্ক্র্যাপ করতে পারেন?

হ্যাঁ, আপনার মালিকানাধীন বা ব্যবহারের অনুমতি প্রাপ্ত অ্যাকাউন্টগুলির জন্য। সেশন পরিচালনা, কুকি ব্যবস্থাপনা এবং ফর্ম জমা দেওয়া Premium-এর অন্তর্ভুক্ত। একটি নিরাপদ মাধ্যমের মাধ্যমে যেকোনো পরিচয়পত্র শেয়ার করুন; প্রকল্পের পর আমরা সেগুলি সংরক্ষণ করি না।

আপনি কীভাবে CAPTCHA পরিচালনা করেন?

আমরা দুটি পদ্ধতি অফার করি: ম্যানুয়াল সমাধানের জন্য একটি বিরতি যেখানে আপনি নিজে হস্তক্ষেপ করবেন, অথবা আপনার নিজস্ব খরচে একটি তৃতীয় পক্ষের CAPTCHA সমাধান পরিষেবা। এটি Premium-এ অন্তর্ভুক্ত এবং Standard-এ যোগ করা যেতে পারে।

আমি কি একটি সময়সূচী অনুযায়ী পুনরাবৃত্ত স্ক্র্যাপ পেতে পারি?

হ্যাঁ, Premium cron, GitHub Actions, AWS Lambda বা Vercel Cron-এর মাধ্যমে নির্ধারিত রান সমর্থন করে। আপনি ফ্রিকোয়েন্সি বেছে নিন—দৈনিক, সাপ্তাহিক, মাসিক বা অন্য কোনো ব্যবধানে—এবং প্রতিটি রান ঐচ্ছিক ব্যর্থতার সতর্কতা সহ তার ফলাফল রেকর্ড করে।

সাইটে যদি রেট লিমিট থাকে তবে কী হবে?

রেট-সীমা পরিচালনা মানসম্মত: অনুরোধ নিয়ন্ত্রণ, ৪২৯ এবং ৫০৩ প্রতিক্রিয়ায় সূচকীয় ব্যাকঅফ, এবং সীমার মধ্যে থাকার জন্য কনকারেন্সি টিউনিং। Standard এবং Premium উভয় সংস্করণেই এই যুক্তি সম্পূর্ণভাবে অন্তর্ভুক্ত রয়েছে।

আপনি কি সরাসরি আমার ডাটাবেসে ডেটা আউটপুট করতে পারেন?

হ্যাঁ, PostgreSQL, MySQL, MongoDB, SQLite বা Airtable-এ সরাসরি ইনসার্ট সমর্থিত। ডেটাবেস আউটপুট Premium-এর অন্তর্ভুক্ত, যেখানে Standard-এ CSV, JSON এবং Google Sheets অন্তর্ভুক্ত রয়েছে।

প্রতি রানে আপনি কতগুলি রেকর্ড স্ক্র্যাপ করতে পারেন?

কোনো নির্দিষ্ট ঊর্ধ্বসীমা নেই; এটি সাইটের রেট সীমা এবং উপলব্ধ প্রক্সি পুলের আকারের ওপর নির্ভর করে। আমরা বেশ কয়েক দিন ধরে ১০০,০০০-এরও বেশি রেকর্ড সংগ্রহ করার কাজ সফলভাবে পরিচালনা করেছি। খুব বড় আকারের ক্রলের ক্ষেত্রে শনাক্তকরণের সীমা এড়াতে আমরা প্রক্সি রোটেশন এবং নির্ধারিত সময়ের ব্যবধানে রান করার পরামর্শ দিই।

সরবরাহের পর সোর্স কোড এবং সংগৃহীত ডেটার মালিক কে?

আপনি চূড়ান্ত ডেলিভারির সময় সোর্স কোড, ক্রেডেনশিয়াল, ডিপ্লয়মেন্ট কনফিগারেশন এবং স্ক্র্যাপ করা সমস্ত ডেটাসহ সম্পূর্ণ মালিকানা পাবেন, যেখানে কোনো লাইসেন্সিং বিধিনিষেধ, চলমান ফি বা লক-ইন থাকবে না।

হস্তান্তরের আগে কী ধরনের পরীক্ষা এবং QA সম্পন্ন করা হয়?

প্রতিটি স্ক্র্যাপার প্রথমে একটি ছোট নমুনার উপর চালানো হয়, তারপর একটি সম্পূর্ণ রান করা হয়। আউটপুটটি প্রত্যাশিত স্কিমার সাথে মিলিয়ে পরীক্ষা করা হয়, এবং হস্তান্তরের আগে ত্রুটির লগ এবং সাফল্য ও ব্যর্থতার সংক্ষিপ্তসার সহ অনুপস্থিত ক্ষেত্র, সদৃশ সারি এবং পার্সিং ত্রুটিগুলি চিহ্নিত করা হয়।