یک وب‌اسکریپر با Python یا Node.js همراه با مدیریت ضد بات و خروجی تمیز CSV یا JSON بسازید

فروخته‌شده توسط Zinn Digital

خزنده‌های وب سفارشی ساخته‌شده با Python یا Node.js برای سایت‌های واقعی، با قابلیت مدیریت رندرینگ JS، دفاع‌های ضد بات و خزش‌های چندصفحه‌ای، همراه با خروجی تمیز به‌صورت CSV، JSON یا پایگاه داده که ظرف ۲ تا ۱۰ روز تحویل داده می‌شود.

در یک نگاه

قیمت
از ⁦‎$۵۰٫۹۹⁩
تحویل
تحویل در 3 روز
فروشنده
Zinn Digital
فروخته شده
0

درباره این مورد فهرست‌شده

اسکرپرهایی ساخته‌شده برای وب‌سایت‌های واقعی، نه نسخه‌های نمایشی

ابزارهای استخراج داده آماده استفاده در محیط تولید با Python یا Node.js برای کاتالوگ‌های محصولات، فهرست‌ها، بازارها و برنامه‌های پویای تک‌صفحه‌ای ساخته می‌شوند. خروجی به‌صورت CSV ،JSON یا با نوشتن مستقیم در پایگاه داده شما تحویل داده می‌شود.

موارد تحت پوشش

  • استخراج از تک‌صفحه همراه با نگاشت فیلدها مطابق با مشخصات شما
  • خزش چندصفحه‌ای در میان صفحه‌بندی‌ها، دسته‌بندی‌ها یا نقشه‌های سایت
  • صفحات رندرشده با جاوااسکریپت با مدیریت Puppeteer ،Playwright یا Selenium
  • مدیریت نشست‌ها، کوکی‌ها و ارسال فرم‌ها برای محتوای نیازمند ورود
  • اقدامات ضدبات: چرخش user agent، چرخش پروکسی، کاهش نرخ درخواست‌ها، تغییر سرآیندها
  • جریان‌های آگاه از CAPTCHA، چه با حل دستی یا از طریق حل‌کننده ارائه‌دهنده شخص ثالث
  • رعایت تأخیرهای خزش، با کاهش نرخ ارسال در پاسخ‌های ۴۰۳، ۴۲۹ و ۵۰۳، به‌همراه تنظیم همروندی
  • پاک‌سازی داده‌ها: حذف موارد تکراری، نرمال‌سازی، نگاشت فیلدها، تجزیه تاریخ و قیمت
  • تحویل در قالب‌های CSV ،JSON ،Excel ،Google Sheets ،PostgreSQL ،MySQL ،MongoDB یا Airtable
  • اجراهای زمان‌بندی‌شده از طریق cron ،GitHub Actions یا توابع ابری
  • تشخیص تغییرات با نشانه‌گذاری رکوردهای جدید، به‌روزشده یا حذف‌شده در بین دفعات اجرا
  • ثبت ساختاریافته خطاها همراه با صف‌های تلاش مجدد و مدیریت پیام‌های پردازش‌نشده (dead-letter)

چرا پابرجا می‌ماند

بسیاری از اسکریپرها در مرحله آزمایش فقط یک بار کار می‌کنند و به محض اینکه سایتی نشانه‌گذاری خود را تغییر می‌دهد، یک عامل کاربر را مسدود می‌کند یا لایه‌های محافظتی جدیدی می‌افزاید، از کار می‌افتند. ساختارها بر سلکتورهای منعطف، منطق تلاش مجدد، پروکسی جایگزین و ثبت گزارش‌های شفاف متکی هستند؛ بنابراین، هنگامی که یک سلکتور دچار مشکل می‌شود یا صفحه‌ای به جای داده خطا بازمی‌گرداند، دقیقاً مشاهده می‌کنید که کدام ردیف‌ها و چرا ناموفق بوده‌اند، نه اینکه فقط با سطرهای خالی و بی‌صدا مواجه شوید.

ابزارهای مورد استفاده

Python (شامل BeautifulSoup، Scrapy، Playwright، Selenium، Requests) و Node.js (شامل Puppeteer، Cheerio، Playwright، Axios) برای استخراج داده؛ پروکسی‌های چرخشی و چرخش عامل کاربر به همراه انگشت‌نگاری مرورگرهای بدون سر برای اقدامات ضد ربات؛ ذخیره‌سازی در قالب‌های CSV، JSON، Excel، Google Sheets، PostgreSQL، MySQL، MongoDB، SQLite و Airtable؛ زمان‌بندی از طریق cron، GitHub Actions، AWS Lambda، Vercel Cron یا Railway؛ زیرساخت بر بستر Docker، ارائه‌دهندگان VPS، AWS یا Render.

آزمایش پیش از تحویل

هر نسخه ابتدا یک اجرای آزمایشی روی نمونه‌ای کوچک انجام می‌دهد و سپس یک اجرای کامل به همراه خلاصه‌ای از موفقیت‌ها و خطاکارها ارائه می‌شود. خروجی با ساختار مورد انتظار مطابقت داده می‌شود و فیلدهای ناموجود، ردیف‌های تکراری و خطاهای پردازش پیش از تحویل مشخص می‌گردند.

مالکیت

سورس کد و مشخصات کاربری اسکریپر در زمان تحویل نهایی به‌طور کامل به شما واگذار می‌شود. برای پروژه‌های حاوی داده‌های حساس یا رقابتی، توافق‌نامه عدم افشا در صورت درخواست در دسترس است.

زمان‌بندی‌ها

نسخه Basic ظرف ۲ تا ۳ روز، نسخه Standard ظرف ۵ تا ۷ روز و نسخه Premium ظرف ۱۰ روز تحویل داده می‌شود.

آنچه از شما مورد نیاز است

  • نشانی اینترنتی (URL) یا وب‌سایت هدف برای استخراج داده
  • فیلدهای دقیق مورد نیاز، مانند نام‌ها، قیمت‌ها، نشانی‌های اینترنتی یا تصاویر
  • قالب خروجی مد نظر شما: CSV، JSON، Google Sheets یا پایگاه داده
  • اینکه آیا این یک بار استخراج است یا یک فرایند تکرارشونده

سایت هدف و فهرست فیلدها را ارسال فرمایید تا یک اسکریپر پیش‌نمایش فعال ظرف ۴۸ ساعت و پیش از نیاز به هرگونه پرداخت آماده شود، تا بتوانید ابتدا داده‌های واقعی استخراج‌شده را از هدف خود مشاهده کنید.

آنچه می‌توانید بخرید

Basic

⁦‎$۵۰٫۹۹⁩
یا ⁦‎€۴۵٫۵۲⁩ · ⁦‎£۳۸٫۱۳⁩ را با نرخ امروز پرداخت کنید — نرخ هنگام افزودن آن به سبد خریدتان قفل می‌شود.

Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions

تحویل در 3 روز

نسخه‌های بازبینی‌شده شامل: 0

خرید این بسته

از قبل مشتری هستید؟ از طریق حساب خود خرید کنید

Standard

⁦‎$۱۲۵٫۹۹⁩
یا ⁦‎€۱۱۲٫۴۸⁩ · ⁦‎£۹۴٫۲۰⁩ را با نرخ امروز پرداخت کنید — نرخ هنگام افزودن آن به سبد خریدتان قفل می‌شود.

Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions

تحویل در 7 روز

نسخه‌های بازبینی‌شده شامل: 0

خرید این بسته

از قبل مشتری هستید؟ از طریق حساب خود خرید کنید

Premium

⁦‎$۳۷۵٫۹۹⁩
یا ⁦‎€۳۳۵٫۶۶⁩ · ⁦‎£۲۸۱٫۱۳⁩ را با نرخ امروز پرداخت کنید — نرخ هنگام افزودن آن به سبد خریدتان قفل می‌شود.

Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions

تحویل در 10 روز

نسخه‌های بازبینی‌شده شامل: 0

خرید این بسته

از قبل مشتری هستید؟ از طریق حساب خود خرید کنید

ابتدا نیازی به حساب کاربری نیست — حساب شما هنگام پرداخت ایجاد می‌شود. ما وجه را تا زمان تأیید کار توسط شما نگه می‌داریم.

پرسش‌ها و پاسخ‌ها

آیا می‌توانید سایتی را که ابزارهای استخراج داده را مسدود می‌کند، اسکرپ کنید؟

در بسیاری از موارد، بله. ما چرخش پروکسی، تغییر شناسه کاربری (user-agent)، کنترل سرعت و رندرینگ مرورگر بدون رابط کاربری را با هم ترکیب می‌کنیم تا مسدودسازی‌های رایج را دور بزنیم. سایت‌هایی که از سرویس‌های حفاظتی سنگین‌تر استفاده می‌کنند می‌توانند هزینه را افزایش دهند، بنابراین ما ابتدا هدف را بررسی کرده و به شما اطلاع می‌دهیم که آیا شامل قیمت‌گذاری استاندارد می‌شود یا نیاز به پیش‌فاکتور سفارشی دارد.

آیا استخراج داده‌های وب قانونی است؟

استخراج داده از صفحات در دسترس عموم عموماً در اکثر جاها مجاز است، اگرچه این امر به شرایط سایت، داده‌های مربوطه و نوع استفاده مورد نظر شما بستگی دارد. ما فقط با صفحات عمومی کار می‌کنیم، از دیوارهای پرداخت عبور نمی‌کنیم، از جمع‌آوری داده‌های شخصی خودداری می‌کنیم، و بدون تأیید کتبی و مجوز قانونی شما، شرایط صریح ضد استخراج داده را نقض نخواهیم کرد.

اگر سایت بعداً چیدمان خود را تغییر دهد چه می‌شود؟

ساختار صفحات تغییر می‌کند و در نتیجه ممکن است انتخاب‌کننده‌ها از کار بیفتند. هر اسکرپر شامل ثبت ساختاریافته خطاها است تا به محض اینکه فیلدی از بازگرداندن داده بازماند، مطلع شوید. پلن‌های Standard و Premium قابلیت‌های تاب‌آوری مانند انتخاب‌کننده‌های جایگزین و هشدارها را برای محدود کردن خرابی‌ها اضافه می‌کنند، و ما تا ۱۴ روز پس از تحویل، هرگونه اصلاح مربوط به چیدمان را به صورت رایگان پوشش می‌دهیم.

آیا می‌توانید صفحات رندر شده با JavaScript را اسکرپ کنید؟

بله، با استفاده از Puppeteer، Playwright یا Selenium برای مدیریت برنامه‌های تک‌صفحه‌ای، بارگذاری تنبل و اسکرول بی‌نهایت. این قابلیت بخشی از بسته‌های Standard و Premium است؛ بسته Basic محدود به HTML ایستا است.

آیا می‌توانید محتوای نیازمند ورود به سیستم را استخراج کنید؟

بله، برای حساب‌هایی که مالک آن‌ها هستید یا مجوز استفاده از آن‌ها را دارید. رسیدگی به نشست‌ها، مدیریت کوکی‌ها و ارسال فرم‌ها در طرح Premium گنجانده شده است. هرگونه اطلاعات ورود را از طریق یک کانال امن به اشتراک بگذارید؛ ما آن‌ها را پس از اتمام پروژه نگهداری نمی‌کنیم.

چگونه با CAPTCHAها برخورد می‌کنید؟

ما دو رویکرد ارائه می‌دهیم: یک توقف برای حل دستی که در آن شما شخصاً اقدام می‌کنید، یا یک سرویس شخص ثالث حل CAPTCHA با هزینه خودتان. این قابلیت در Premium تعبیه شده است و می‌تواند به Standard اضافه شود.

آیا می‌توانم استخراج‌های تکرارشونده را طبق یک زمان‌بندی دریافت کنم؟

بله، Premium از اجراهای زمان‌بندی‌شده از طریق cron، GitHub Actions، AWS Lambda یا Vercel Cron پشتیبانی می‌کند. شما بسامد را انتخاب می‌کنید، خواه روزانه، هفتگی، ماهانه یا دوره‌ای دیگر باشد، و هر اجرا نتایج خود را همراه با هشدارهای اختیاری در صورت بروز خطا ثبت می‌کند.

اگر سایت دارای محدودیت نرخ باشد چه؟

مدیریت محدودیت نرخ استاندارد است: کنترل سرعت درخواست‌ها، پس‌نشینی نمایی در پاسخ‌های ۴۲۹ و ۵۰۳، و تنظیم همزمانی برای ماندن در محدوده مجاز. هر دو طرح Standard و Premium این منطق را به‌طور کامل شامل می‌شوند.

آیا می‌توانید داده‌ها را مستقیماً به پایگاه داده من ارسال کنید؟

بله، درج مستقیم در PostgreSQL، MySQL، MongoDB، SQLite یا Airtable پشتیبانی می‌شود. خروجی پایگاه داده بخشی از Premium است، در حالی که Standard شامل CSV، JSON و Google Sheets می‌شود.

در هر اجرا چه تعداد رکورد می‌توانید استخراج کنید؟

هیچ سقف ثابتی وجود ندارد؛ این موضوع به محدودیت‌های نرخ سایت و اندازه مجموعه پروکسی در دسترس بستگی دارد. ما وظایفی را اجرا کرده‌ایم که طی چندین روز به مراتب بیش از ۱۰۰,۰۰۰ رکورد را استخراج کرده‌اند. برای پایش‌های بسیار بزرگ، چرخش پروکسی و اجراهای زمان‌بندی‌شده را برای جلوگیری از آستانه‌های شناسایی پیشنهاد می‌کنیم.

مالکیت کد منبع و داده‌های استخراج‌شده پس از تحویل با چه کسی است؟

شما در تحویل نهایی، مالکیت کامل را از جمله کد منبع، اطلاعات کاربری، پیکربندی استقرار و تمام داده‌های استخراج‌شده، بدون هیچ‌گونه محدودیت صدور مجوز، هزینه‌های جاری یا وابستگی اجباری، دریافت می‌کنید.

قبل از تحویل چه آزمایش‌ها و تضمین کیفیتی (QA) انجام می‌شود؟

هر اسکریپر ابتدا روی یک نمونه کوچک اجرا می‌شود و سپس یک اجرای کامل انجام می‌گیرد. خروجی با طرحواره مورد انتظار بررسی می‌شود و فیلدهای ناموجود، ردیف‌های تکراری و خطاهای تجزیه قبل از تحویل، همراه با گزارش خطا و خلاصه‌ای از موفقیت‌ها و شکست‌ها مشخص می‌شوند.