판매자: Zinn Digital
실제 웹사이트를 위해 구축된 맞춤형 Python 또는 Node.js 웹 스크래퍼로, JS 렌더링, 봇 방지 솔루션 및 다중 페이지 크롤링을 처리하며 2~10일 이내에 깔끔한 CSV, JSON 또는 데이터베이스 출력 결과를 제공합니다.
데모가 아닌 실제 사이트를 위해 구축된 스크레이퍼
제품 카탈로그, 디렉터리, 마켓플레이스 및 동적 단일 페이지 애플리케이션을 위한 프로덕션 환경용 데이터 추출 도구가 Python 또는 Node.js로 구축됩니다. 결과물은 CSV, JSON으로 제공되거나 데이터베이스에 직접 기록됩니다.
포함되는 내용
견고함을 유지하는 이유
많은 스크래퍼가 테스트 시에는 한 번 정상 작동하다가도 사이트가 마크업을 변경하거나, 유저 에이전트를 차단하거나, 새로운 보안 계층을 추가하는 즉시 실패합니다. 빌드는 견고한 선택자(selector), 재시도 로직, 프록시 대체(fallback), 명확한 로깅을 기반으로 하므로, 선택자가 손상되거나 페이지가 데이터 대신 오류를 반환할 때 아무런 알림 없이 빈 행이 생성되는 대신 어떤 레코드가 왜 실패했는지 정확히 확인하실 수 있습니다.
사용 도구
스크래핑을 위한 Python(BeautifulSoup, Scrapy, Playwright, Selenium, Requests) 및 Node.js(Puppeteer, Cheerio, Playwright, Axios); 봇 방지 대응을 위한 로테이팅 프록시, 유저 에이전트 순환 및 헤드리스 브라우저 핑거프린팅; CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite, Airtable 전반의 스토리지; cron, GitHub Actions, AWS Lambda, Vercel Cron 또는 Railway를 통한 스케줄링; Docker, VPS 제공업체, AWS 또는 Render 기반 인프라.
인계 전 테스트
각 빌드는 먼저 소규모 샘플을 대상으로 사전 실행(dry pass)을 거친 후, 성공 및 실패 요약과 함께 전체 실행을 진행합니다. 출력값은 예상 스키마와 대조하여 확인되며, 누락된 필드, 중복 행, 파싱 오류는 전달 전에 플래그가 지정됩니다.
소유권
최종 전달 시 소스 코드와 스크래퍼 접근 자격 증명은 귀하에게 완전히 이전됩니다. 민감한 데이터나 경쟁력 관련 데이터 프로젝트의 경우 요청 시 비밀유지계약(NDA) 체결이 가능합니다.
일정
기본형은 2~3일, 표준형은 5~7일, 프리미엄은 10일 이내에 제공됩니다.
요청 사항
대상 사이트와 필드 목록을 보내주시면, 결제가 필요하기 전 48시간 이내에 작동하는 미리보기 스크래퍼가 준비될 수 있으므로 직접 지정하신 대상에서 추출된 실제 데이터를 먼저 확인하실 수 있습니다.
US$50.99
또는 오늘의 요율인 €45.52 · £38.12을(를) 결제하세요. 장바구니에 담을 때 요율이 확정됩니다.
Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions
3일 내 배송
포함된 수정본: 0개
US$125.99
또는 오늘의 요율인 €112.47 · £94.19을(를) 결제하세요. 장바구니에 담을 때 요율이 확정됩니다.
Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions
7일 내 배송
포함된 수정본: 0개
US$375.99
또는 오늘의 요율인 €335.65 · £281.09을(를) 결제하세요. 장바구니에 담을 때 요율이 확정됩니다.
Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions
10일 내 배송
포함된 수정본: 0개
사전에 계정을 만들 필요가 없습니다 — 결제 시 계정이 생성됩니다. 작업을 수락하실 때까지 대금은 안전하게 보관됩니다.
대부분의 경우 가능합니다. 당사는 프록시 로테이션, 사용자 에이전트 변경, 속도 제한 조절 및 헤드리스 브라우저 렌더링을 결합하여 일반적인 차단을 우회합니다. 더 강력한 보호 서비스를 실행하는 사이트는 비용을 증가시킬 수 있으므로, 당사는 먼저 대상을 검토한 후 표준 가격 책정에 부합하는지 또는 맞춤 견적이 필요한지 알려드립니다.
공개적으로 접근 가능한 페이지를 스크래핑하는 것은 대부분의 지역에서 일반적으로 허용되지만, 사이트 이용약관, 관련 데이터 및 귀하의 의도된 사용 목적에 따라 달라질 수 있습니다. 당사는 공개 페이지에서만 작업하며, 유료 장벽을 우회하지 않고, 개인정보 수집을 피하며, 귀하의 서면 승인 및 법적 승인 없이는 명시적인 스크래핑 방지 약관을 위반하지 않습니다.
페이지 구조는 변경될 수 있으며, 그 결과 셀렉터가 작동을 멈출 수 있습니다. 모든 스크래퍼에는 구조화된 오류 로깅이 포함되어 있어 필드가 데이터 반환을 중단하는 즉시 알림을 받으실 수 있습니다. Standard 및 Premium 플랜에는 작동 중단을 최소화하기 위한 대체 셀렉터 및 알림과 같은 복원력 기능이 추가되며, 납품 후 14일 동안 레이아웃 관련 수정 사항을 무료로 지원해 드립니다.
예, 단일 페이지 애플리케이션, 지연 로딩 및 무한 스크롤을 처리하기 위해 Puppeteer, Playwright 또는 Selenium을 사용합니다. 이는 Standard 및 Premium 패키지에 포함되어 있으며, Basic은 정적 HTML로 제한됩니다.
예, 귀하가 소유하고 있거나 사용할 권한이 있는 계정에 해당합니다. 세션 처리, 쿠키 관리 및 양식 제출은 Premium에 포함되어 있습니다. 모든 인증 정보는 안전한 채널을 통해 공유해 주십시오. 프로젝트 종료 후에는 이를 보관하지 않습니다.
두 가지 접근 방식을 제공합니다. 직접 개입하는 수동 해결 일시 중지 또는 사용자 비용 부담의 타사 CAPTCHA 해결 서비스입니다. 이는 Premium에 기본 내장되어 있으며 Standard에 추가할 수 있습니다.
예, Premium은 cron, GitHub Actions, AWS Lambda 또는 Vercel Cron을 통한 예약 실행을 지원합니다. 매일, 매주, 매월 또는 다른 주기 중 빈도를 직접 선택하실 수 있으며, 각 실행은 선택적 실패 알림과 함께 결과를 기록합니다.
속도 제한 처리는 표준 방식으로 이루어집니다. 즉, 요청 제한, 429 및 503 응답에 대한 지수 백오프, 제한을 준수하기 위한 동시성 조정이 적용됩니다. Standard 및 Premium 모두에 이 로직이 완전히 포함되어 있습니다.
예, PostgreSQL, MySQL, MongoDB, SQLite 또는 Airtable로의 직접 삽입이 지원됩니다. 데이터베이스 출력은 Premium에 포함되어 있으며, Standard는 CSV, JSON 및 Google Sheets를 지원합니다.
정해진 상한선은 없으며, 사이트의 요청 속도 제한과 사용 가능한 프록시 풀의 크기에 따라 달라집니다. 당사는 며칠에 걸쳐 100,000건을 훨씬 웃도는 레코드를 수집하는 작업을 실행한 경험이 있습니다. 대규모 크롤링의 경우 탐지 임계값을 피하기 위해 프록시 순환 및 예약 실행을 권장합니다.
최종 인도 시 소스 코드, 자격 증명, 배포 구성 및 스크래핑된 모든 데이터를 포함한 완전한 소유권을 받게 되며, 라이선스 제한, 지속적인 수수료 또는 종속성이 전혀 없습니다.
각 스크래퍼는 먼저 작은 샘플을 대상으로 실행된 다음 전체 실행이 이루어집니다. 출력은 예상된 스키마와 대조하여 확인되며, 누락된 필드, 중복된 행 및 파싱 오류는 오류 로그 및 성공과 실패에 대한 요약과 함께 인계 전에 플래그가 지정됩니다.