Sprzedawane przez Zinn Digital
Niestandardowe narzędzia do web scrapingu w języku Python lub Node.js stworzone dla rzeczywistych witryn, obsługujące renderowanie JS, zabezpieczenia przed botami oraz wielostronicowe indeksowanie, z czystymi danymi wyjściowymi w formacie CSV, JSON lub bazie danych dostarczanymi w ciągu 2 do 10 dni.
Scrapery stworzone dla prawdziwych witryn, a nie wersji demonstracyjnych
Gotowe do wdrożenia produkcyjnego narzędzia do ekstrakcji danych są tworzone w Python lub Node.js dla katalogów produktów, katalogów firm, platform handlowych i dynamicznych aplikacji jednostronicowych (SPA). Dane wyjściowe są dostarczane w formacie CSV, JSON lub zapisywane bezpośrednio w Państwa bazie danych.
Co obejmuje usługa
Dlaczego to rozwiązanie się sprawdza
Wiele scraperów działa jednorazowo podczas testów i zawodzi w momencie, gdy witryna zmienia swój kod, blokuje klienta użytkownika lub dodaje nowe warstwy zabezpieczeń. Nasze rozwiązania opierają się na elastycznych selektorach, logice ponawiania prób, zapasowych serwerach proxy i przejrzystym rejestrowaniu zdarzeń, dzięki czemu po uszkodzeniu selektora lub zwróceniu błędu przez stronę zamiast danych widzą Państwo dokładnie, które rekordy zakończyły się niepowodzeniem i dlaczego, zamiast otrzymywać ciche, puste wiersze.
Wykorzystywane narzędzia
Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests) oraz Node.js (Puppeteer, Cheerio, Playwright, Axios) do scrapowania; rotacyjne serwery proxy i rotacja klientów użytkownika wraz z analizą sygnatur przeglądarek bez interfejsu graficznego (headless browser fingerprinting) do ochrony przed systemami anty-bot; przechowywanie w formatach CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite i Airtable; harmonogramowanie za pośrednictwem cron, GitHub Actions, AWS Lambda, Vercel Cron lub Railway; infrastruktura na Docker, u dostawców VPS, AWS lub Render.
Testowanie przed przekazaniem
Każda kompilacja przechodzi najpierw próbny przebieg na małej próbce, a następnie pełne uruchomienie z podsumowaniem sukcesów i niepowodzeń. Wyniki są sprawdzane pod kątem zgodności z oczekiwanym schematem, a brakujące pola, zduplikowane wiersze i błędy parsowania są oznaczane przed dostarczeniem.
Prawo własności
Kod źródłowy oraz dane uwierzytelniające scrapera przechodzą w całości na Państwa przy ostatecznej dostawie. Umowa o zachowaniu poufności jest dostępna na żądanie w przypadku projektów dotyczących danych wrażliwych lub konkurencyjnych.
Harmonogram realizacji
Pakiet Podstawowy jest dostarczany w ciągu 2 do 3 dni, Standardowy w ciągu 5 do 7 dni, a Premium w ciągu 10 dni.
Czego potrzebujemy od Państwa
Proszę przesłać docelową witrynę oraz listę pól, a działający podgląd scrapera może być gotowy w ciągu 48 godzin, zanim wymagana będzie jakakolwiek płatność, dzięki czemu będą mogli Państwo najpierw zobaczyć rzeczywiste wyodrębnione dane ze swojego własnego celu.
50,99 USD
Lub zapłać 45,52 € · 38,12 GBP według dzisiejszego kursu — kurs zostaje zablokowany w momencie dodania do koszyka.
Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions
Dostarczono w 3 dni
Uwzględnione rewizje: 0
125,99 USD
Lub zapłać 112,47 € · 94,19 GBP według dzisiejszego kursu — kurs zostaje zablokowany w momencie dodania do koszyka.
Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions
Dostarczono w 7 dni
Uwzględnione rewizje: 0
375,99 USD
Lub zapłać 335,65 € · 281,09 GBP według dzisiejszego kursu — kurs zostaje zablokowany w momencie dodania do koszyka.
Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions
Dostarczono w 10 dni
Uwzględnione rewizje: 0
Konto nie jest wcześniej wymagane — zostanie utworzone podczas kasy. Przetrzymujemy pieniądze do momentu zaakceptowania przez Państwa pracy.
W wielu przypadkach tak. Łączymy rotację proxy, zróżnicowanie user-agent, ograniczanie przepustowości i renderowanie w przeglądarce bezgłowej, aby ominąć typowe blokady. Witryny korzystające z silniejszych zabezpieczeń mogą podnieść koszty, dlatego najpierw analizujemy cel i informujemy, czy mieści się w standardowym cenniku, czy wymaga indywidualnej wyceny.
Scraping publicznie dostępnych stron jest ogólnie dozwolony w większości miejsc, choć zależy to od regulaminu witryny, rodzaju danych oraz planowanego sposobu ich wykorzystania. Pracujemy wyłącznie z publicznymi stronami, nie omijamy paywalli, unikamy gromadzenia danych osobowych i nie naruszamy wyraźnych warunków zakazujących scrapingu bez Państwa pisemnej zgody oraz weryfikacji prawnej.
Struktury stron ulegają zmianom, w wyniku czego selektory mogą przestać działać. Każdy scraper zawiera ustrukturyzowane rejestrowanie błędów, dzięki czemu otrzymują Państwo powiadomienie, gdy tylko pole przestanie zwracać dane. Plany Standard i Premium wprowadzają funkcje zwiększające odporność, takie jak selektory zapasowe i alerty ograniczające ryzyko awarii, a wszelkie poprawki związane ze zmianami układu strony wprowadzamy bezpłatnie w ciągu 14 dni od momentu dostarczenia.
Tak, przy użyciu Puppeteer, Playwright lub Selenium do obsługi aplikacji jednostronicowych, opóźnionego ładowania i nieskończonego przewijania. Jest to część pakietów Standard i Premium; pakiet Basic jest ograniczony do statycznego kodu HTML.
Tak, w przypadku kont, których są Państwo właścicielami lub do których używania posiadają Państwo upoważnienie. Obsługa sesji, zarządzanie plikami cookie oraz przesyłanie formularzy są zawarte w planie Premium. Wszelkie dane uwierzytelniające prosimy przekazywać bezpiecznym kanałem; nie przechowujemy ich po zakończeniu projektu.
Oferujemy dwa podejścia: pauzę na ręczne rozwiązanie, podczas której interweniują Państwo osobiście, lub usługę rozwiązywania CAPTCHA firmy trzeciej na Państwa własny koszt. Jest to wbudowane w pakiecie Premium i można to dodać do pakietu Standard.
Tak, wersja Premium obsługuje zaplanowane uruchomienia za pośrednictwem cron, GitHub Actions, AWS Lambda lub Vercel Cron. Wybierają Państwo częstotliwość — codziennie, co tydzień, co miesiąc lub w innym cyklu — a każde uruchomienie rejestruje swoje wyniki z opcjonalnymi powiadomieniami o niepowodzeniu.
Obsługa limitów żądań jest standardowa: ograniczanie przepustowości żądań, wykładnicze opóźnienie przy odpowiedziach 429 i 503 oraz dostrajanie współbieżności w celu utrzymania się w limitach. Zarówno Standard, jak i Premium zawierają tę logikę w całości.
Tak, bezpośrednie wstawianie do baz PostgreSQL, MySQL, MongoDB, SQLite lub Airtable jest obsługiwane. Eksport do bazy danych jest częścią planu Premium, podczas gdy Standard obejmuje CSV, JSON oraz Google Sheets.
Nie ma ustalonego górnego limitu; zależy to od limitów częstotliwości żądań w danej witrynie oraz wielkości dostępnej puli serwerów proxy. Z powodzeniem uruchamialiśmy zadania pobierające znacznie ponad 100 000 rekordów w ciągu kilku dni. W przypadku bardzo dużych operacji indeksowania zalecamy rotację serwerów proxy oraz zaplanowane uruchomienia, aby uniknąć przekroczenia progów wykrywania.
Przy ostatecznym odbiorze otrzymują Państwo pełną własność, w tym kod źródłowy, dane uwierzytelniające, konfigurację wdrożenia oraz wszystkie pobrane dane, bez żadnych ograniczeń licencyjnych, bieżących opłat czy uzależnienia od dostawcy.
Każdy scraper jest najpierw uruchamiany na małej próbie, a następnie przeprowadzane jest pełne uruchomienie. Wynik jest sprawdzany pod kątem oczekiwanego schematu, a brakujące pola, zduplikowane wiersze i błędy parsowania są oznaczane przed przekazaniem, wraz z dziennikiem błędów oraz podsumowaniem sukcesów i niepowodzeń.