Értékesíti: Zinn Digital
Valós webhelyekhez készült, egyedi Python- vagy Node.js-alapú webkaparók, amelyek kezelik a JS-renderelést, a botvédelmet és a többoldalas bejárást, tiszta CSV-, JSON- vagy adatbázis-kimenettel, 2–10 napon belül szállítva.
Valódi webhelyekre tervezett adatgyűjtők, nem demók
Éles környezetre kész adatkinyerő eszközök készülnek Python vagy Node.js nyelven termékkatalógusokhoz, címtárakhoz, piacterekhez és dinamikus egyoldalas alkalmazásokhoz. A kimenet CSV vagy JSON formátumban érkezik, vagy közvetlenül az Ön adatbázisába íródik.
Amire kiterjed
Miért megbízható
Sok adatgyűjtő (scraper) egyszer működik a tesztelés során, és abban a pillanatban felmondja a szolgálatot, amikor egy webhely megváltoztatja a kódját, blokkol egy felhasználói ügynököt, vagy új védelmi rétegeket vezet be. A rendszerek rugalmas szelektorokra, újrapróbálkozási logikára, tartalék proxykra és egyértelmű naplózásra támaszkodnak, így amikor egy szelektor működése megszakad, vagy egy oldal adatok helyett hibát ad vissza, Ön pontosan látja, mely rekordok hiúsultak meg és miért, ahelyett, hogy észrevétlenül üres sorokat kapna.
Használt eszközök
Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests) és Node.js (Puppeteer, Cheerio, Playwright, Axios) az adatgyűjtéshez; rotáló proxyk és felhasználóiügynök-rotáció, valamint headless böngésző-ujjlenyomat-készítés a botvédelem kezelésére; tárolás CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite és Airtable formátumokban; ütemezés cron, GitHub Actions, AWS Lambda, Vercel Cron vagy Railway segítségével; infrastruktúra Docker, VPS-szolgáltatók, AWS vagy Render rendszereken.
Átadás előtti tesztelés
Minden verzió először egy próbaüzemet futtat egy kis mintán, majd egy teljes futtatást végez a sikerek és kudarcok összefoglalásával. A kimenetet összevetjük a várt sémával, és a szállítás előtt megjelöljük a hiányzó mezőket, a duplikált sorokat és az elemzési hibákat.
Tulajdonjog
A forráskód és a gyűjtőprogram hitelesítési adatai a végső átadáskor teljes mértékben Önre szállnak át. Kérésre titoktartási megállapodás áll rendelkezésre érzékeny vagy versenyképes adatprojektek esetén.
Határidők
A Basic 2-3 napon belül, a Standard 5-7 napon belül, a Premium pedig 10 napon belül készül el.
Mire van szükség Öntől
Küldje el a célwebhelyet és a mezők listáját, és 48 órán belül elkészülhet egy működő előnézeti adatgyűjtő, még mielőtt bármilyen fizetésre szükség lenne, így először láthatja a saját célpontjából kinyert valós adatokat.
50,99 USD
Vagy fizessen 45,51 EUR · 38,11 GBP összeget a mai árfolyamon — az árfolyam rögzítésre kerül, amikor a kosarába helyezi.
Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions
Kézbesítve 3 nap alatt
Mellékelt változatok: 0
125,99 USD
Vagy fizessen 112,45 EUR · 94,17 GBP összeget a mai árfolyamon — az árfolyam rögzítésre kerül, amikor a kosarába helyezi.
Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions
Kézbesítve 7 nap alatt
Mellékelt változatok: 0
375,99 USD
Vagy fizessen 335,60 EUR · 281,04 GBP összeget a mai árfolyamon — az árfolyam rögzítésre kerül, amikor a kosarába helyezi.
Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions
Kézbesítve 10 nap alatt
Mellékelt változatok: 0
Előzetesen nincs szükség fiókra — az Ön fiókja a fizetéskor jön létre. A pénzt letétben tartjuk, amíg el nem fogadja a munkát.
Sok esetben igen. A proxyrotáció, a user-agent variáció, a sávszélesség-korlátozás és a headless böngészővel történő renderelés kombinációját alkalmazzuk a gyakori letiltások megkerülésére. A komolyabb védelmi szolgáltatásokat futtató oldalak növelhetik a költségeket, ezért először felülvizsgáljuk a célt, és tájékoztatjuk Önt arról, hogy az a standard díjszabásba illeszkedik-e, vagy egyedi árajánlatot igényel.
A nyilvánosan elérhető oldalak adatlehalászása a legtöbb helyen általában megengedett, bár ez a webhely feltételeitől, az érintett adatoktól és az Ön által tervezett felhasználástól függ. Kizárólag nyilvános oldalakkal dolgozunk, nem kerüljük meg a fizetési falakat, kerüljük a személyes adatok gyűjtését, és az Ön írásos jóváhagyása és jogi engedélye nélkül nem szegjük meg a kifejezett adatlehalászás-ellenes feltételeket.
Az oldalstruktúrák változnak, és ennek következtében a szelektorok működése leállhat. Minden scraper tartalmaz strukturált hibanaplózást, így Ön azonnal értesítést kap, amint egy mező nem ad vissza adatot. A Standard és Premium csomagok rugalmassági funkciókat kínálnak, például tartalék szelektorokat és riasztásokat a meghibásodások korlátozására, és az átadást követő 14 napon belül ingyenesen vállaljuk az elrendezéssel kapcsolatos javításokat.
Igen, a Puppeteer, a Playwright vagy a Selenium használatával az egyoldalas alkalmazások, a lusta betöltés (lazy loading) és a végtelen görgetés kezelésére. Ez a Standard és Premium csomagok része; a Basic a statikus HTML-re korlátozódik.
Igen, a tulajdonában lévő vagy használatra felhatalmazott fiókok esetén. A munkamenet-kezelés, a cookie-kezelés és az űrlapküldés a Premium része. A hitelesítési adatokat biztonságos csatornán keresztül ossza meg; a projekt lezárása után nem őrizzük meg azokat.
Két megközelítést kínálunk: egy kézi megoldási szünetet, ahol Ön avatkozik be, vagy egy harmadik féltől származó CAPTCHA-megoldó szolgáltatást az Ön saját költségén. Ez be van építve a Premium csomagba, és hozzáadható a Standard csomaghoz.
Igen, a Premium támogatja az ütemezett futtatásokat a cron, a GitHub Actions, az AWS Lambda vagy a Vercel Cron segítségével. Ön választja ki a gyakoriságot – legyen az napi, heti, havi vagy egyéb időköz –, és minden futtatás naplózza az eredményeit, opcionális hibaértesítésekkel.
A sebességkorlátozás kezelése szabványos: kérésszabályozás, exponenciális visszalépés 429-es és 503-as válaszok esetén, valamint a párhuzamosság finomhangolása a korlátokon belül maradás érdekében. Mind a Standard, mind a Premium csomag teljes mértékben tartalmazza ezt a logikát.
Igen, a közvetlen beszúrás PostgreSQL, MySQL, MongoDB, SQLite vagy Airtable adatbázisokba támogatott. Az adatbázis-kimenet a Premium csomag része, míg a Standard a CSV, JSON és Google Sheets formátumokat fedi le.
Nincs rögzített felső határ; minden a webhely lekérdezési korlátaitól és a rendelkezésre álló proxykészlet méretétől függ. Futtattunk már olyan feladatokat, amelyek több nap alatt jóval több mint 100 000 rekordot hívtak le. Nagyon nagy feltérképezések esetén proxyrotációt és ütemezett futtatásokat javasolunk az észlelési küszöbértékek elkerülése érdekében.
A végső átadáskor teljes tulajdonjogot kap, beleértve a forráskódot, a hitelesítő adatokat, a telepítési konfigurációt és az összes lekapart adatot, licenckorlátozások, folyamatos díjak vagy kötelezettségek nélkül.
Minden adatgyűjtőt először egy kis mintán futtatunk, majd ezt követi a teljes futtatás. A kimenetet a várt sémával vetjük össze, és az átadás előtt megjelöljük a hiányzó mezőket, az ismétlődő sorokat és az értelmezési hibákat a hibanaplóval, valamint a sikerek és sikertelenségek összefoglalójával együtt.