Tita nipasẹ Zinn Digital
Àwọn ohun èlò ìgbàwọlé wẹ́ẹ̀bù àkànṣe ti Python tàbí Node.js tí a kọ́ fún àwọn ojúlé wẹ́ẹ̀bù gidi, tí ń ṣe àmójútó ìṣàfihàn JS, àwọn ààbò lòdì sí bot, àti ìṣàwárí ojú-ewé púpọ̀, pẹ̀lú àbájáde CSV, JSON tàbí ibi-ìpamọ́ data tí ó mọ́ tí a ń fi ránṣẹ́ láàárín ọjọ́ 2 sí 10.
Àwọn afàdátà tí a kọ́ fún àwọn ojúlé wẹ́ẹ̀bù gidi, kì í ṣe àfihàn
A kọ́ àwọn irinṣẹ́ ìyọdátàjáde tí ó ti ṣetán fún iṣẹ́ ní Python tàbí Node.js fún àwọn àkójọ ọjà, àtòpọ̀ ìtọ́kasí, àwọn ọjà orí ayélujára àti àwọn ohun èlò ojú-ìwé kan tí ó ń yípadà. Èsì ń wọlé bíi CSV, JSON, tàbí kí a kọ ọ́ tààrà sínú ibi-ìpamọ́-dátà yín.
Ohun tí a kárí
Ìdí tí ó fi lágbára
Ọ̀pọ̀lọpọ̀ àwọn scraper máa ń ṣiṣẹ́ lẹ́ẹ̀kan ṣoṣo lásìkò ìdánwò tí wọ́n sì máa ń kùnà ní kété tí ojúlé wẹ́ẹ̀bù bá yí ètò àmì-ìkọ rẹ̀ padà, dènà user agent, tàbí fi àwọn ààbò tuntun kún un. Àwọn ìgbékalẹ̀ wa gbẹ́kẹ̀lé àwọn selector tí ó lágbára, ètò àtunbẹ̀rẹ̀, proxy àrọ́pò àti àkọsílẹ̀ tó ṣe kedere, kí ó lè jẹ́ pé nígbà tí selector kan bá bàjẹ́ tàbí tí ojú-ewé kan bá gbé àṣìṣe jáde dípò dátà, ẹ máa rí àwọn àkọsílẹ̀ pàtó tí ó kùnà àti ìdí tí ó fi rí bẹ́ẹ̀, dípò kí ẹ kàn rí àwọn ìlà òfo láìsí àlàyé.
Àwọn irinṣẹ́ tí a ń lò
Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests) àti Node.js (Puppeteer, Cheerio, Playwright, Axios) fún kíkó dátà; àwọn proxy tí ń yípo àti yíyípo user-agent pẹ̀lú headless browser fingerprinting fún gbígbógun ti àwọn ìdènà bot; ìpamọ́ sí inú CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite àti Airtable; ètò àkókò nípasẹ̀ cron, GitHub Actions, AWS Lambda, Vercel Cron tàbí Railway; àwọn ètò amáyédẹrùn lórí Docker, àwọn olùpèsè VPS, AWS tàbí Render.
Ìdánwò ṣáájú ìfilélẹ̀
Ìgbékalẹ̀ kọ̀ọ̀kan máa ń ṣe ìdánwò àkọ́kọ́ lórí àpẹẹrẹ kékeré kan, lẹ́yìn náà ìṣiṣẹ́ kíkún pẹ̀lú àkópọ̀ àṣeyọrí àti ìkùnà. A máa ń yẹ èsì wò láti bá schema tí a retí mu, pẹ̀lú sísàmì sí àwọn pápá tí ó kù, àwọn ìlà tí ó tún ara wọn ṣe àti àwọn àṣìṣe ìtúpalẹ̀ kí a tó gbé iṣẹ́ lé yín lọ́wọ́.
Ẹni tí ó ni iṣẹ́
Kóòdù orísun àti àwọn ẹ̀rí ìdánimọ̀ scraper máa di tiyín pátápátá nígbà ìfilélẹ̀ ìkẹyìn. Àdéhùn ìpamọ́ àṣírí wà bí ẹ bá béèrè fún àwọn iṣẹ́ àkànṣe dátà tí ó ní àṣírí tàbí ti ìdíje.
Àkókò tí a ó fi parí iṣẹ́
Basic máa ń jáde láàárín ọjọ́ 2 sí 3, Standard láàárín ọjọ́ 5 sí 7, àti Premium ní ọjọ́ 10.
Ohun tí a nílò láti ọ̀dọ̀ yín
Ẹ fi ojúlé ayélujára àfojúsùn àti àtòjọ pápá ránṣẹ́, a sì lè pèsè àtúnyẹ̀wò scraper tó ń ṣiṣẹ́ láàárín wákàtí 48, kí a tó béèrè fún ìsanwó kankan, kí ẹ lè kọ́kọ́ rí dátà gidi tí a yọ jáde látinú àfojúsùn yín fúnra yín.
$50.99
Tabi san €45.53 · £38.13 ni oṣuwọn oni — a ti tiipa oṣuwọn naa nigbati o ba fi kun agbọn rẹ.
Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions
A fi ránṣẹ́ ní 3 ọjọ́
Àwọn àtúnṣe tó wà nínú rẹ̀: 0
$125.99
Tabi san €112.49 · £94.21 ni oṣuwọn oni — a ti tiipa oṣuwọn naa nigbati o ba fi kun agbọn rẹ.
Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions
A fi ránṣẹ́ ní 7 ọjọ́
Àwọn àtúnṣe tó wà nínú rẹ̀: 0
$375.99
Tabi san €335.71 · £281.14 ni oṣuwọn oni — a ti tiipa oṣuwọn naa nigbati o ba fi kun agbọn rẹ.
Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions
A fi ránṣẹ́ ní 10 ọjọ́
Àwọn àtúnṣe tó wà nínú rẹ̀: 0
Kò sí àkọọ́lẹ̀ kankan tí a nílò tẹ́lẹ̀ — a máa dá tiyín sílẹ̀ nígbà ìsanwó. A máa di owó náà mú títí tí ẹ ó fi gba iṣẹ́ náà.
Ní ọ̀pọ̀lọpọ̀ ìgbà, bẹ́ẹ̀ ni. A ń darapọ̀ yíyípo proxy, ìyàtọ̀ user-agent, ìṣàkóso ìyára (throttling) àti ìṣàfihàn aṣàwákiri aláìlórí (headless browser) láti kọjá àwọn ìdènà tó wọ́pọ̀. Àwọn ojúlé tí ń lo àwọn iṣẹ́ ààbò tó lágbára jù lè mú kí iye owó náà ga síi, nítorí náà a máa kọ́kọ́ ṣe àtúnyẹ̀wò ibi tí a fẹ́ lò náà, a sì máa sọ fún yín bóyá ó bá iye owó tó wọ́pọ̀ mu tàbí ó nílò àkànṣe iye owó tirẹ̀.
Fífà àwọn ojú-ìwé tí ó wà fún gbogbo ènìyàn jáde ní gbogbogbò jẹ́ ohun tí a gbà láàyè ní ọ̀pọ̀lọpọ̀ ibi, bó tilẹ̀ jẹ́ pé ó sinmi lórí àwọn àdéhùn ojú-òpó wẹ́ẹ̀bù, àwọn dátà tí ó wé mọ́ ọn àti èrò ìlò yín. A ń ṣiṣẹ́ pẹ̀lú àwọn ojú-ìwé tí ó wà fún gbogbo ènìyàn nìkan, a kì í yẹra fún àwọn odi sísanwó, a ń yẹra fún kíkó àwọn dátà àdáni jọ, a kì yóò sì rú àwọn àdéhùn tí ó kò fàyè gba fífà dátà jáde láìsí ìfọwọ́sí tí a kọ sílẹ̀ àti ìyọ̀ǹda láti ọ̀dọ̀ agbẹjọ́rò yín.
Àwọn ìgbékalẹ̀ ojú-ewé máa ń yípadà, èyí sì lè mú kí àwọn olùṣàwárí (selectors) dẹ́kun iṣẹ́ ṣíṣe. Olúkúlùkù olùgbà-ìròyìn (scraper) ní ìforúkọsílẹ̀ àṣìṣe tí a ṣètò nínú kí a lè sọ fún yín ní kété tí pápá kan bá dẹ́kun pípèsè àkójọpọ̀-ìwífún. Standard àti Premium ń fi àwọn àbùdá ìfaradà kún un bíi àwọn olùṣàwárí àfidípò àti àwọn ìkìlọ̀ láti dín àwọn ìbàjẹ́ kù, a sì ń ṣe àtúnṣe èyíkéyìí tí ó jẹmọ́ ìrísí fún ọ̀fẹ́ láàárín ọjọ́ 14 lẹ́yìn ìfipamọ́ṣẹ́.
Bẹ́ẹ̀ ni, nípa lílo Puppeteer, Playwright tàbí Selenium láti bójútó àwọn ohun èlò ojú-ìwé kan ṣoṣo, ìrùsókè afẹ́fẹ́ àti yíyípo aláìlópin. Èyí jẹ́ apá kan nínú àwọn àkójọ Standard àti Premium; Basic wà fún HTML tí kò yípadà nìkan.
Bẹ́ẹ̀ ni, fún àwọn àkọọ́lẹ̀ tí ẹ ní tàbí tí ẹ ní àṣẹ láti lò. Ìṣàkóso àkókò ìgbéṣe, ìṣàkóso cookie àti fífúskalẹ̀ fọ́ọ̀mù wà pẹ̀lú Premium. Ẹ pín àwọn ẹ̀rí ìdánimọ̀ èyíkéyìí nípasẹ̀ ọ̀nà tó ní ààbò; a kì í tọ́jú wọn kọjá iṣẹ́ àkànṣe náà.
A nfunni awọn ọna meji: didaduro lati yanju pẹlu ọwọ nibiti ẹ ti n wọle si, tabi iṣẹ ẹnikẹta ti n yanju CAPTCHA pẹlu inawo ti ara yin. Eyi wa ninu Premium ati pe a le fi kun Standard.
Bẹ́ẹ̀ ni, Premium ṣe àtìlẹ́yìn fún àwọn iṣẹ́ tí a ṣètò nípasẹ̀ cron, GitHub Actions, AWS Lambda tàbí Vercel Cron. Ẹ̀yin ni yóò yan ìgbà tí yóò máa wáyé, yálà lójoojúmọ́, lọ́sọ̀ọ̀sẹ̀, lóṣooṣù tàbí ní àkókò mìíràn, iṣẹ́ kọ̀ọ̀kan sì ń ṣe àkọsílẹ̀ àwọn àbájáde rẹ̀ pẹ̀lú àwọn ìkìlọ̀ fún ìkùnà tó jẹ́ àṣàyàn.
Ìṣàkóso àwọn ààlà-ìwọ̀n jẹ́ ìwọ̀n: ìdínwọ̀n ìbéèrè, ìdádúró tí ń pọ̀ sí i lórí àwọn ìdáhùn 429 àti 503, àti ìṣètò ìṣiṣẹ́pọ̀ láti wà láàárín àwọn ààlà. Méjèèjì Standard àti Premium pẹ̀lú ọgbọ́n yìí ní kíkún.
Bẹ́ẹ̀ni, a ṣe àtìlẹ́yìn fún àwọn ìfikún tààràtà sínú PostgreSQL, MySQL, MongoDB, SQLite tàbí Airtable. Àbájáde ibi-ìpamọ́ dátà jẹ́ apá kan Premium, nígbà tí Standard pẹ̀lú CSV, JSON àti Google Sheets.
Kò sí òtéńté tí a fìdí rẹ múlẹ̀; ó sinmi lórí àwọn ààlà ìwọ̀n ojú-òpó wẹ́ẹ̀bù àti ìwọ̀n àkójọpọ̀ ẹ̀rọ aṣojú (proxy) tó wà lárọ̀ọ́wọ́tó. A ti ṣe àwọn iṣẹ́ tí ó gba àwọn àkọsílẹ̀ tó lé ní 100,000 kọjá láàárín ọjọ́ mélòó kan. Fún àwọn ìwádìí tí ó tóbi gan-an, a dábàá yíyí ẹ̀rọ aṣojú padà àti àwọn iṣẹ́ tí a ṣètò láti yẹra fún àwọn ààlà ìfura.
Ẹ gba ẹ̀tọ́ nini kíkún nígbà ìfijiṣẹ́ ìkẹyìn, pẹ̀lú kóòdù orísun, àwọn ẹ̀rí ìwọlé, ìṣètò ìfilọ́lẹ̀ àti gbogbo àwọn dátà tí a gbà jọ, láìsí àwọn ìkálọ́wọ́kò láísẹ́ǹsì kankan, àwọn owó tí ń tẹ̀síwájú, tàbí ìdènà mọ́ ibìkan.
A máa ń kọ́kọ́ ṣiṣẹ́ scraper kọ̀ọ̀kan lórí àpẹẹrẹ kékeré kan, lẹ́yìn náà ni a óò ṣiṣẹ́ rẹ̀ ní kíkún. A máa ń ṣàyẹ̀wò àbájáde náà pẹ̀lú ètò tí a retí, a sì máa ń sàmì sí àwọn pápá tí kò sí, àwọn ìlà tí ó tún ara wọn ṣe àti àwọn àṣìṣe ìtúpalẹ̀ kí a tó fà á léni lọ́wọ́, pẹ̀lú àkọsílẹ̀ àṣìṣe àti àkópọ̀ àwọn àṣeyọrí àti àwọn ìkùnà.