විකිණුවේ Zinn Digital
JS රෙන්ඩර් කිරීම, බොට්-විරෝධී ආරක්ෂණ සහ බහු-පිටු සීරීම් හසුරුවමින්, සැබෑ ලෝකයේ වෙබ් අඩවි සඳහා ගොඩනගන ලද, දින 2 සිට 10 දක්වා කාලයක් තුළ ලබා දෙන පිරිසිදු CSV, JSON හෝ දත්ත සමුදා ප්‍රතිදානය සහිත අභිරුචි Python හෝ Node.js වෙබ් සීරීම් මෙවලම්.
ආදර්ශන සඳහා නොව, සැබෑ වෙබ් අඩවි සඳහා නිපදවූ ස්ක්‍රේපර් මෙවලම්
නිෂ්පාදන මට්ටමේ දත්ත ලබාගැනීමේ මෙවලම් නිෂ්පාදන නාමාවලි, ඩිරෙක්ටරි, වෙළඳපොළවල් සහ ගතික තනි පිටු යෙදුම් සඳහා Python හෝ Node.js මඟින් නිර්මාණය කර ඇත. ප්‍රතිදානය CSV, JSON ලෙස හෝ සෘජුවම ඔබගේ දත්ත සමුදායට ඇතුළත් කෙරේ.
අන්තර්ගත වන දෑ
එය සාර්ථකව පවතින්නේ මන්දැයි
බොහෝ scraper පරීක්ෂා කිරීමේදී එක් වරක් ක්‍රියාත්මක වී වෙබ් අඩවියක් එහි markup වෙනස් කළ වහාම, user agent අවහිර කළ විට, හෝ නව ආරක්ෂණ ස්ථර එක් කළ විට අසාර්ථක වේ. Builds ප්‍රතිරෝධී selectors, retry logic, proxy fallback සහ පැහැදිලි logging මත රඳා පවතී, එබැවින් selector බිඳ වැටුණු විට හෝ පිටුවක් දත්ත වෙනුවට දෝෂයක් ලබා දුන් විට, නිහඬ හිස් පේළි ලැබීම වෙනුවට අසාර්ථක වූ වාර්තා මොනවාද සහ ඊට හේතුව කුමක්දැයි ඔබට නිශ්චිතවම දැකගත හැකිය.
භාවිතා කරන මෙවලම්
scraping සඳහා Python (BeautifulSoup, Scrapy, Playwright, Selenium, Requests) සහ Node.js (Puppeteer, Cheerio, Playwright, Axios); anti-bot කටයුතු සඳහා rotating proxies සහ user-agent rotation සමග headless browser fingerprinting; CSV, JSON, Excel, Google Sheets, PostgreSQL, MySQL, MongoDB, SQLite සහ Airtable හරහා ගබඩා කිරීම; cron, GitHub Actions, AWS Lambda, Vercel Cron හෝ Railway හරහා කාලසටහන්ගත කිරීම; Docker, VPS සපයන්නන්, AWS හෝ Render මත යටිතල පහසුකම්.
භාරදීමට පෙර පරීක්ෂා කිරීම
සෑම build එකක්ම පළමුව කුඩා සාම්පලයක් මත dry pass එකක් ධාවනය කරයි, පසුව සාර්ථක හා අසාර්ථක සාරාංශයක් සහිත සම්පූර්ණ ධාවනයක් සිදු කරයි. භාරදීමට පෙර මඟහැරුණු ක්ෂේත්‍ර, අනුපිටපත් පේළි සහ parse දෝෂ සලකුණු කරමින් ප්‍රතිදානය බලාපොරොත්තු වන schema එකට එරෙහිව පරීක්ෂා කරනු ලැබේ.
හිමිකාරිත්වය
අවසාන භාරදීමේදී මූල කේතය සහ scraper අක්තපත්‍ර සම්පූර්ණයෙන්ම ඔබට හිමිවේ. සංවේදී හෝ තරඟකාරී දත්ත ව්‍යාපෘති සඳහා ඉල්ලීම මත රහස්‍යතා ගිවිසුමක් (NDA) ලබා ගත හැකිය.
කාලසීමාවන්
Basic දින 2 සිට 3 දක්වා, Standard දින 5 සිට 7 දක්වා, සහ Premium දින 10 කින් ලබා දෙනු ලැබේ.
ඔබෙන් අවශ්‍ය දේ
ඉලක්කගත වෙබ් අඩවිය සහ ක්ෂේත්‍ර ලැයිස්තුව අප වෙත එවන්න, එවිට කිසිදු ගෙවීමක් අවශ්‍ය වීමට පෙර, පැය 48ක් ඇතුළත ක්‍රියාත්මක වන පෙරදසුන් ස්ක්‍රේපරයක් සූදානම් කළ හැකිය, එවිට ඔබට ප්‍රථමයෙන් ඔබේම ඉලක්කයෙන් ලබාගත් සැබෑ දත්ත දැක ගත හැකිය.
$50.99
නැතහොත් අද දින අනුපාතයට €45.52 · £38.12 ගෙවන්න — ඔබ එය ඔබේ බාස්කට්ටුවට එක් කළ විට අනුපාතය ස්ථාවර කෙරේ.
Single-site, single-page scraper with clean CSV or JSON output. - Full source code + setup - One target URL scraped - Up to 10 fields extracted per item - Static HTML parsing (no JS rendering) - CSV or JSON output - Deduplication + field normalization - Basic error handling and logging - Readme - 2 revisions
3 දිනකින් බෙදා හරිනු ලැබේ
ඇතුළත් කර ඇති සංශෝධන: 0
$125.99
නැතහොත් අද දින අනුපාතයට €112.47 · £94.19 ගෙවන්න — ඔබ එය ඔබේ බාස්කට්ටුවට එක් කළ විට අනුපාතය ස්ථාවර කෙරේ.
Multi-page crawl with pagination, JS rendering and anti-bot handling. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - 3 revisions
7 දිනකින් බෙදා හරිනු ලැබේ
ඇතුළත් කර ඇති සංශෝධන: 0
$375.99
නැතහොත් අද දින අනුපාතයට €335.65 · £281.09 ගෙවන්න — ඔබ එය ඔබේ බාස්කට්ටුවට එක් කළ විට අනුපාතය ස්ථාවර කෙරේ.
Full data pipeline with scheduling, database output, monitoring and dashboard. - Full source code + setup - One target URL scraped - Static HTML parsing (no JS rendering) - Deduplication + field normalization - Basic error handling and logging - Readme - Structured error log + retry queue - Multi-page crawl with pagination support - JavaScript-rendered pages (Puppeteer or Playwright) - Anti-bot handling — UA rotation, headers, request throttling - Proxy rotation support - Rate-limit compliance with backoff on 429/503 - Up to 25 fields per item - Unlimited records - Output to CSV, JSON, or Google Sheets - Priority delivery slot - Unlimited fields + custom schema mapping - Database output — PostgreSQL, MySQL, MongoDB, or SQLite - Scheduled runs — cron, GitHub Actions, AWS Lambda or Vercel - Cron Change detection between runs (new / updated / removed records) - Login-gated content support (session handling, form submission) - CAPTCHA-aware flow (manual-solve integration or third-party solver) - Docker-based deployment - Monitoring dashboard or Slack/email alerts on failure - Loom walkthrough of the full pipeline - 30 days post-delivery support - 5 revisions
10 දිනකින් බෙදා හරිනු ලැබේ
ඇතුළත් කර ඇති සංශෝධන: 0
පළමුව ගිණුමක් අවශ්‍ය නොවේ — මුදල් ගෙවීමේදී ඔබගේ ගිණුම සෑදේ. ඔබ කාර්යය භාර ගන්නා තෙක් අපි මුදල් රඳවා තබා ගනිමු.
බොහෝ අවස්ථාවලදී, ඔව්. පොදු අවහිර කිරීම් මඟහරවා ගැනීම සඳහා අපි ප්‍රොක්සි භ්‍රමණය, පරිශීලක-නියෝජිත විචලනය, වේග සීමා කිරීම සහ හෙඩ්ලස් බ්‍රව්සර් විදැහුම්කරණය ඒකාබද්ධ කරමු. වඩාත් ප්‍රබල ආරක්ෂණ සේවා ක්‍රියාත්මක වන වෙබ් අඩවි මඟින් පිරිවැය වැඩි විය හැකි බැවින්, අපි පළමුව ඉලක්කය සමාලෝචනය කර එය සම්මත මිලකරණයට ගැළපේද නැතහොත් අභිරුචි මිල ගණන් අවශ්‍යද යන්න ඔබට දන්වන්නෙමු.
ප්රසිද්ධියේ ලබාගත හැකි පිටු වලින් දත්ත ලබා ගැනීම (scraping) බොහෝ ස්ථානවල සාමාන්යයෙන් අවසර දී ඇතත්, එය වෙබ් අඩවියේ කොන්දේසි, ඊට අදාළ දත්ත සහ ඔබගේ අපේක්ෂිත භාවිතය මත රඳා පවතී. අප ක්රියා කරන්නේ ප්රසිද්ධ පිටු සමඟ පමණි, මුදල් ගෙවිය යුතු බාධක (paywalls) මඟහරින්නේ නැත, පුද්ගලික දත්ත රැස් කිරීමෙන් වළකින්නෙමු, සහ ඔබගේ ලිඛිත අනුමැතිය සහ නීතිමය අවසරය නොමැතිව පැහැදිලි දත්ත ලබා ගැනීම වැළැක්වීමේ කොන්දේසි උල්ලංඝනය නොකරන්නෙමු.
පිටු ව්යුහයන් වෙනස් වන අතර, එහි ප්රතිඵලයක් ලෙස සිලෙක්ටර ක්රියා කිරීම නැවතීමට ඉඩ ඇත. ක්ෂේත්රයක් දත්ත ලබා දීම නැවැත්වූ වහාම ඔබට දැනුම් දෙනු පිණිස සෑම ස්ක්රේපරයකම ව්යුහගත දෝෂ ලොග් කිරීමේ පද්ධතියක් ඇතුළත් වේ. බිඳවැටීම් සීමා කිරීම සඳහා Standard සහ Premium මඟින් ෆෝල්බැක් සිලෙක්ටර සහ අනතුරු ඇඟවීම් වැනි ඔරොත්තු දීමේ විශේෂාංග එක් කරන අතර, බෙදාහැරීමෙන් පසු දින 14 තුළ පිරිසැලසුම ආශ්රිත ඕනෑම නිවැරදි කිරීමක් අපි නොමිලේ ආවරණය කරමු.
ඔව්, තනි පිටු යෙදුම්, කල්දමා පූරණය කිරීම (lazy loading) සහ අනන්ත අනුචලනය (infinite scroll) හැසිරවීම සඳහා Puppeteer, Playwright හෝ Selenium භාවිතා කරයි. මෙය Standard සහ Premium පැකේජවල කොටසකි; Basic ස්ථිතික HTML වලට සීමා වේ.
ඔව්, ඔබ සතු හෝ භාවිත කිරීමට අවසර ඇති ගිණුම් සඳහා පමණි. සැසි හැසිරවීම, කුකී කළමනාකරණය සහ පෝරම ඉදිරිපත් කිරීම Premium සමඟ ඇතුළත් වේ. ඕනෑම අක්තපත්‍ර ආරක්ෂිත මාධ්‍යයක් හරහා බෙදා ගන්න; ව්‍යාපෘතියෙන් ඔබ්බට අපි ඒවා රඳවා නොගනිමු.
අපි ප්රවේශයන් දෙකක් පිරිනමන්නෙමු: ඔබ මැදිහත් වන අතින් විසඳීමේ විරාමයක්, හෝ ඔබේම වියදමින් තෙවන පාර්ශවීය CAPTCHA-විසඳීමේ සේවාවක්. මෙය Premium තුළ අන්තර්ගත කර ඇති අතර Standard වෙත එක් කළ හැක.
ඔව්, cron, GitHub Actions, AWS Lambda හෝ Vercel Cron හරහා කාලසටහන්ගත ධාවනයන් සඳහා Premium සහාය දක්වයි. දිනපතා, සතිපතා, මාසිකව හෝ වෙනත් කාල පරාසයකින් වේවා, ඔබ සංඛ්‍යාතය තෝරා ගන්නා අතර, සෑම ධාවනයක්ම අසාර්ථක වීමේ විකල්ප ඇඟවීම් සමඟ එහි ප්‍රතිඵල සටහන් කරයි.
අනුපාත සීමා හැසිරවීම සම්මත වේ: සීමාවන් තුළ රැඳී සිටීම සඳහා ඉල්ලීම් පාලනය කිරීම, 429 සහ 503 ප්‍රතිචාර මත ඝාතීය පසුබැසීම සහ සමගාමීත්වය සීරුමාරු කිරීම. Standard සහ Premium යන දෙකෙහිම මෙම තර්කනය සම්පූර්ණයෙන්ම ඇතුළත් වේ.
ඔව්, PostgreSQL, MySQL, MongoDB, SQLite හෝ Airtable වෙත සෘජුවම ඇතුළත් කිරීම් සඳහා සහය දක්වයි. දත්ත සමුදා ප්‍රතිදානය Premium හි කොටසක් වන අතර, Standard මඟින් CSV, JSON සහ Google Sheets ආවරණය කරයි.
ස්ථාවර උපරිම සීමාවක් නොමැත; එය වෙබ් අඩවියේ වේග සීමාවන් සහ ලබා ගත හැකි ප්‍රොක්සි සංචිතයේ ප්‍රමාණය මත රඳා පවතී. අපි දින කිහිපයක් පුරා වාර්තා 100,000 කට වඩා වැඩි ප්‍රමාණයක් ලබා ගැනීමේ කාර්යයන් සිදු කර ඇත්තෙමු. ඉතා විශාල ක්‍රෝල් සඳහා හඳුනාගැනීමේ සීමාවන් වළක්වා ගැනීමට ප්‍රොක්සි භ්‍රමණය සහ කාලසටහන්ගත ධාවනයන් අපි යෝජනා කරමු.
මූලාශ්‍ර කේතය, අක්තපත්‍ර, යෙදවුම් වින්‍යාසය සහ ලබාගත් සියලුම දත්ත ඇතුළුව, කිසිදු බලපත්‍ර සීමාවකින්, අඛණ්ඩ ගාස්තුවකින් හෝ බැඳීමකින් තොරව, අවසාන භාරදීමේදී ඔබට පූර්ණ හිමිකාරිත්වය ලැබේ.
සෑම සීරීමක්ම (scraper) පළමුව කුඩා සාම්පලයක් මත ධාවනය කර, පසුව සම්පූර්ණ ධාවනයක් සිදු කරනු ලැබේ. ප්‍රතිදානය අපේක්ෂිත ක්‍රමවේදයට (schema) අනුකූලව පරීක්ෂා කරනු ලබන අතර, දෝෂ ලඝු-සටහන සහ සාර්ථකත්වයන් හා අසාර්ථකත්වයන් පිළිබඳ සාරාංශයක් සමඟ අස්ථානගත වූ ක්ෂේත්‍ර, අනුපිටපත් පේළි සහ විග්‍රහ කිරීමේ දෝෂ භාරදීමට පෙර සලකුණු කරනු ලැබේ.