د دې لیست په اړه
دا څه کوي
دا هغه سیسټمونه سره نښلوي چې تاسو یې اوس مهال کاروئ، لکه ډیټابیس له ګودام (warehouse) سره، CRM د راپور ورکولو له وسیلې سره، API له سپریډشیټ سره، یا د دې څو یوځای شوي ترکیبونه. د معمول کار پر مهال د قطارونو لېږدول خورا اسانه وي؛ اصلي ازموینه په څلوېښتمه ورځ رامنځته کېږي، کله چې د تصدیق ټوکن د شپې په ۲ بجو پای ته ورسېږي، د سرچینې جدول ته نوی نال کېدونکی (nullable) فیلډ اضافه شي، یا د کڅوړې لېږد په نیمایي کې بند شي.
دا څنګه جوړ شوی دی
ایستل (extraction)، بارول (loading) او بدلول (transformation) د جلا پړاوونو په توګه ساتل کېږي، ځکه چې هر یو یې د جلا دلایلو له امله ناکامېدای شي او د بیا هڅې خپل میکانیزم ته اړتیا لري. ایستل د یوه کرسر یا واټرمارک تعقیب کوي ترڅو ډاډ ترلاسه شي چې بیا پیل کول د ریکارډونو د تکرار پر ځای له هغه ځایه پیلېږي چې بند شوي وو. بارول د هرې کڅوړې لپاره د یوې معاملې (transaction) دننه ترسره کېږي، پدې معنی چې یو خنډ د دې پرځای چې هدفي سیسټم نیمګړی تازه کړي، هغه په دوامداره او باثباته حالت کې پریږدي. د بدلون قواعد د لید وړ جوړونکي پر ځای چې وروسته یې لوستل ستونزمن وي، په نسخه کنټرول شوي SQL یا Python کې پاتې کېږي.
هر اجرا یو مانیفیسټ تولیدوي چې لوستل شوي قطارونه، لیکل شوي قطارونه، رد شوي قطارونه او د هر رد کېدو لامل په تفصیل سره ښیي. یو طبیعي کیلي (natural key) چې له هش سره یوځای شوې وي ډاډ ورکوي چې دا پروسه غیر بدلیدونکې (idempotent) ده، پدې معنی چې د تېر کار بیا اجرا کول هیڅ زیان نه رسوي. په سرچینو سکیماوو کې بدلونونه مخکې له دې چې بارول له کاره وغورځوي پیژندل کیږي، چې د چوپې ناکامۍ پرځای یو خبرداری تولیدوي.
تاسو څه ترلاسه کوئ
- د پایپ لاین کوډ چې ستاسو په خپل زېرمتون (repository) کې ثبت شوی، او ستاسو د حقیقي ډیټا د نمونې پر وړاندې ازمویل شوی دی.
- د مهالوېش یو میکانیزم چې ستاسو له سټیک سره سمون خوري - cron، یو د systemd ټایمر، Airflow یا Prefect.
- څارنه او خبرتیاوې چې د قطارونو شمېر، ناكامۍ او د ځنډ بدلونونه (latency drift) تر پوښښ لاندې راولي.
- یو لارښود (runbook) چې د بیا پلي کولو (replay)، شاته پاتې ډیټا ډکولو (backfill) او د نوي ډیټا سرچینې اضافه کولو څرنګوالی تشریح کوي.
موږ له تاسو څخه څه ته اړتیا لرو
د سرچینې او منزل سیسټمونو ته د لوستلو لاسرسی، د ډیټا یوه فعاله نمونه، او هغه مهالوېش چې ستاسو سوداګري واقعاً ورته اړتیا لري، نه یو له حده ډېر هیله من مهالوېش.
د وخت مهالوېش او تازه معلومات
لومړنۍ فعاله نسخه معمولاً په پنځو ورځو کې چمتو کېږي، چې د اصلي تولیدي پلي کولو دمخه ستاسو د بیاکتنې لپاره یو آزمایښتي (staging) اجرا پکې شامل وي. تازه معلومات د غونډو پر ځای د لنډو لیکلو یادښتونو په بڼه په هر مهم پړاو کې وړاندې کېږي، او هغه پرېکړې چې ستاسو پر ډیټا اغېز کوي - لکه ساتنه (retention)، د شاته پاتې معلوماتو ډکولو موده (backfill windows) او د رد شویو قطارونو مدیریت - د راتلونکي مرجع لپاره ثبتېږي. که په ټاکل شوي وخت کې مطلوب اعتبار ترلاسه نشي، تاسو ته کافي وخت مخکې خبر درکول کېږي ترڅو پلان بدل کړئ، نه دا چې د پیل پر مهال له ستونزو خبر شئ.
دا جوړښت د یو ثابت قیمت لرونکي کڅوړې په توګه وړاندې کېږي، چې په یو پړاو کې د یوه تعدیل په شمول، د ۱۴ ورځو په موده کې بشپړېږي. تاسو اړ یاست هغه ډومین چې دا فرمایش پرې پلي کېږي او خپل لنډیز وسپارئ.