درباره این مورد فهرستشده
عملکرد این بخش
این مورد سیستمهایی را که در حال حاضر اجرا میکنید به یکدیگر متصل میکند، مانند پایگاه داده به انبار داده، CRM به ابزار گزارشگیری، API به صفحهگسترده یا ترکیبی از چندین مورد از اینها. انتقال سطرها در طول عملیات استاندارد ساده است؛ آزمون واقعی چیزی است که در روز چهلم رخ میدهد، زمانی که یک توکن احراز هویت در ساعت ۲ بامداد منقضی میشود، یک جدول مبدأ فیلد مقدارپذیر تهی جدیدی دریافت میکند یا یک انتقال دستهای در نیمه راه متوقف میشود.
نحوه ساخت آن
استخراج، بارگذاری و تبدیل به عنوان مراحل مجزا نگهداری میشوند، زیرا هر یک ممکن است به دلایل متفاوتی با شکست مواجه شوند و به مکانیسم تلاش مجدد اختصاصی خود نیاز دارند. استخراج از یک مکاننما یا واترمارک پیروی میکند تا اطمینان حاصل شود که شروع مجدد به جای تکثیر رکوردها، از همان جایی که متوقف شده بود ادامه مییابد. بارگذاری درون یک تراکنش برای هر دسته انجام میشود، به این معنی که وقفه باعث باقی ماندن مقصد در وضعیتی سازگار میشود و نه بهروزرسانیشده بهصورت ناقص. قوانین تبدیل به جای یک سازنده بصری که بعداً خواندن آن دشوار میشود، در SQL یا Python دارای کنترل نسخه باقی میمانند.
هر اجرا مانیفستی تولید میکند که جزئیات سطرهای خواندهشده، سطرهای نوشتهشده، سطرهای ردشده و دلیل هر رد را شرح میدهد. یک کلید طبیعی جفتشده با یک هش تضمین میکند که فرآیند پایاپای است، به این معنی که اجرای مجدد یک کار قبلی هیچ آسیبی ایجاد نمیکند. تغییرات در طرحوارههای مبدأ پیش از اختلال در بارگذاری شناسایی میشوند و به جای یک خرابی خاموش، یک هشدار ایجاد میکنند.
آنچه دریافت میکنید
- کد پایپلاین که در مخزن اختصاصی شما ثبت شده و با نمونهای از دادههای واقعی شما آزمایش شده است.
- یک سازوکار زمانبندی متناسب با استک فنی شما - cron، تایمر systemd، Airflow یا Prefect.
- نظارت و هشدارهایی که تعداد ردیفها، خطاها و انحراف تأخیر را پوشش میدهند.
- یک کتابچه راهنمای اجرایی که بازپخش، تکمیل دادههای گذشته (backfill) و نحوه اضافه کردن منبع داده جدید را توضیح میدهد.
آنچه از شما نیاز داریم
دسترسی خواندن به سیستمهای مبدأ و مقصد، یک نمونه کاربردی از دادهها، و جدول زمانی که کسبوکار شما واقعاً به آن نیاز دارد، نه یک برنامه بلندپروازانه.
جدول زمانی و بهروزرسانیها
یک نسخه کاربردی اولیه معمولاً ظرف پنج روز آماده میشود و شامل یک اجرای آزمایشی برای بررسی شما پیش از استقرار در محیط عملیاتی است. بهروزرسانیها بهجای جلسات، بهصورت یادداشتهای کتبی کوتاه در هر مرحله عطف ارائه میشوند، و انتخابهایی که بر دادههای شما تأثیر میگذارند - مانند نگهداری دادهها، بازههای تکمیل دادههای گذشته و مدیریت ردیفهای ردشده - برای مراجعات بعدی ثبت میگردند. اگر دستیابی به قابلیت اطمینان در زمان مجاز امکانپذیر نباشد، بهجای اینکه در زمان راهاندازی با مشکلات مواجه شوید، بهاندازه کافی زود به شما اطلاع داده میشود تا بتوانید برنامه را تغییر دهید.
این پیادهسازی بهعنوان یک بسته تکی با قیمت ثابت ارائه میشود که در یک نوبت با یک بازنگریِ گنجاندهشده، در مدت زمان تحویل ۱۴ روزه تکمیل میگردد. شما باید دامنهای که سفارش مربوط به آن است و توضیحات مدنظر خود را ارائه دهید.