Bu siyahı haqqında
Nə edir
Məlumat bazasından anbara, CRM-dən hesabat alətinə, API-dən cədvələ və ya bunlardan bir neçəsinin birləşməsinə qədər hazırda işlətdiyiniz sistemləri bir-birinə bağlayır. Standart əməliyyat zamanı sətirlərin ötürülməsi sadədir; əsl sınaq qırxıncı gündə, autentifikasiya nişanının gecə saat 2-də bitdiyi, mənbə cədvəlinin boş qala bilən yeni bir sahə əldə etdiyi və ya partiya ötürülməsinin yarıda kəsildiyi zaman nə baş verdiyidir.
Necə qurulub
Çıxarma, yükləmə və transformasiya ayrı-ayrı mərhələlər kimi saxlanılır, çünki onların hər biri fərqli səbəblərə görə uğursuz ola bilər və öz təkrar cəhd mexanizmini tələb edir. Çıxarma prosesi qeydləri təkrarlamaq əvəzinə, yenidən başladılmanın dayandığı yerdən davam etməsini təmin etmək üçün kursoru və ya su nişanını izləyir. Yükləmə hər partiya üçün əməliyyat daxilində baş verir, yəni kəsilmə hədəfi qismən yenilənmiş deyil, ardıcıl vəziyyətdə qoyur. Transformasiya qaydaları sonradan oxunması çətinləşən vizual qurucu əvəzinə, versiyaya nəzarət edilən SQL və ya Python daxilində qalır.
Hər bir icra oxunmuş sətirləri, yazılmış sətirləri, rədd edilmiş sətirləri və hər bir imtinanın səbəbini ətraflı əks etdirən manifest yaradır. Heş ilə birləşdirilmiş təbii açar prosesin idempotent olmasını təmin edir, yəni keçmiş tapşırığın yenidən icrası heç bir zərər vermir. Mənbə sxemlərindəki dəyişikliklər yükləməni pozmazdan əvvəl aşkarlanır və səssiz uğursuzluq əvəzinə xəbərdarlıq yaradılır.
Nə əldə edirsiniz
- Real məlumatlarınızın nümunəsi üzərində sınaqdan keçirilmiş və şəxsi repozitoriyanıza daxil edilmiş payplayn kodu.
- Sizin texnoloji strukturunuza uyğun planlaşdırma mexanizmi - cron, systemd taymeri, Airflow və ya Prefect.
- Sətir sayını, xətaları və gecikmə dəyişmələrini əhatə edən monitorinq və xəbərdarlıqlar.
- Təkrar oxutmanı, geriyə doğru doldurulmanı (backfill) və yeni məlumat mənbəyinin necə inteqrasiya ediləcəyini izah edən təlimatat kitabçası (runbook).
Sizdən tələb olunanlar
Mənbə və təyinat sistemlərinə oxuma icazəsi, məlumatların işlək bir nümunəsi və həddindən artıq iddialı deyil, biznesinizin faktiki olaraq ehtiyac duyduğu qrafik.
Zaman cədvəli və yeniləmələr
İlkin işlək versiya adətən beş gün ərzində hazır olur və istehsala tətbiq edilməzdən əvvəl nəzərdən keçirməyiniz üçün bir sınaq (staging) icrasını ehtiva edir. Yeniləmələr görüşlər əvəzinə hər mərhələdə qısa yazılı qeydlər şəklində təqdim edilir və məlumatlarınıza təsir edən qərarlar - məsələn, saxlama müddəti, geriyə doğru doldurulma pəncərələri və rədd edilmiş sətirlərin idarə edilməsi - gələcəkdə istinad üçün qeydə alınır. Əgər icazə verilən müddət ərzində etibarlılığı təmin etmək mümkün olmazsa, işə salınma zamanı problemlərlə qarşılaşmaq əvəzinə, planı dəyişdirmək üçün sizə kifayət qədər erkən məlumat verilir.
Bu tərtibat vahid sabit qiymətli paket kimi təqdim olunur, bir düzəliş daxil olmaqla bir mərhələdə, 14 günlük icra müddətində tamamlanır. Siz sifarişin aid olduğu domeni və tələblər toplusunu təqdim etməli olacaqsınız.