Bu ilan hakkında
Ne işe yarar
Bu, veritabanından veri ambarına, CRM'den raporlama aracına, API'den e-tabloya veya bunların birkaçının birleşimine kadar halihazırda çalıştırdığınız sistemleri birbirine bağlar. Standart çalışma sırasında satırları aktarmak kolaydır; asıl sınav, gece saat 02.00'de bir kimlik doğrulama belirtecinin süresi dolduğunda, kaynak tabloya null olabilen yeni bir alan eklendiğinde veya bir toplu aktarım yarıda kesildiğinde, yani kırkıncı günde ne olacağıdır.
Nasıl inşa edildi
Ayıklama, yükleme ve dönüştürme ayrı aşamalar olarak tutulur; çünkü her biri farklı nedenlerle başarısız olabilir ve kendine ait bir yeniden deneme mekanizması gerektirir. Ayıklama işlemi, yeniden başlatmanın kayıtları yinelemek yerine durduğu yerden devam etmesini sağlamak için bir imleci (cursor) veya filigranı (watermark) takip eder. Yükleme, her toplu işlem için bir veritabanı işlemi (transaction) içinde gerçekleşir; bu da bir kesintinin hedefi kısmen güncellenmiş halde bırakmak yerine tutarlı bir durumda bırakması anlamına gelir. Dönüştürme kuralları, daha sonra okunması zorlaşan görsel bir derleyici yerine sürüm kontrollü SQL veya Python içinde tutulur.
Her çalıştırma; okunan satırları, yazılan satırları, reddedilen satırları ve her reddin nedenini ayrıntılarıyla belirten bir bildirim dosyası oluşturur. Bir karmayla (hash) eşleştirilmiş doğal anahtar, sürecin eşgüçlü (idempotent) olmasını sağlar; yani geçmiş bir işi yeniden çalıştırmak hiçbir zarara yol açmaz. Kaynak şemalardaki değişiklikler, bir yükleme işlemini bozmadan önce algılanır ve sessiz bir hata yerine bir uyarı oluşturur.
Neler teslim alırsınız
- Kendi deponuza aktarılmış, gerçek verilerinizin bir örneğiyle test edilmiş işlem hattı kodu.
- Yığınınıza uygun bir zamanlama mekanizması: cron, bir systemd zamanlayıcısı, Airflow veya Prefect.
- Satır sayılarını, hataları ve gecikme sapmalarını kapsayan izleme ve uyarılar.
- Yeniden çalıştırmayı, geriye dönük veri doldurmayı (backfill) ve yeni bir veri kaynağının nasıl entegre edileceğini açıklayan bir çalışma kılavuzu.
Sizden talep ettiklerimiz
Kaynak ve hedef sistemlere okuma erişimi, verilerin çalışan bir örneği ve aşırı iddialı bir plan yerine işletmenizin fiilen ihtiyaç duyduğu zamanlama çizelgesi.
Zaman çizelgesi ve güncellemeler
İlk işlevsel sürüm normalde beş gün içinde hazır olur ve canlı ortama dağıtımdan önce incelemeniz için bir hazırlık (staging) çalıştırması içerir. Güncellemeler, toplantılar yerine her aşamada kısa yazılı notlar halinde sunulur ve verilerinizi etkileyen tercihler (saklama süresi, geriye dönük doldurma pencereleri ve reddedilen satırların işlenmesi gibi) gelecekte başvurmak üzere günlüğe kaydedilir. İzin verilen süre içinde güvenilirlik sağlanamazsa, sorunları yayına alma aşamasında fark etmek yerine planı değiştirebilmeniz için erkenden bilgilendirilirsiniz.
Bu derleme, tek bir düzeltme hakkı dahil olmak üzere tek seferde tamamlanan ve 14 günlük geri dönüş süresine sahip, sabit fiyatlı tek bir paket olarak sunulur. Siparişin geçerli olduğu alan adını ve proje özetinizi sağlamanız gerekecektir.