Mengenai penyenaraian ini
Fungsinya
Ini menghubungkan sistem yang sedang anda kendalikan, seperti pangkalan data ke gudang data, CRM ke alat pelaporan, API ke hamparan helaian, atau gabungan beberapa daripadanya. Pemindahan baris semasa operasi standard adalah mudah; ujian sebenar berlaku pada hari ke-empat puluh, apabila token pengesahan tamat tempoh pada jam 2 pagi, jadual sumber memperoleh medan boleh batal (nullable) baharu, atau pemindahan kelompok terganggu di pertengahan jalan.
Cara ia dibina
Pengekstrakan, pemuatan dan pengesuaian dikekalkan sebagai fasa berasingan, kerana setiap satunya boleh gagal atas sebab yang berbeza dan memerlukan mekanisme percubaan semula tersendiri. Pengekstrakan mengikut kursor atau tera air bagi memastikan permulaan semula disambung dari tempat ia terhenti dan bukannya menyalin rekod pendua. Pemuatan berlaku di dalam transaksi untuk setiap kelompok, bermakna gangguan akan meninggalkan sasaran dalam keadaan konsisten dan bukannya dikemas kini sebahagiannya. Peraturan pengesuaian kekal dalam SQL atau Python yang dikawal versi dan bukannya pembina visual yang menjadi sukar dibaca kemudian hari.
Setiap larian menjana manifes yang memperincikan baris yang dibaca, baris yang ditulis, baris yang ditolak dan sebab bagi setiap penolakan. Kunci semula jadi yang digandingkan dengan cincangan memastikan proses tersebut bersifat idempoten, bermakna menjalankan semula tugas terdahulu tidak menyebabkan sebarang kerosakan. Pengubahan pada skema sumber dikesan sebelum ia merosakkan pemuatan, menjana makluman dan bukannya kegagalan senyap.
Perkara yang anda terima
- Kod talian paip (pipeline) yang dimasukkan ke repositori anda sendiri, diuji terhadap sampel data sebenar anda.
- Mekanisme penjadualan yang sesuai untuk tindanan (stack) anda - cron, pemasa systemd, Airflow atau Prefect.
- Pemantauan dan amaran yang merangkumi kiraan baris, kegagalan dan hanyutan kependaman (latency drift).
- Buku panduan larian (runbook) yang menerangkan main semula, pengisian semula (backfill) dan cara menyepadukan sumber data baharu.
Perkara yang kami perlukan daripada anda
Akses baca kepada sistem sumber dan destinasi, sampel kerja data tersebut, dan jadual yang sebenarnya diperlukan oleh perniagaan anda dan bukannya jadual yang terlalu bercita-cita tinggi.
Garis masa dan kemas kini
Versi berfungsi awal biasanya siap dalam tempoh lima hari, mengandungi larian percubaan (staging) untuk semakan anda sebelum pelaksanaan pengeluaran. Kemas kini disediakan sebagai nota bertulis ringkas pada setiap pencapaian penting dan bukannya mesyuarat, serta pilihan yang memberi kesan kepada data anda - seperti pengekalan, tempoh pengisian semula dan pengendalian baris yang ditolak - dicatatkan untuk rujukan masa hadapan. Jika kebolehpercayaan tidak dapat dicapai dalam masa yang dibenarkan, anda akan dimaklumkan lebih awal untuk mengubah suai pelan dan bukannya menyedari isu semasa pelancaran.
Binaan ini dibekalkan sebagai satu pakej harga tetap, disiapkan dalam satu fasa dengan satu semakan disertakan, dalam tempoh pemulihan 14 hari. Anda perlu membekalkan domain yang digunakan untuk pesanan tersebut dan ringkasan keperluan anda.