システム間データ転送のための信頼性の高いETLデータパイプライン

一目で確認

価格

$562.99

配信

14日以内に納品

販売者

Zinn Digital

販売済み

0

この出品について

機能の概要

本機能は、データベースとウェアハウス、CRMとレポートツール、APIとスプレッドシートなど、現在運用されているシステム、あるいはこれらを組み合わせた複数のシステムを連携します。通常運用時のデータ行の転送は簡単ですが、真の試練は40日目に訪れます。午前2時に認証トークンが期限切れになった場合や、ソーステーブルにNULL許容の新しいフィールドが追加された場合、あるいはバッチ転送が途中で中断された場合などです。

アーキテクチャの構成

抽出、ロード、変換は、それぞれ異なる理由で失敗する可能性があり、固有の再試行メカニズムを必要とするため、独立したフェーズとして維持されます。抽出はカーソルまたはウォーターマークに従って行われ、再起動時にレコードを重複させることなく、停止した箇所から確実に再開します。ロードはバッチごとにトランザクション内で実行されるため、中断が発生してもターゲットが部分的に更新されることはなく、整合性のある状態が保たれます。変換ルールは、後から解読が困難になるビジュアルビルダーではなく、バージョン管理されたSQLまたはPythonで維持されます。

実行ごとに、読み取られた行数、書き込まれた行数、拒否された行数、および各拒否の理由を詳述したマニフェストが生成されます。ナチュラルキーとハッシュの組み合わせによりプロセスの冪等性が保証されるため、過去のジョブを再実行しても障害は発生しません。ソーススキーマの変更はロードが破綻する前に検出され、サイレントエラーではなくアラートが生成されます。

提供される内容

• お客様ご自身のリポジトリにコミットされ、実際のデータのサンプルに対してテスト済みのパイプラインコード。
• cron、systemdタイマー、Airflow、Prefectなど、お客様のスタックに適したスケジューリング機構。
• 行数、障害、レイテンシの偏りを網羅するモニタリングとアラート。
• 再実行、バックフィル、および新しいデータソースの導入手順を説明したランブック。

お客様にご用意いただくもの

ソースシステムおよび宛先システムへの読み取りアクセス権、データの有効なサンプル、そして実現困難なものではなくお客様のビジネスで実際に必要とされるスケジュール。

スケジュールと進捗報告

最初の機能バージョンは通常5日以内に準備され、本番導入前のレビュー用にステージング実行が含まれます。進捗報告は会議ではなく各マイルストーンでの簡単な文書メモとして提供され、保持期間、バックフィル期間、拒否された行の処理など、データに影響を与える決定事項は将来の参照用に記録されます。許可された時間内で信頼性を確保できない場合は、公開時に問題が判明するのを防ぐため、計画を変更できるよう早い段階でお知らせいたします。

このビルドは単一の固定価格パッケージとして提供され、1回の修正を含めて1回のパスで完了し、14日間の納期で対応いたします。注文の対象となるドメインと概要をご提示いただく必要があります。

よくある質問と回答