Надежный конвейер данных ETL для передачи данных между системами

Краткий обзор

Цена

562,99 $

Доставка

Доставляется за 14 дн.

Продавец

Zinn Digital

Продано

0

Об этом объявлении

Что это делает

Это связывает системы, которые вы используете в данный момент, например базу данных с хранилищем данных, CRM с инструментом отчетности, API с электронной таблицей или сразу несколько из них. Перенос строк в штатном режиме не представляет сложности; настоящее испытание начинается на сороковой день, когда в два часа ночи истекает срок действия токена аутентификации, в исходной таблице появляется новое поле, допускающее значение NULL, или пакетная передача прерывается на полпути.

Как это устроено

Извлечение, загрузка и трансформация разделены на отдельные этапы, поскольку каждый из них может завершиться сбоем по разным причинам и требует собственного механизма повторных попыток. Извлечение выполняется по курсору или контрольной точке (watermark), благодаря чему перезапуск возобновляет процесс с места остановки, а не дублирует записи. Загрузка каждого пакета происходит внутри транзакции, то есть в случае сбоя целевая система остается в согласованном состоянии, а не обновленной частично. Правила трансформации хранятся в версионируемом SQL или Python, а не в визуальном конструкторе, который со временем становится трудно читать.

Каждый запуск создает манифест с подробным описанием прочитанных, записанных и отклоненных строк, а также причины каждого отклонения. Естественный ключ в сочетании с хешем обеспечивает идемпотентность процесса, что гарантирует безопасность повторного запуска предыдущего задания. Изменения в схемах источников обнаруживаются до того, как они нарушат процесс загрузки, что приводит к созданию оповещения, а не к незаметному сбою.

Что вы получаете

• Код конвейера, зафиксированный в вашем собственном репозитории и протестированный на выборке ваших реальных данных.
• Механизм планирования, подходящий для вашего стека: cron, таймер systemd, Airflow или Prefect.
• Мониторинг и оповещения, охватывающие количество строк, сбои и отклонения задержки.
• Инструкция (runbook) с описанием повторного запуска, ретроспективного заполнения (backfill) и подключения нового источника данных.

Что нам потребуется от вас

Доступ только на чтение к исходным и целевым системам, рабочая выборка данных и расписание, которое действительно необходимо вашему бизнесу, а не излишне амбициозный график.

Сроки и отчетность

Первоначальная рабочая версия обычно готова в течение пяти дней и включает тестовый запуск на промежуточном сервере (staging) для вашей проверки перед развертыванием в рабочей среде. Обновления предоставляются в виде кратких письменных заметок на каждом этапе вместо встреч, а решения, влияющие на ваши данные (например, сроки хранения, окна ретроспективного заполнения и обработка отклоненных строк), фиксируются для использования в будущем. Если надежность не может быть обеспечена в отведенное время, вас проинформируют заранее, чтобы скорректировать план, а не выявлять проблемы в момент запуска.

Эта сборка предоставляется в виде единого пакета с фиксированной ценой, выполняется в один этап с возможностью внесения одной ревизии со сроком выполнения 14 дней. Вам потребуется указать домен, к которому относится заказ, и предоставить ваше техническое задание.

Вопросы и ответы