Продавано от Zinn Digital
Надежден ETL конвейер, който прехвърля данни между вашите системи по определен график, възстановява се чисто след сривове и сигнализира за проблеми, преди те да доведат до загуба на данни.
Какво прави
Това свързва системите, които използвате в момента, като например база данни с хранилище за данни, CRM с инструмент за отчети, API с електронна таблица или няколко от тях в комбинация. Прехвърлянето на редове при стандартна работа е лесно; истинският тест е какво се случва на четиридесетия ден, когато токенът за автентикация изтече в 2:00 ч. през нощта, в изходната таблица се появи ново поле с възможност за нулеви стойности (nullable) или груповият трансфер прекъсне по средата.
Как е изградено
Извличането, зареждането и трансформацията се поддържат като отделни фази, тъй като всяка от тях може да се провали по различни причини и изисква собствен механизъм за повторен опит. Извличането следва курсор или воден знак (watermark), за да се гарантира, че при рестартиране процесът продължава оттам, където е спрял, вместо да дублира записи. Зареждането се извършва в рамките на трансакция за всяка партида, което означава, че евентуално прекъсване оставя целевата система в съгласувано състояние, а не частично актуализирана. Правилата за трансформация се съхраняват във версия-контролиран SQL или Python вместо във визуален редактор, който по-късно става труден за разчитане.
Всяко изпълнение генерира манифест с подробни данни за прочетените редове, записаните редове, отхвърлените редове и причината за всяко отхвърляне. Естествен ключ, комбиниран с хеш, гарантира, че процесът е идемпотентен, което означава, че повторното изпълнение на минала задача не нанася щети. Промените в схемите на източника се засичат, преди да нарушат зареждането, като генерират предупреждение вместо тихо прекъсване на работата.
Какво получавате
Какво ни е необходимо от вас
Достъп за четене до изходните и целевите системи, работеща извадка от данните и графикът, от който бизнесът ви действително се нуждае, а не прекалено амбициозен такъв.
Срокове и актуализации
Първоначална функционална версия обикновено е готова в рамките на пет дни, като съдържа тестово изпълнение (staging) за вашия преглед преди пускането в реална среда. Актуализациите се предоставят под формата на кратки писмени бележки на всеки етап, а не чрез срещи, като изборите, влияещи на вашите данни - като например съхранение, прозорци за ретроспективно попълване и обработка на отхвърлени редове - се записват за бъдещи справки. Ако надеждността не може да бъде постигната в рамките на допустимото време, ще бъдете информирани достатъчно рано, за да промените плана, вместо да откривате проблеми при самото стартиране.
Тази разработка се предоставя като единичен пакет с фиксирана цена, завършен на един етап с включена една ревизия, в срок за изпълнение от 14 дни. Ще трябва да предоставите домейна, за който се отнася поръчката, както и вашето задание.
562,99 щ.д.
Или платете 502,09 € · 420,48 GBP по днешния курс — курсът се фиксира, когато го добавите в количката си.
One fixed-price scope, delivered in one pass: ETL Pipeline Build. - 1 revision
Доставено след 14 дни
Включени версии: 0
Не е необходим акаунт предварително — Вашият се създава при плащане. Задържаме парите, докато не приемете работата.
При такива сценарии използваме съставен курсор или хеш на съдържанието и обсъждаме компромисите с Вас, преди да напишем какъвто и да е код. Хешът увеличава разходите за всяко изпълнение, но гарантира, че няма да бъдат пропуснати никакви промени.
Да. Изграждали сме конвейери за данни през множество релационни и нерелационни бази данни, облачни хранилища, обектни хранилища, приложения за електронни таблици и стандартни REST интерфейси. Изборът на инструменти се основава на това, което Вашият екип може реално да поддържа.
Всяка партида генерира манифест, съдържащ броя на редовете и причините за евентуални отхвърляния, а тестовият пакет извършва проверка спрямо автентична извадка от Вашите данни, което означава, че неоповестена промяна в схемата се появява като неуспешен тест, а не като липсващ ред.