Sprzedawane przez Zinn Digital
Niezawodny potok ETL, który przesyła dane między Twoimi systemami zgodnie z ustalonym harmonogramem, bezproblemowo odzyskuje sprawność po awariach i sygnalizuje problemy, zanim doprowadzą do utraty danych.
Co to robi
Łączy systemy, z których obecnie korzystasz, takie jak baza danych z magazynem danych, CRM z narzędziem do raportowania, API z arkuszem kalkulacyjnym lub kilka z nich jednocześnie. Przenoszenie wierszy podczas standardowej pracy jest proste; prawdziwym sprawdzianem jest to, co wydarzy się czterdziestego dnia, gdy token uwierzytelniający wygaśnie o 2:00 w nocy, tabela źródłowa zyska nowe pole dopuszczające wartości null, lub transfer partii zostanie przerwany w połowie.
Jak to jest zbudowane
Ekstrakcja, ładowanie i transformacja są utrzymywane jako odrębne etapy, ponieważ każdy z nich może zawieść z innych przyczyn i wymaga własnego mechanizmu ponawiania prób. Ekstrakcja podąża za kursorem lub znacznikiem (watermark), aby wznowienie procesu następowało od miejsca zatrzymania, a nie poprzez duplikowanie rekordów. Ładowanie odbywa się w ramach transakcji dla każdej partii, co oznacza, że przerwanie pozostawia cel w spójnym stanie, zamiast częściowo zaktualizowanym. Reguły transformacji pozostają w kontrolowanym wersjami kodzie SQL lub Python, zamiast w wizualnym kreatorze, który z czasem staje się trudny do odczytania.
Każde uruchomienie generuje manifest zawierający szczegółowe informacje o przeczytanych wierszach, zapisanych wierszach, odrzuconych wierszach oraz przyczynie każdego odrzucenia. Klucz naturalny połączony ze skrótem gwarantuje idempotencję procesu, co oznacza, że ponowne uruchomienie przeszłego zadania nie powoduje żadnych szkód. Zmiany w schematach źródłowych są wykrywane zanim doprowadzą do błędu ładowania, generując alert zamiast cichej awarii.
Co otrzymujesz
Czego potrzebujemy od Państwa
Dostępu do odczytu systemów źródłowych i docelowych, działającej próbki danych oraz harmonogramu, którego Państwa firma rzeczywiście potrzebuje, a nie harmonogramu opartego na zbyt wygórowanych założeniach.
Harmonogram i aktualizacje
Początkowa wersja funkcjonalna jest zwykle gotowa w ciągu pięciu dni i obejmuje przebieg w środowisku przejściowym (staging) do Państwa weryfikacji przed wdrożeniem produkcyjnym. Aktualizacje są przekazywane w formie krótkich notatek pisemnych przy każdym kamieniu milowym zamiast spotkań, a decyzje mające wpływ na Państwa dane — takie jak retencja, okna uzupełniania danych oraz obsługa odrzuconych wierszy — są rejestrowane do wykorzystania w przyszłości. Jeśli nie uda się osiągnąć niezawodności w przewidzianym czasie, zostaną Państwo o tym poinformowani wystarczająco wcześnie, aby zmodyfikować plan, zamiast odkrywać problemy dopiero w momencie uruchomienia.
Ta usługa jest dostarczana jako pojedynczy pakiet o stałej cenie, realizowany w jednym podejściu z jedną poprawką w cenie, w terminie realizacji do 14 dni. Będą Państwo musieli podać domenę, której dotyczy zamówienie, oraz wytyczne projektu.
562,99 USD
Lub zapłać 502,09 € · 420,48 GBP według dzisiejszego kursu — kurs zostaje zablokowany w momencie dodania do koszyka.
One fixed-price scope, delivered in one pass: ETL Pipeline Build. - 1 revision
Dostarczono w 14 dni
Uwzględnione rewizje: 0
Konto nie jest wcześniej wymagane — zostanie utworzone podczas kasy. Przetrzymujemy pieniądze do momentu zaakceptowania przez Państwa pracy.
W takich sytuacjach stosujemy kursor złożony lub skrót zawartości i przed napisaniem jakiegokolwiek kodu omawiamy z Państwem wszelkie kompromisy. Skrót zwiększa koszt pojedynczego uruchomienia, ale gwarantuje, že żadne zmiany nie zostaną pominięte.
Tak. Zbudowaliśmy potoki obejmujące liczne relacyjne i nierelacyjne bazy danych, magazyny w chmurze, pamięci obiektowe, aplikacje arkuszy kalkulacyjnych oraz standardowe interfejsy REST. Dobór narzędzi opiera się na tym, co Państwa zespół może praktycznie utrzymać.
Każda partia generuje manifest zawierający liczbę wierszy oraz przyczyny ewentualnych odrzuceń, a zestaw testów dokonuje weryfikacji na autentycznej próbce Państwa danych, co oznacza, że niezapowiedziana zmiana schematu pojawia się jako nieudany test, a nie brakujący wiersz.