A tételről
Mit csinál
Összekapcsolja az Ön által jelenleg futtatott rendszereket, például az adatbázist az adattárházzal, a CRM-et a jelentéskészítő eszközzel, az API-t a táblázatkezelővel, vagy ezek közül többet kombinálva. A sorok átvitele a szokásos működés során egyszerű; a valódi próbatétel az, ami a negyvenedik napon történik, amikor egy hitelesítési token hajnali kettőkor lejár, egy forrástábla új, nullázható mezőt kap, vagy egy kötegelt átvitel félúton megszakad.
Hogyan épül fel
A kinyerés, a betöltés és az átalakítás külön fázisként van kezelve, mivel mindegyik más-más okból hibásodhat meg, és saját újrapróbálkozási mechanizmust igényel. A kinyerés egy kurzort vagy vízjelet követ, hogy az újraindítás a leállás helyéről folytatódjon, ahelyett hogy megkettőzné a rekordokat. A betöltés minden köteg esetében egy tranzakción belül történik, ami azt jelenti, hogy a megszakítás a célállomást konzisztens állapotban hagyja a részleges frissítés helyett. Az átalakítási szabályok verziókövetett SQL-ben vagy Python környezetben maradnak egy vizuális szerkesztő helyett, amely később nehezen olvashatóvá válik.
Minden futtatás létrehoz egy jegyzéket, amely részletezi a beolvasott sorokat, a kiírt sorokat, az elutasított sorokat és az egyes elutasítások okát. A kivonattal (hash) párosított természetes kulcs biztosítja a folyamat idempotenciáját, ami azt jelenti, hogy egy korábbi feladat újrafuttatása nem okoz kárt. A forrássémák módosításait még azelőtt észleli a rendszer, hogy azok megzavarnák a betöltést, így csendes hiba helyett figyelmeztetést generál.
Amit Ön kap
- A saját adattárába beküldött pipeline-kód, amely a valós adatai mintáján tesztelve van.
- Az Ön technológiai készletéhez illeszkedő ütemezési mechanizmus - cron, egy systemd időzítő, Airflow vagy Prefect.
- Megfigyelés és riasztások, amelyek kiterjednek a sorszámokra, a hibákra és a késleltetés eltéréseire.
- Egy útmutató, amely elmagyarázza az újrajátszást, az utólagos feltöltést és az új adatforrások bevezetésének módját.
Amire szükségünk van Öntől
Olvasási hozzáférés a forrás- és célrendszerekhez, egy működő adatminta, valamint egy olyan ütemezés, amelyre a vállalkozásának valóban szüksége van, nem pedig egy túlzottan ambiciózus terv.
Ütemterv és frissítések
Egy kezdeti, működőképes verzió általában öt napon belül elkészül, amely tartalmaz egy tesztfuttatást az Ön általi áttekintésre az éles környezetbe történő telepítés előtt. A frissítéseket megbeszélések helyett rövid írásos feljegyzések formájában biztosítjuk minden mérföldkőnél, és az adatait érintő döntéseket - mint például a megőrzés, az utólagos feltöltési időablakok és az elutasított sorok kezelése - naplózzuk a későbbi hivatkozás céljából. Ha a megbízhatóság nem érhető el a megengedett időn belül, kellően korán értesítjük Önt, hogy módosíthassa a tervet, ahelyett, hogy az induláskor szembesülne a problémákkal.
Ez az összeállítás egyetlen fix áras csomagként kerül biztosításra, amely egy menetben készül el egy mellékelt felülvizsgálattal, 14 napos átfutási időn belül. Meg kell adnia a megrendelésre vonatkozó domaint és az összefoglalóját.