Rreth këtij njoftimi
Çfarë bën
Kjo lidh sistemet që përdorni aktualisht, si p.sh. bazën e të dhënave me depon e të dhënave, CRM-në me mjetin e raportimit, API-në me fletën e llogaritjes, ose disa prej tyre të kombinuara. Transferimi i rreshtave gjatë funksionimit standard është i thjeshtë; prova e vërtetë është ajo që ndodh në ditën e dyzetë, kur një token autentikimi skadon në orën 2 të mëngjesit, një tabelë burimore merr një fushë të re nullable, ose një transferim në grup ndërpritet në mes.
Si është ndërtuar
Nxjerrja, ngarkimi dhe transformimi mbahen si faza të veçanta, sepse secila mund të dështojë për arsye të ndryshme dhe kërkon mekanizmin e vet të riprovimit. Nxjerrja ndjek një kursor ose nivelues për të siguruar që një rinisje të vazhdojë nga vendi ku u ndal, në vend që të dyfishojë regjistrimet. Ngarkimi bëhet brenda një transaksioni për çdo grup, që do të thotë se një ndërprerje e lë objektivin në një gjendje të qëndrueshme në vend që të përditësohet pjesërisht. Rregullat e transformimit mbeten në SQL ose Python të kontrolluar sipas versioneve, në vend të një ndërtuesi vizual që bëhet i vështirë për t'u lexuar më vonë.
Çdo ekzekutim krijon një manifest që detajon rreshtat e lexuar, rreshtat e shkruar, rreshtat e refuzuar dhe arsyen për secilin refuzim. Një çelës natyror i çiftuar me një hash siguron që procesi të jetë idempotent, që do të thotë se riekzekutimi i një pune të kaluar nuk shkakton dëme. Ndryshimet në skemat burimore zbulohen përpara se të prishin një ngarkim, duke gjeneruar një paralajmërim në vend të një dështimi të heshtur.
Çfarë merrni
- Kodi i linjës së përpunimit të të dhënave (pipeline) i ngarkuar në depon tuaj, i testuar me një mostër të të dhënave tuaja reale.
- Një mekanizëm planifikimi i përshtatshëm për strukturën tuaj teknologjike - cron, një kohëmatës systemd, Airflow ose Prefect.
- Monitorim dhe njoftime që mbulojnë numrin e rreshtave, dështimet dhe vonesat në përpunim.
- Një udhëzues operacional (runbook) që shpjegon riekzekutimin, plotësimin e të dhënave të kaluara (backfill) dhe mënyrën e integrimit të një burimi të ri të dhënash.
Çfarë na nevojitet nga ju
Qasje vetëm për lexim në sistemet burimore dhe ato të destinacionit, një mostër funksionale e të dhënave, si dhe orari që i nevojitet realisht biznesit tuaj dhe jo një plan jorealist.
Afatet kohore dhe përditësimet
Një version funksional fillestar është zakonisht gati brenda pesë ditësh, duke përfshirë një testim në mjedisin provë për shqyrtimin tuaj përpara vendosjes në prodhim. Përditësimet ofrohen si shënime të shkurtra me shkrim në çdo fazë kryesore në vend të takimeve, dhe vendimet që ndikojnë në të dhënat tuaja - si ruajtja, dritaret e plotësimit të të dhënave të kaluara dhe trajtimi i rreshtave të refuzuar - regjistrohen për referencë në të ardhmen. Nëse besueshmëria nuk mund të arrihet brenda kohës së lejuar, ju do të njoftoheni mjaftueshëm herët për të modifikuar planin, në vend që të zbuloni probleme gjatë nisjes.
Ky shërbim ofrohet si një paketë e vetme me çmim fiks, e përfunduar në një fazë të vetme me një rishikim të përfshirë, brenda një afati prej 14 ditësh. Ju do të duhet të siguroni domenin për të cilin vlen porosia dhe kërkesat tuaja përmbledhëse.