Бұл тізім туралы
Бұл не істейді
Бұл қазіргі уақытта іске қосылған жүйелеріңізді, мысалы, дерекқорды деректер қоймасымен, CRM жүйесін есеп беру құралымен, API интерфейсін электрондық кестемен немесе осылардың бірнешеуін өзара байланыстырады. Қалыпты жұмыс барысында жолдарды тасымалдау оңай; нағыз сынақ қырқыншы күні, түнгі сағат 2-де аутентификация токенінің мерзімі аяқталғанда, бастапқы кестеге жаңа бос мәнді (nullable) өріс қосылғанда немесе топтамалық тасымалдау орта жолда үзілгенде басталады.
Бұл қалай құрастырылған
Шығарып алу, жүктеу және түрлендіру бөлек кезеңдер ретінде сақталады, өйткені олардың әрқайсысы әртүрлі себептермен сәтсіз аяқталуы мүмкін және қайталаудың жеке механизмін қажет етеді. Шығарып алу курсорға немесе су таңбасына (watermark) сүйенеді, бұл жүйені қайта іске қосқан кезде жазбаларды қайталамай, тоқтаған жерінен жалғастыруды қамтамасыз етеді. Жүктеу әр топтама үшін транзакция шеңберінде жүзеге асады, яғни жұмыс үзілген жағдайда мақсатты жүйе жартылай жаңартылған күйде емес, сәйкестігі сақталған тұрақты күйде қалады. Түрлендіру ережелері кейін оқу қиынға соғатын визуалды құрастырушының орнына нұсқалары бақыланатын SQL немесе Python тілінде сақталады.
Әрбір іске қосу оқылған жолдарды, жазылған жолдарды, қабылданбаған жолдарды және әрбір қабылдамау себебін егжей-тегжейлі көрсететін манифест жасайды. Хэшпен жұптастырылған табиғи кілт процестің идемпотенттілігін қамтамасыз етеді, демек бұрынғы тапсырманы қайта орындау ешқандай зақым келтірмейді. Бастапқы схемалардағы өзгерістер жүктеу үдерісін бұзбай тұрып анықталады да, жасырын қатенің орнына ескерту жасалады.
Сіз не аласыз
- Өзіңіздің репозиторийіңізге салынған, нақты деректеріңіздің үлгісінде сыналған пайплайн коды.
- Стекке сай келетін жоспарлау механизмі — cron, systemd таймері, Airflow немесе Prefect.
- Жолдар санын, ақауларды және кідіріс ауытқуларын қамтитын мониторинг пен ескертулер.
- Қайта іске қосуды, толтыруды (backfill) және жаңа деректер көзін қосуды түсіндіретін нұсқаулық (runbook).
Бізге сізден не қажет
Бастапқы және соңғы жүйелерге оқуға қолжетімділік, деректердің жұмыс үлгісі және орындалуы қиын емес, бизнесіңізге нақты қажет кесте.
Мерзімдер және жаңартулар
Бастапқы функционалды нұсқа әдетте бес күн ішінде дайын болады және өндіріске енгізу алдында қарап шығуыңыз үшін сынақ орындалуын қамтиды. Жаңартулар кездесулер түрінде емес, әр кезеңде қысқаша жазбаша жазбалар түрінде беріледі, ал деректеріңізге әсер ететін таңдаулар (мысалы, сақтау мерзімі, толтыру терезелері және қабылданбаған жолдарды өңдеу) болашақта пайдалану үшін журналға тіркеледі. Егер сенімділікке берілген уақыт ішінде қол жеткізу мүмкін болмаса, жобаны іске қосу кезінде мәселелерге тап болмауыңыз үшін жоспарды өзгертуге болатындай етіп сізге алдын ала ескертіледі.
Бұл жинақ 14 күндік мерзімде бір түзетуді қамтитын, бір өтуде аяқталатын бірыңғай белгіленген баға пакеті ретінде ұсынылады. Сізге тапсырыс қолданылатын доменді және өз техникалық сипаттамаңызды ұсыну қажет болады.