Այս ցուցակի մասին
Ինչ է այն անում
Սա կապում է ձեր կողմից ներկայումս գործարկվող համակարգերը, ինչպիսիք են տվյալների բազան պահոցի հետ, CRM-ը հաշվետվությունների գործիքի հետ, API-ը էլեկտրոնային աղյուսակի հետ կամ դրանցից մի քանիսը միասին: Ստանդարտ աշխատանքի ընթացքում տողերի փոխանցումը պարզ գործընթաց է. իսկական փորձությունը տեղի է ունենում քառասուներորդ օրը, երբ վավերացման թոքենի ժամկետը լրանում է գիշերվա ժամը 2-ին, աղբյուրի աղյուսակում ավելանում է զրոյական արժեք ընդունող նոր դաշտ, կամ փաթեթային փոխանցումն ընդհատվում է կեսից:
Ինչպես է այն կառուցված
Տվյալների կորզումը, բեռնումը և փոխակերպումը պահպանվում են որպես առանձին փուլեր, քանի որ յուրաքանչյուրը կարող է խափանվել տարբեր պատճառներով և պահանջում է կրկնման իր սեփական մեխանիզմը: Կորզումը հետևում է կուրսորին կամ ջրանիշին (watermark)՝ ապահովելու համար, որ վերագործարկումը շարունակվի այնտեղից, որտեղ կանգ է առել, այլ ոչ թե կրկնօրինակի գրառումները: Բեռնումը տեղի է ունենում գործարքի (transaction) ներսում յուրաքանչյուր փաթեթի համար, ինչը նշանակում է, որ ընդհատման դեպքում թիրախային միջավայրը մնում է համաձայնեցված վիճակում, այլ ոչ թե մասնակիորեն թարմացված: Փոխակերպման կանոնները մնում են տարբերակների կառավարմամբ SQL կամ Python կոդում՝ տեսողական կառուցիչի (visual builder) փոխարեն, որը հետագայում դժվարընթեռնելի է դառնում:
Յուրաքանչյուր գործարկում ստեղծում է մանիֆեստ, որտեղ մանրամասն նկարագրված են կարդացված տողերը, գրված տողերը, մերժված տողերը և յուրաքանչյուր մերժման պատճառը: Հեշի հետ զուգակցված բնական բանալին ապահովում է գործընթացի իդեմպոտենտությունը, ինչը նշանակում է, որ նախկին առաջադրանքի կրկնակի գործարկումը ոչ մի վնաս չի պատճառում: Աղբյուրի սխեմաների փոփոխությունները հայտնաբերվում են նախքան բեռնման խափանումը՝ լուռ ձախողման փոխարեն առաջացնելով ծանուցում:
Ինչ եք դուք ստանում
- Փայփլայնի կոդ՝ ներկայացված ձեր սեփական ռեպոզիտորիում, փորձարկված ձեր իրական տվյալների նմուշի հիման վրա։
- Ձեր տեխնոլոգիական ստեկին հարմարեցված ժամանակացույցի մեխանիզմ՝ cron, systemd թայմեր, Airflow կամ Prefect։
- Մոնիտորինգ և ծանուցումներ, որոնք ընդգրկում են տողերի քանակը, խափանումները և լատենտության շեղումները։
- Գործառնական ուղեցույց, որը բացատրում է տվյալների վերարտադրումը, լրացումը (backfill) և տվյալների նոր աղբյուր ինտեգրելու գործընթացը։
Ինչ է մեզ անհրաժեշտ ձեզանից
Ընթերցման հասանելիություն աղբյուրի և նպատակակետ համակարգերին, տվյալների աշխատանքային նմուշ, և այնպիսի ժամանակացույց, որն իրականում անհրաժեշտ է ձեր բիզնեսին՝ ոչ թե չափազանց հավակնոտ մի տարբերակ։
Ժամանակացույց և թարմացումներ
Նախնական ֆունկցիոնալ տարբերակը սովորաբար պատրաստ է լինում հինգ օրվա ընթացքում՝ ներառելով փորձնական գործարկում՝ նախքան արտադրական միջավայր տեղակայելը ձեր կողմից վերանայման համար։ Թարմացումները տրամադրվում են ոչ թե հանդիպումների, այլ յուրաքանչյուր փուլում կարճ գրավոր գրառումների տեսքով, իսկ ձեր տվյալների վրա ազդող որոշումները (օրինակ՝ պահպանումը, լրացման միջակայքերը և մերժված տողերի մշակումը) գրանցվում են հետագա հղումների համար։ Եթե թույլատրված ժամանակում հնարավոր չէ հասնել հուսալիության, դուք տեղեկացվում եք բավականաչափ շուտ՝ ծրագիրը փոփոխելու համար, այլ ոչ թե խնդիրներ եք հայտնաբերում գործարկման պահին։
Այս լուծումը մատակարարվում է որպես մեկ ֆիքսված գնով փաթեթ՝ ավարտված մեկ փուլով՝ ներառյալ մեկ վերանայում, 14-օրյա ժամկետում։ Ձեզ անհրաժեշտ կլինի տրամադրել այն տիրույթը (domain), որին վերաբերում է պատվերը, և ձեր տեխնիկական առաջադրանքը։