આ લિસ્ટિંગ વિશે
આ શું કરે છે
આ તમે હાલમાં ચલાવો છો તે સિસ્ટમ્સને જોડે છે, જેમ કે ડેટાબેઝથી વેરહાઉસ, CRM થી રિપોર્ટિંગ ટૂલ, API થી સ્પ્રેડશીટ, અથવા આમાંના કેટલાંકનું સંયોજન. સામાન્ય કામગીરી દરમિયાન પંક્તિઓ ટ્રાન્સફર કરવી સરળ છે; સાચી કસોટી એ છે કે ચાલીસમા દિવસે શું થાય છે, જ્યારે પ્રમાણીકરણ ટોકન રાત્રે 2 વાગ્યે સમાપ્ત થઈ જાય છે, સોર્સ ટેબલ નવું નલેબલ ફીલ્ડ મેળવે છે, અથવા બેચ ટ્રાન્સફર અધવચ્ચે અટકી જાય છે.
તે કેવી રીતે બનાવવામાં આવ્યું છે
એક્સટ્રેક્શન, લોડિંગ અને ટ્રાન્સફોર્મેશન અલગ-અલગ તબક્કા તરીકે જાળવવામાં આવે છે, કારણ કે દરેક અલગ-અલગ કારણોસર નિષ્ફળ થઈ શકે છે અને તેની પોતાની પુનઃપ્રયાસ પદ્ધતિની જરૂર હોય છે. પુનઃપ્રારંભ રેકોર્ડ્સની નકલ કરવાને બદલે જ્યાં અટક્યું હતું ત્યાંથી ફરી શરૂ થાય તેની ખાતરી કરવા માટે એક્સટ્રેક્શન કર્સર અથવા વૉટરમાર્કને અનુસરે છે. લોડિંગ દરેક બેચ માટે ટ્રાન્ઝેક્શનની અંદર થાય છે, જેનો અર્થ છે કે વિક્ષેપ ટાર્ગેટને આંશિક રીતે અપડેટ કરવાને બદલે સુસંગત સ્થિતિમાં છોડે છે. ટ્રાન્સફોર્મેશન નિયમો વર્ઝન-નિયંત્રિત SQL અથવા Python માં રહે છે તેવા વિઝ્યુઅલ બિલ્ડરને બદલે જે પછીથી વાંચવું મુશ્કેલ બને છે.
દરેક રન વાંચેલી પંક્તિઓ, લખેલી પંક્તિઓ, નકારી કાઢેલી પંક્તિઓ અને દરેક નકારવાના કારણની વિગતો આપતો મેનિફેસ્ટ જનરેટ કરે છે. હેશ સાથે જોડી બનાવેલી નેચરલ કી ખાતરી કરે છે કે પ્રક્રિયા આઇડેમ્પોટેન્ટ છે, જેનો અર્થ છે કે ભૂતકાળના કાર્યને ફરીથી ચલાવવાથી કોઈ નુકસાન થતું નથી. સોર્સ સ્કીમામાં થતા ફેરફારો લોડમાં ખલેલ પહોંચાડે તે પહેલાં જ શોધી કાઢવામાં આવે છે, જે સાયલન્ટ ફેલ્યરને બદલે ચેતવણી જનરેટ કરે છે.
તમે શું મેળવો છો
- તમારી પોતાની રિપોઝીટરીમાં કમિટ કરેલ પાઇપલાઇન કોડ, તમારા વાસ્તવિક ડેટાના નમૂના સામે પરીક્ષણ કરેલ.
- તમારા સ્ટેકને અનુકૂળ સમયપત્રક પદ્ધતિ - cron, એક systemd ટાઈમર, Airflow અથવા Prefect.
- પંક્તિઓની ગણતરી, નિષ્ફળતાઓ અને વિલંબના તફાવતને આવરી લેતા મોનિટરિંગ અને ચેતવણીઓ.
- રિપ્લે, બેકફિલ અને નવા ડેટા સ્ત્રોતને કેવી રીતે જોડવો તે સમજાવતી રનબુક.
અમારે તમારી પાસેથી શું જોઈએ છે
સ્ત્રોત અને ગંતવ્ય સિસ્ટમ્સ માટે રીડ ઍક્સેસ, ડેટાનો કાર્યકારી નમૂનો, અને વધુ પડતા મહત્વાકાંક્ષી શેડ્યૂલને બદલે તમારા વ્યવસાયને વાસ્તવમાં જે જરૂરી છે તે શેડ્યૂલ.
સમયરેખા અને અપડેટ્સ
એક પ્રારંભિક કાર્યકારી સંસ્કરણ સામાન્ય રીતે પાંચ દિવસમાં તૈયાર થઈ જાય છે, જેમાં ઉત્પાદન ઉપયોગ પહેલાં તમારી સમીક્ષા માટે સ્ટેજિંગ રન શામેલ હોય છે. મીટિંગ્સને બદલે દરેક મહત્વપૂર્ણ તબક્કે સંક્ષિપ્ત લેખિત નોંધો તરીકે અપડેટ્સ પ્રદાન કરવામાં આવે છે, અને તમારા ડેટાને અસર કરતી પસંદગીઓ - જેમ કે જાળવણી, બેકફિલ વિન્ડોઝ અને અસ્વીકાર કરાયેલ પંક્તિઓનું સંચાલન - ભવિષ્યના સંદર્ભ માટે લોગ કરવામાં આવે છે. જો મંજૂર સમયમાં વિશ્વસનીયતા પ્રાપ્ત ન થઈ શકે, તો લોન્ચ વખતે સમસ્યાઓ શોધવાને બદલે તમને યોજનામાં ફેરફાર કરવા માટે પૂરતા વહેલા જાણ કરવામાં આવે છે.
આ બિલ્ડ એક જ નિશ્ચિત-કિંમતના પેકેજ તરીકે પૂરો પાડવામાં આવે છે, જે 14 દિવસના ટર્નઅરાઉન્ડમાં એક પુનરાવર્તન સાથે એક જ પ્રયાસમાં પૂર્ણ થાય છે. તમારે જે ડોમેન પર ઓર્ડર લાગુ થાય છે તે ડોમેન અને તમારી વિગતો આપવાની જરૂર પડશે.