ഈ ലിസ്റ്റിംഗിനെക്കുറിച്ച്
ഇത് എന്തുചെയ്യുന്നു
ഡാറ്റാബേസ് മുതൽ വെയർഹൗസ് വരെ, CRM മുതൽ റിപ്പോർട്ടിംഗ് ടൂൾ വരെ, API മുതൽ സ്പ്രെഡ്ഷീറ്റ് വരെ, അല്ലെങ്കിൽ ഇവയിൽ പലതും സംയോജിപ്പിച്ച് നിങ്ങൾ നിലവിൽ പ്രവർത്തിപ്പിക്കുന്ന സിസ്റ്റങ്ങളെ ഇത് ബന്ധിപ്പിക്കുന്നു. സാധാരണ പ്രവർത്തന സമയത്ത് വരികൾ കൈമാറുന്നത് എളുപ്പമാണ്; എന്നാൽ നാൽപ്പതാം ദിവസം പുലർച്ചെ 2 മണിക്ക് ഒരു ഒതന്റിക്കേഷൻ ടോക്കൺ കാലഹരണപ്പെടുമ്പോഴോ, ഒരു സോഴ്സ് ടേബിളിൽ ഒരു പുതിയ നള്ളബിൾ ഫീൽഡ് വരുമ്പോഴോ, അല്ലെങ്കിൽ ഒരു ബാച്ച് ട്രാൻസ്ഫർ പകുതിവഴിയിൽ തടസ്സപ്പെടുമ്പോഴോ എന്ത് സംഭവിക്കുന്നു എന്നതിലാണ് യഥാർത്ഥ പരീക്ഷണം.
ഇത് എങ്ങനെ നിർമ്മിച്ചിരിക്കുന്നു
എക്സ്ട്രാക്ഷൻ, ലോഡിംഗ്, ട്രാൻസ്ഫോർമേഷൻ എന്നിവ വെവ്വേറെ ഘട്ടങ്ങളായി നിലനിർത്തുന്നു, കാരണം ഓരോന്നിനും വ്യത്യസ്ത കാരണങ്ങളാൽ തകരാറുകൾ സംഭവിക്കാം, കൂടാതെ ഓരോന്നിനും അതിന്റേതായ റീട്രൈ മെക്കാനിസം ആവശ്യമാണ്. റെക്കോർഡുകൾ ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യുന്നതിന് പകരം തടസ്സപ്പെട്ട സ്ഥലത്തുനിന്ന് പുനരാരംഭിക്കുന്നു എന്ന് ഉറപ്പാക്കാൻ എക്സ്ട്രാക്ഷൻ ഒരു കർസറോ വാട്ടർമാർക്കോ പിന്തുടരുന്നു. ഓരോ ബാച്ചിനുമുള്ള ഒരു ട്രാൻസാക്ഷനുള്ളിലാണ് ലോഡിംഗ് നടക്കുന്നത്, അതായത് ഒരു തടസ്സമുണ്ടായാൽ ടാർഗെറ്റ് ഭാഗികമായി അപ്ഡേറ്റ് ചെയ്യപ്പെടുന്നതിന് പകരം സ്ഥിരതയുള്ള അവസ്ഥയിൽ നിലനിൽക്കും. പിന്നീട് വായിച്ചു മനസ്സിലാക്കാൻ പ്രയാസമുള്ള ഒരു വിഷ്വൽ ബിൽഡറിന് പകരമായി, ട്രാൻസ്ഫോർമേഷൻ നിയമങ്ങൾ വേർഷൻ-നിയന്ത്രിത SQL അല്ലെങ്കിൽ Python-ൽ നിലനിൽക്കുന്നു.
ഓരോ റണ്ണും വായിച്ച വരികൾ, എഴുതിയ വരികൾ, നിരസിച്ച വരികൾ, ഓരോ നിരസിക്കലിന്റെയും കാരണം എന്നിവ വിശദീകരിക്കുന്ന ഒരു മാനിഫെസ്റ്റ് സൃഷ്ടിക്കുന്നു. ഒരു ഹാഷുമായി ചേർത്ത സ്വാഭാവിക കീ (natural key) പ്രക്രിയ ഐഡെംപോട്ടന്റ് ആണെന്ന് ഉറപ്പാക്കുന്നു, അതായത് കഴിഞ്ഞ ഒരു ജോലി വീണ്ടും പ്രവർത്തിപ്പിക്കുന്നത് യാതൊരു കേടുപാടുകളും വരുത്തില്ല. സോഴ്സ് സ്കീമകളിലെ മാറ്റങ്ങൾ ഒരു ലോഡ് തകരാറിലാകുന്നതിന് മുൻപ് തന്നെ കണ്ടെത്തുകയും, നിശബ്ദമായ പരാജയത്തിന് പകരം ഒരു അലേർട്ട് സൃഷ്ടിക്കുകയും ചെയ്യുന്നു.
നിങ്ങൾക്ക് ലഭിക്കുന്നത്
- നിങ്ങളുടെ യഥാർത്ഥ ഡാറ്റയുടെ ഒരു സാമ്പിൾ ഉപയോഗിച്ച് പരിശോധിച്ച്, നിങ്ങളുടെ സ്വന്തം റിപ്പോസിറ്ററിയിൽ ഉൾപ്പെടുത്തിയ പൈപ്പ്ലൈൻ കോഡ്.
- നിങ്ങളുടെ സാങ്കേതിക സ്റ്റാക്കിന് അനുയോജ്യമായ ഒരു ഷെഡ്യൂളിംഗ് സംവിധാനം - cron, ഒരു systemd ടൈമർ, Airflow അല്ലെങ്കിൽ Prefect.
- വരികളുടെ എണ്ണം, പരാജയങ്ങൾ, ലേറ്റൻസി വ്യതിയാനങ്ങൾ എന്നിവ ഉൾക്കൊള്ളുന്ന നിരീക്ഷണവും അലേർട്ടുകളും.
- റീപ്ലേ, ബാക്ക്ഫിൽ, കൂടാതെ ഒരു പുതിയ ഡാറ്റാ സ്രോതസ്സ് എങ്ങനെ ചേർക്കാം എന്ന് വിശദീകരിക്കുന്ന റൺബുക്ക്.
നിങ്ങളിൽ നിന്ന് ഞങ്ങൾക്ക് ആവശ്യമുള്ളത്
ഉറവിട, ലക്ഷ്യസ്ഥാന സംവിധാനങ്ങളിലേക്കുള്ള റീഡ് ആക്സസ്, പ്രവർത്തനക്ഷമമായ ഒരു ഡാറ്റാ സാമ്പിൾ, ഒപ്പം യാഥാർത്ഥ്യബോധമില്ലാത്ത ഒന്നിന് പകരം നിങ്ങളുടെ ബിസിനസ്സിന് യഥാർത്ഥത്തിൽ ആവശ്യമുള്ള ഷെഡ്യൂൾ.
സമയക്രമവും വിവരപ്പupdates-കളും
പ്രൊഡക്ഷൻ ഡിപ്ലോയ്മെന്റിന് മുന്നോടിയായി നിങ്ങളുടെ അവലോകനത്തിനായി ഒരു സ്റ്റേജിംഗ് റൺ ഉൾപ്പെടുന്ന പ്രവർത്തനക്ഷമമായ പ്രാരംഭ പതിപ്പ് സാധാരണയായി അഞ്ച് ദിവസത്തിനുള്ളിൽ തയ്യാറാകും. മീറ്റിംഗുകൾക്ക് പകരം ഓരോ നാഴികക്കല്ലിലും ഹ്രസ്വമായ രേഖാമൂലമുള്ള കുറിപ്പുകളായി അപ്ഡേറ്റുകൾ നൽകുന്നു, ഒപ്പം ഡാറ്റാ നിലനിർത്തൽ, ബാക്ക്ഫിൽ വിൻഡോകൾ, നിരസിക്കപ്പെട്ട വരികൾ കൈകാര്യം ചെയ്യൽ എന്നിവ പോലെ നിങ്ങളുടെ ഡാറ്റയെ ബാധിക്കുന്ന തീരുമാനങ്ങൾ ഭാവിയിലെ റഫറൻസിനായി രേഖപ്പെടുത്തുകയും ചെയ്യുന്നു. അനുവദിച്ച സമയത്തിനുള്ളിൽ വിശ്വാസ്യത കൈവരിക്കാൻ കഴിയുന്നില്ലെങ്കിൽ, ലോഞ്ച് സമയത്ത് പ്രശ്നങ്ങൾ കണ്ടെത്തുന്നതിന് പകരം പ്ലാനിൽ മാറ്റം വരുത്താൻ തക്കവിധം നേരത്തെ തന്നെ നിങ്ങളെ അറിയിക്കും.
ഈ നിർമ്മാണം ഒരൊറ്റ നിശ്ചിത നിരക്കിലുള്ള പാക്കേജായി നൽകപ്പെടുന്നു, ഒരൊറ്റ റിവിഷൻ ഉൾപ്പെടെ, 14 ദിവസത്തെ സമയപരിധിക്കുള്ളിൽ ഒരൊറ്റ ഘട്ടത്തിൽ പൂർത്തിയാക്കുന്നു. ഓർഡർ ബാധകമാകുന്ന ഡൊമെയ്നും നിങ്ങളുടെ സംക്ഷിപ്ത വിവരങ്ങളും (brief) നിങ്ങൾ നൽകേണ്ടതുണ്ട്.