या सूचीबद्दल
हे काय करते
हे तुम्ही सध्या चालवत असलेल्या प्रणालींना जोडते, जसे की डेटाबेस ते वेअरहाऊस, CRM ते रिपोर्टिंग टूल, API ते स्प्रेडशीट किंवा यांपैकी एकाधिक प्रणालींचे एकत्रीकरण. सामान्य कामकाजादरम्यान पंक्ती (rows) हस्तांतरित करणे सोपे असते; खरी परीक्षा चाळीसाव्या दिवशी येते, जेव्हा पहाटे २ वाजता प्रमाणीकरण टोकन कालबाह्य होते, स्रोत सारणीमध्ये एक नवीन नल करण्यायोग्य (nullable) फील्ड जोडले जाते, किंवा बॅच हस्तांतरण अर्धवट थांबते.
हे कसे तयार केले जाते
निष्कर्षण (Extraction), लोडिंग आणि रूपांतरण (Transformation) हे स्वतंत्र टप्पे म्हणून राखले जातात, कारण प्रत्येक टप्पा वेगवेगळ्या कारणांमुळे अयशस्वी होऊ शकतो आणि प्रत्येकासाठी स्वतःची पुन्हा प्रयत्न करण्याची यंत्रणा आवश्यक असते. निष्कर्षण हे कर्सर किंवा वॉटरमार्कचे अनुसरण करते जेणेकरून रीस्टार्ट झाल्यावर नोंदींची नक्कल होण्याऐवजी ते जिथे थांबले होते तेथून पुन्हा सुरू होते. प्रत्येक बॅचसाठी लोडिंग हे एका व्यवहाराच्या (transaction) अंतर्गत पार पडते, ज्याचा अर्थ असा होतो की व्यत्यय आल्यास लक्ष्य अंशतः अद्यतनित राहण्याऐवजी सुसंगत स्थितीत राहते. रूपांतरणाचे नियम व्हिज्युअल बिल्डरमध्ये ठेवण्याऐवजी आवृत्ती-नियंत्रित (version-controlled) SQL किंवा Python मध्ये राहतात, जे नंतर वाचणे कठीण होत नाही.
प्रत्येक रन वाचलेल्या पंक्ती, लिहिलेल्या पंक्ती, नाकारलेल्या पंक्ती आणि प्रत्येक नकाराचे कारण तपशीलवार दर्शवणारा एक मॅनिफेस्ट तयार करतो. हॅशसह जोडलेली एक नॅचरल की प्रक्रिया आयडेम्पोटंट (idempotent) असल्याचे सुनिश्चित करते, याचा अर्थ मागील कार्य पुन्हा चालवल्यास कोणतेही नुकसान होत नाही. लोड प्रक्रियेत बिघाड होण्यापूर्वी स्त्रोत स्कीमामधील बदल शोधले जातात, ज्यामुळे मूक अपयशाऐवजी एक सूचना (alert) तयार होते.
तुम्हाला काय मिळते
- तुमच्या स्वतःच्या रिपॉझिटरीमध्ये कमिट केलेला, तुमच्या वास्तविक डेटाच्या नमुन्यावर तपासलेला पाइपलाइन कोड.
- तुमच्या स्टॅकसाठी योग्य अशी शेड्युलिंग यंत्रणा - cron, systemd टायमर, Airflow किंवा Prefect.
- पंक्तींची संख्या (row counts), त्रुटी आणि लेटन्सी ड्रिफ्ट यांवर लक्ष ठेवणारे मॉनिटरिंग आणि अलर्ट्स.
- रिप्ले, बॅकफिल आणि नवीन डेटा स्रोत कसा जोडायचा हे स्पष्ट करणारे रनबुक.
आम्हाला तुमच्याकडून काय हवे आहे
स्रोत आणि डेस्टिनेशन सिस्टीम्सचा रीड ॲक्सेस, डेटाचा एक कार्यरत नमुना, आणि अवास्तव अपेक्षेपेक्षा तुमच्या व्यवसायाला प्रत्यक्ष आवश्यक असणारे वेळापत्रक.
वेळापत्रक आणि अपडेट्स
उत्पादनात तैनात करण्यापूर्वी तुमच्या पुनरावलोकनासाठी स्टेजिंग रनसह, एक प्रारंभिक कार्यात्मक आवृत्ती साधारणपणे पाच दिवसांत तयार होते. बैठकांऐवजी प्रत्येक टप्प्यावर संक्षिप्त लेखी नोंदींद्वारे अपडेट्स प्रदान केले जातात, आणि तुमच्या डेटावर परिणाम करणाऱ्या निवडी - जसे की धारणा (retention), बॅकफिल विंडो आणि नाकारलेल्या पंक्तींची हाताळणी - भविष्यातील संदर्भासाठी नोंदवून ठेवल्या जातात. दिलेल्या वेळेत विश्वासार्हता साध्य करता येत नसल्यास, लाँचच्या वेळी समस्या समोर येण्याऐवजी, योजनेत बदल करण्यासाठी तुम्हाला वेळेत माहिती दिली जाते.
ही रचना एकाच निश्चित-किंमतीच्या पॅकेज म्हणून पुरवली जाते, जी 14 दिवसांच्या मुदतीत एका फेरीत पूर्ण केली जाते आणि त्यात एका पुनरावृत्तीचा (revision) समावेश असतो. ही ऑर्डर ज्या डोमेनला लागू होते तो डोमेन आणि तुमचा संक्षिप्त तपशील (brief) तुम्हाला देणे आवश्यक असेल.