इस लिस्टिंग के बारे में
यह क्या करता है
यह आपके द्वारा वर्तमान में संचालित प्रणालियों को जोड़ता है, जैसे डेटाबेस से वेयरहाउस, CRM से रिपोर्टिंग टूल, API से स्प्रेडशीट, या इनमें से कई को एक साथ। मानक संचालन के दौरान पंक्तियों को स्थानांतरित करना सीधा और सरल होता है; असली परीक्षा चालीसवें दिन होती है, जब रात के 2 बजे प्रमाणीकरण टोकन समाप्त हो जाता है, स्रोत तालिका में एक नया नलेबल फ़ील्ड जुड़ जाता है, या कोई बैच स्थानांतरण बीच में ही बाधित हो जाता है।
इसे कैसे बनाया गया है
निष्कर्षण (Extraction), लोडिंग और परिवर्तन (Transformation) को अलग-अलग चरणों के रूप में बनाए रखा जाता है, क्योंकि प्रत्येक के विफल होने के अलग-अलग कारण हो सकते हैं और प्रत्येक के लिए अपने स्वयं के पुनः प्रयास तंत्र (retry mechanism) की आवश्यकता होती है। निष्कर्षण कर्सर या वॉटरमार्क का अनुसरण करता है ताकि यह सुनिश्चित हो सके कि पुनरारंभ वहीं से शुरू हो जहाँ यह रुका था, न कि रिकॉर्ड्स की डुप्लिकेट प्रविष्टियाँ बनाए। प्रत्येक बैच के लिए लोडिंग एक ट्रांज़ैक्शन के भीतर होती है, जिसका अर्थ है कि किसी व्यवधान की स्थिति में लक्षित डेटा आंशिक रूप से अपडेट होने के बजाय एक सुसंगत स्थिति में बना रहता है। परिवर्तन के नियम विज़ुअल बिल्डर के बजाय संस्करण-नियंत्रित SQL या Python में रहते हैं, जिसे बाद में पढ़ना कठिन हो जाता है।
प्रत्येक रन एक मैनिफ़ेस्ट उत्पन्न करता है जिसमें पढ़ी गई पंक्तियों, लिखी गई पंक्तियों, अस्वीकृत पंक्तियों और प्रत्येक अस्वीकृति के कारण का विवरण होता है। हैश के साथ युग्मित एक प्राकृतिक कुंजी (natural key) यह सुनिश्चित करती है कि प्रक्रिया इडेम्पोटेंट रहे, जिसका अर्थ है कि पिछले कार्य को फिर से चलाने से कोई क्षति नहीं होती है। लोड को बाधित करने से पहले स्रोत स्कीमा में परिवर्तनों का पता लगाया जाता है, जिससे मूक विफलता (silent failure) के बजाय एक चेतावनी उत्पन्न होती है।
आपको क्या प्राप्त होता है
- पाइपलाइन कोड जो आपके अपने रिपॉजिटरी में कमिट किया गया हो, और आपके वास्तविक डेटा के नमूने के साथ जाँचा गया हो।
- आपके स्टैक के अनुकूल शेड्यूलिंग तंत्र - cron, एक systemd टाइमर, Airflow या Prefect।
- पंक्ति संख्या, विफलताओं और लेटेंसी ड्रिफ्ट को कवर करने वाली निगरानी और अलर्ट।
- एक रनबुक जिसमें रीप्ले, बैकफ़िल और एक नए डेटा स्रोत को ऑनबोर्ड करने का तरीका समझाया गया हो।
हमें आपसे क्या चाहिए
स्रोत और गंतव्य प्रणालियों के लिए रीड एक्सेस, डेटा का एक कार्यशील नमूना, और वह शेड्यूल जिसकी आपके व्यवसाय को वास्तव में आवश्यकता है, न कि कोई अत्यधिक महत्वाकांक्षी शेड्यूल।
समयसीमा और अपडेट
एक प्रारंभिक कार्यात्मक संस्करण आम तौर पर पाँच दिनों के भीतर तैयार हो जाता है, जिसमें उत्पादन परिनियोजन से पहले आपकी समीक्षा के लिए एक स्टेजिंग रन शामिल होता है। बैठकों के बजाय प्रत्येक मील के पत्थर पर संक्षिप्त लिखित नोट्स के रूप में अपडेट प्रदान किए जाते हैं, और आपके डेटा को प्रभावित करने वाले विकल्प - जैसे कि अवधारण, बैकफ़िल विंडो और अस्वीकृत पंक्तियों का प्रबंधन - भविष्य के संदर्भ के लिए लॉग किए जाते हैं। यदि अनुमत समय में विश्वसनीयता प्राप्त नहीं की जा सकती है, तो आपको शुरुआत में ही सूचित कर दिया जाता है ताकि लॉन्च के समय समस्याओं का पता चलने के बजाय योजना को संशोधित किया जा सके।
यह बिल्ड एकल निश्चित-मूल्य पैकेज के रूप में प्रदान किया जाता है, जो 14 दिनों के बदलाव समय के भीतर एक संशोधन सहित एक ही बार में पूरा किया जाता है। आपको वह डोमेन प्रदान करना होगा जिस पर यह ऑर्डर लागू होता है और अपना संक्षिप्त विवरण देना होगा।