यो सूचीकरणको बारेमा
यसले के गर्छ
यसले तपाईंले हाल चलाइरहनुभएका प्रणालीहरूलाई जोड्छ, जस्तै डाटाबेसलाई वेयरहाउससँग, CRM लाई रिपोर्टिङ उपकरणसँग, API लाई स्प्रेडसिटसँग, वा यीमध्ये धेरैको संयोजन। मानक सञ्चालनको समयमा पङ्क्तिहरू (rows) स्थानान्तरण गर्नु सीधा कुरा हो; वास्तविक परीक्षा चालीसौं दिनमा आउँछ, जब बिहान २ बजे प्रमाणीकरण टोकन समाप्त हुन्छ, स्रोत तालिकामा नयाँ नल गर्न मिल्ने (nullable) फिल्ड थपिन्छ, वा ब्याच स्थानान्तरण बीचमै अवरुद्ध हुन्छ।
यो कसरी बनाइएको छ
निष्कर्षण (Extraction), लोड गर्ने र रूपान्तरणलाई छुट्टाछुट्टै चरणहरूको रूपमा राखिएको छ, किनकि प्रत्येक चरण फरक कारणहरूले असफल हुन सक्छ र यसको लागि आफ्नै पुन: प्रयास संयन्त्र आवश्यक पर्दछ। निष्कर्षणले कर्सर वा वाटरमार्कलाई पछ्याउँछ ताकि पुन: सुरु गर्दा रेकर्डहरू दोहोरिनुको सट्टा रोकिएको ठाउँबाट पुनः सुरु होस्। प्रत्येक ब्याचको लागि लेनदेन (transaction) भित्र लोड गर्ने कार्य हुन्छ, जसको मतलब अवरोध आउँदा लक्ष्य आंशिक रूपमा अद्यावधिक हुनुको सट्टा एकरूप स्थितिमा रहन्छ। रूपान्तरणका नियमहरू पछि पढ्न गाह्रो हुने भिजुअल बिल्डरको सट्टा संस्करण-नियन्त्रित (version-controlled) SQL वा Python मा रहन्छन्।
प्रत्येक सञ्चालनले पढिएका पङ्क्तिहरू, लेखिएका पङ्क्तिहरू, अस्वीकृत पङ्क्तिहरू र प्रत्येक अस्वीकृतिको कारणको विवरणसहितको म्यानिफेस्ट सिर्जना गर्छ। ह्याससँग जोडिएको प्राकृतिक कुञ्जी (natural key) ले प्रक्रियालाई आइडेम्पोटेन्ट (idempotent) भएको सुनिश्चित गर्छ, जसको अर्थ विगतको कार्य पुन: सञ्चालन गर्दा कुनै क्षति हुँदैन। स्रोत स्किमाहरूमा गरिएका परिवर्तनहरू लोड प्रक्रिया बिग्रनु अघि नै पत्ता लगाइन्छ, जसले गर्दा मौन असफलताको सट्टा चेतावनी (alert) उत्पन्न हुन्छ।
तपाईंले के प्राप्त गर्नुहुन्छ
- तपाईंको आफ्नै रिपोजिटरीमा कमिट गरिएको र तपाईंको वास्तविक डेटाको नमुनामा परीक्षण गरिएको पाइपलाइन कोड।
- तपाईंको स्ट्याकका लागि उपयुक्त समयतालिका निर्धारण संयन्त्र - cron, systemd टाइमर, Airflow वा Prefect।
- पङ्क्ति संख्या, त्रुटिहरू र विलम्बता बहाव (latency drift) समेट्ने निगरानी र अलर्टहरू।
- रिप्ले, ब्याकफिल र नयाँ डेटा स्रोत कसरी समावेश गर्ने भनी व्याख्या गरिएको एउटा रनबुक।
हामीलाई तपाईंबाट के चाहिन्छ
स्रोत र गन्तव्य प्रणालीहरूमा पढ्ने पहुँच (read access), डेटाको एउटा चल्ने नमुना, र धेरै महत्त्वाकांक्षी हुनुको सट्टा तपाईंको व्यवसायलाई वास्तवमै चाहिने तालिका।
समयसीमा र अद्यावधिकहरू
उत्पादनमा तैनाथ गर्नुअघि तपाईंको समीक्षाको लागि एउटा स्टेजिङ रन सहितको प्रारम्भिक कार्यात्मक संस्करण सामान्यतया पाँच दिनभित्र तयार हुन्छ। बैठकहरू गर्नुको सट्टा प्रत्येक माइलस्टोनमा संक्षिप्त लिखित टिप्पणीहरूको रूपमा अद्यावधिकहरू प्रदान गरिन्छ, र तपाईंको डेटालाई असर गर्ने विकल्पहरू - जस्तै अवधारण (retention), ब्याकफिल विन्डोहरू र अस्वीकृत पङ्क्तिहरूको व्यवस्थापन - भविष्यको सन्दर्भका लागि लग गरिन्छ। यदि तोकिएको समयभित्र विश्वसनीयता हासिल गर्न सकिँदैन भने, सुरुवातको समयमा समस्याहरू पत्ता लगाउनुको सट्टा योजना परिमार्जन गर्न तपाईंलाई समयमै जानकारी दिइन्छ।
यो निर्माण एकल निश्चित-मूल्य प्याकेजको रूपमा प्रदान गरिन्छ, जुन एउटा संशोधन (revision) समावेश गरी 14 दिनको समयावधिभित्र एकै पटकमा सम्पन्न गरिन्छ। तपाईंले यो अर्डर लागू हुने डोमेन र आफ्नो विवरण प्रदान गर्नुपर्नेछ।