ఈ లిస్టింగ్ గురించి
ఇది ఏమి చేస్తుంది
ఇది మీరు ప్రస్తుతం నడుపుతున్న డేటాబేస్ నుండి వేర్హౌస్, CRM నుండి రిపోర్టింగ్ సాధనం, API నుండి స్ప్రెడ్షీట్ లేదా వీటిలో కలయికల వంటి వ్యవస్థలను అనుసంధానిస్తుంది. ప్రామాణిక కార్యకలాపాల సమయంలో అడ్డువరుసలను బదిలీ చేయడం చాలా సులభం; కానీ నలభైవ రోజున తెల్లవారుజామున 2 గంటలకు ప్రమాణీకరణ టోకెన్ గడువు ముగిసినప్పుడు, మూల పట్టిక కొత్త శూన్య విలువలను అనుమతించే రంగాన్ని పొందినప్పుడు లేదా బ్యాచ్ బదిలీ మధ్యలో అంతరాయం కలిగినప్పుడు ఏమి జరుగుతుందనేదే నిజమైన పరీక్ష.
ఇది ఎలా నిర్మించబడింది
వెలికితీత, లోడింగ్ మరియు పరివర్తన ప్రత్యేక దశలుగా నిర్వహించబడతాయి, ఎందుకంటే ప్రతి ఒక్కటి వేర్వేరు కారణాల వల్ల విఫలం కావచ్చు మరియు దాని స్వంత పునఃప్రయత్న యంత్రాంగం అవసరం. పునఃప్రారంభించినప్పుడు రికార్డులను నకిలీ చేయకుండా ఆగిపోయిన చోట నుండే కొనసాగడానికి వెలికితీత అనేది ఒక కర్సర్ లేదా వాటర్మార్క్ను అనుసరిస్తుంది. ప్రతి బ్యాచ్ కోసం లావాదేవీ లోపల లోడింగ్ జరుగుతుంది, అంటే అంతరాయం ఏర్పడినప్పుడు లక్ష్యం పాక్షికంగా నవీకరించబడటానికి బదులుగా స్థిరమైన స్థితిలో ఉంటుంది. పరివర్తన నియమాలు వెర్షన్-నియంత్రిత SQL లేదా Python లోనే ఉంటాయి, తరువాత చదవడానికి కష్టంగా మారే విజువల్ బిల్డర్లో కాదు.
ప్రతి రన్ చదివిన అడ్డువరుసలు, రాసిన అడ్డువరుసలు, తిరస్కరించిన అడ్డువరుసలు మరియు ప్రతి తిరస్కరణకు గల కారణాన్ని వివరించే మ్యానిఫెస్ట్ను రూపొందిస్తుంది. హ్యాష్తో జతచేయబడిన సహజ కీ ఈ ప్రక్రియ ఐడెంపోటెంట్ అని నిర్ధారిస్తుంది, అంటే గతంలో జరిగిన పనిని మళ్లీ అమలు చేయడం వల్ల ఎటువంటి నష్టం జరగదు. సోర్స్ స్కీమాలలో మార్పులు లోడ్ విఫలమవడానికి ముందే గుర్తించబడతాయి మరియు నిశ్శబ్ద వైఫల్యానికి బదులుగా హెచ్చరికను రూపొందిస్తాయి.
మీరు ఏమి స్వీకరిస్తారు
- మీ స్వంత రిపోజిటరీకి కమిట్ చేయబడిన పైప్లైన్ కోడ్, మీ వాస్తవ డేటా నమూనాతో పరీక్షించబడింది.
- మీ స్టాక్కు సరిపోయే షెడ్యూలింగ్ విధానం - cron, systemd timer, Airflow లేదా Prefect.
- అడ్డువరుసల సంఖ్య, వైఫల్యాలు మరియు లేటెన్సీ మార్పులను పర్యవేక్షించే వ్యవస్థ మరియు హెచ్చరికలు.
- రీప్లే, బ్యాక్ఫిల్ మరియు కొత్త డేటా మూలాన్ని ఎలా జోడించాలో వివరించే రన్బుక్.
మీ నుండి మాకు కావలసినవి
మూల మరియు గమ్యస్థాన వ్యవస్థలకు రీడ్ యాక్సెస్, డేటా యొక్క పని చేసే నమూనా, మరియు వాస్తవికతకు మించినది కాకుండా మీ వ్యాపారానికి వాస్తవంగా అవసరమైన షెడ్యూల్.
కాలక్రమం మరియు అప్డేట్లు
ప్రారంభ కార్యాచరణ వెర్షన్ సాధారణంగా ఐదు రోజుల్లో సిద్ధమవుతుంది, ఇది ప్రొడక్షన్కు విస్తరించే ముందు మీ సమీక్ష కోసం స్టేజింగ్ రన్ను కలిగి ఉంటుంది. సమావేశాలకు బదులుగా ప్రతి మైలురాయి వద్ద సంక్షిప్త లిఖితపూర్వక గమనికలుగా అప్డేట్లు అందించబడతాయి, మరియు నిలుపుదల, బ్యాక్ఫిల్ వ్యవధులు మరియు తిరస్కరించబడిన అడ్డువరుసల నిర్వహణ వంటి మీ డేటాను ప్రభావితం చేసే ఎంపికలు భవిష్యత్ సూచన కోసం నమోదు చేయబడతాయి. అనుమతించబడిన సమయంలో విశ్వసనీయతను సాధించలేకపోతే, ప్రారంభించే సమయంలో సమస్యలను తెలుసుకోవడానికి బదులుగా ప్రణాళికను సవరించడానికి మీకు తగినంత ముందుగానే తెలియజేయబడుతుంది.
ఈ నిర్మాణం ఒకే నిర్ణీత-ధర ప్యాకేజీగా అందించబడుతుంది, ఒక సవరణతో కలిపి ఒకేసారి 14 రోజుల వ్యవధిలో పూర్తి చేయబడుతుంది. ఆర్డర్ వర్తించే డొమైన్ను మరియు మీ వివరణను మీరు అందించాల్సి ఉంటుంది.