ಈ ಪಟ್ಟಿಯ ಕುರಿತು
ಇದು ಏನು ಮಾಡುತ್ತದೆ
ಇದು ನೀವು ಪ್ರಸ್ತುತ ರನ್ ಮಾಡುತ್ತಿರುವ ಸಿಸ್ಟಮ್ಗಳನ್ನು ಲಿಂಕ್ ಮಾಡುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಡೇಟಾಬೇಸ್ನಿಂದ ವೇರ್ಹೌಸ್ಗೆ, CRM ನಿಂದ ರಿಪೋರ್ಟಿಂಗ್ ಟೂಲ್ಗೆ, API ನಿಂದ ಸ್ಪ್ರೆಡ್ಶೀಟ್ಗೆ ಅಥವಾ ಇವುಗಳಲ್ಲಿ ಹಲವಾರನ್ನು ಒಟ್ಟಾಗಿ ಜೋಡಿಸುತ್ತದೆ. ಪ್ರಮಾಣಿತ ಕಾರ್ಯಾಚರಣೆಯ ಸಮಯದಲ್ಲಿ ಸಾಲುಗಳನ್ನು ವರ್ಗಾಯಿಸುವುದು ನೇರವಾಗಿರುತ್ತದೆ; ನಲವತ್ತನೇ ದಿನದಂದು ಮುಂಜಾನೆ 2 ಗಂಟೆಗೆ ದೃಢೀಕರಣ ಟೋಕನ್ ಅವಧಿ ಮುಗಿದಾಗ, ಮೂಲ ಕೋಷ್ಟಕವು ಹೊಸ ಶೂನ್ಯವಾಗಬಹುದಾದ (ನಲ್ಲೆಬಲ್) ಫೀಲ್ಡ್ ಪಡೆದುಕೊಂಡಾಗ ಅಥವಾ ಬ್ಯಾಚ್ ವರ್ಗಾವಣೆಯು ಮಧ್ಯದಲ್ಲಿಯೇ ಅಡಚಣೆಗೊಂಡಾಗ ಏನಾಗುತ್ತದೆ ಎಂಬುದು ನಿಜವಾದ ಪರೀಕ್ಷೆಯಾಗಿದೆ.
ಇದನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸಲಾಗಿದೆ
ಹೊರತೆಗೆಯುವಿಕೆ (Extraction), ಲೋಡ್ ಮಾಡುವಿಕೆ ಮತ್ತು ರೂಪಾಂತರ (Transformation) ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಪ್ರತ್ಯೇಕ ಹಂತಗಳಾಗಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ಪ್ರತಿಯೊಂದೂ ವಿಭಿನ್ನ ಕಾರಣಗಳಿಗಾಗಿ ವಿಫಲವಾಗಬಹುದು ಮತ್ತು ತನ್ನದೇ ಆದ ಮರುಪ್ರಯತ್ನದ ಕಾರ್ಯವಿಧಾನದ ಅಗತ್ಯವಿರುತ್ತದೆ. ಮರುಪ್ರಾರಂಭವು ದಾಖಲೆಗಳನ್ನು ನಕಲು ಮಾಡುವ ಬದಲು ನಿಂತ ಸ್ಥಳದಿಂದ ಪುನರಾರಂಭಗೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಹೊರತೆಗೆಯುವಿಕೆಯು ಕರ್ಸರ್ ಅಥವಾ ವಾಟರ್ಮಾರ್ಕ್ ಅನ್ನು ಅನುಸರಿಸುತ್ತದೆ. ಪ್ರತಿ ಬ್ಯಾಚ್ಗೆ ಒಂದು ವಹಿವಾಟಿನ (transaction) ಒಳಗೆ ಲೋಡ್ ಮಾಡುವಿಕೆ ನಡೆಯುತ್ತದೆ, ಅಂದರೆ ಅಡಚಣೆಯುಂಟಾದರೆ ಗುರಿಯು ಭಾಗಶಃ ಅಪ್ಡೇಟ್ ಆಗುವ ಬದಲು ಸ್ಥಿರ ಸ್ಥಿತಿಯಲ್ಲಿ ಉಳಿಯುತ್ತದೆ. ನಂತರ ಓದಲು ಕಷ್ಟವಾಗುವಂತಹ ವಿಷುಯಲ್ ಬಿಲ್ಡರ್ ಬದಲಿಗೆ ರೂಪಾಂತರ ನಿಯಮಗಳು ಆವೃತ್ತಿ-ನಿಯಂತ್ರಿತ SQL ಅಥವಾ Python ನಲ್ಲಿ ಉಳಿಯುತ್ತವೆ.
ಪ್ರತಿಯೊಂದು ರನ್ ಸಹ ಓದಲಾದ ಸಾಲುಗಳು, ಬರೆಯಲಾದ ಸಾಲುಗಳು, ತಿರಸ್ಕರಿಸಿದ ಸಾಲುಗಳು ಮತ್ತು ಪ್ರತಿ ತಿರಸ್ಕಾರದ ಕಾರಣವನ್ನು ವಿವರಿಸುವ ಮ್ಯಾನಿಫೆಸ್ಟ್ ಅನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಹ್ಯಾಶ್ ಜೊತೆಗೆ ಜೋಡಿಸಲಾದ ನ್ಯಾಚುರಲ್ ಕೀ ಪ್ರಕ್ರಿಯೆಯು ಐಡೆಂಪೊಟೆಂಟ್ ಆಗಿರುವುದನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ, ಅಂದರೆ ಹಿಂದಿನ ಕೆಲಸವನ್ನು ಮರುಚಾಲನೆ ಮಾಡುವುದರಿಂದ ಯಾವುದೇ ಹಾನಿ ಉಂಟಾಗುವುದಿಲ್ಲ. ಮೂಲ ಸ್ಕೀಮಾಗಳಲ್ಲಿನ ಬದಲಾವಣೆಗಳು ಲೋಡ್ ಅನ್ನು ಮುರಿಯುವ ಮೊದಲೇ ಪತ್ತೆಯಾಗುತ್ತವೆ ಮತ್ತು ಸದ್ದಿಲ್ಲದೆ ವಿಫಲವಾಗುವ ಬದಲು ಎಚ್ಚರಿಕೆಯನ್ನು ನೀಡುತ್ತವೆ.
ನೀವು ಏನನ್ನು ಪಡೆಯುತ್ತೀರಿ
- ನಿಮ್ಮ ನೈಜ ಡೇಟಾದ ಮಾದರಿಯೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಲಾದ, ನಿಮ್ಮ ಸ್ವಂತ ರೆಪೊಸಿಟರಿಗೆ ಕಮಿಟ್ ಮಾಡಲಾದ ಪೈಪ್ಲೈನ್ ಕೋಡ್.
- ನಿಮ್ಮ ತಂತ್ರಜ್ಞಾನ ವ್ಯವಸ್ಥೆಗೆ ಸೂಕ್ತವಾದ ಶೆಡ್ಯೂಲಿಂಗ್ ಕಾರ್ಯವಿಧಾನ - cron, systemd timer, Airflow ಅಥವಾ Prefect.
- ಸಾಲುಗಳ ಎಣಿಕೆಗಳು, ವೈಫಲ್ಯಗಳು ಮತ್ತು ವಿಳಂಬದ ಬದಲಾವಣೆಗಳನ್ನು ಒಳಗೊಂಡ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಎಚ್ಚರಿಕೆಗಳು.
- ಮರುಪ್ಲೇ, ಬ್ಯಾಕ್ಫಿಲ್ ಮತ್ತು ಹೊಸ ಡೇಟಾ ಮೂಲವನ್ನು ಹೇಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳುವುದು ಎಂಬುದನ್ನು ವಿವರಿಸುವ ರನ್ಬುಕ್.
ನಿಮ್ಮಿಂದ ನಮಗೆ ಬೇಕಾಗಿರುವುದು
ಮೂಲ ಮತ್ತು ಗಮ್ಯಸ್ಥಾನ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಓದುವ ಪ್ರವೇಶ (read access), ಡೇಟಾದ ಕಾರ್ಯಸಾಧ್ಯ ಮಾದರಿ, ಮತ್ತು ಅತಿಯಾದ ನಿರೀಕ್ಷೆಯ ಬದಲು ನಿಮ್ಮ ವ್ಯವಹಾರಕ್ಕೆ ವಾಸ್ತವವಾಗಿ ಅಗತ್ಯವಿರುವ ವೇಳಾಪಟ್ಟಿ.
ಸಮಯಾವಧಿ ಮತ್ತು ನವೀಕರಣಗಳು
ಉತ್ಪಾದನಾ ನಿಯೋಜನೆಗೆ (production deployment) ಮುಂಚಿತವಾಗಿ ನಿಮ್ಮ ಪರಿಶೀಲನೆಗಾಗಿ ಸ್ಟೇಜಿಂಗ್ ರನ್ ಅನ್ನು ಒಳಗೊಂಡಿರುವ ಆರಂಭಿಕ ಕ್ರಿಯಾತ್ಮಕ ಆವೃತ್ತಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಐದು ದಿನಗಳಲ್ಲಿ ಸಿದ್ಧವಾಗುತ್ತದೆ. ಸಭೆಗಳ ಬದಲಿಗೆ ಪ್ರತಿ ಮೈಲಿಗಲ್ಲಿನಲ್ಲಿಯೂ ಸಂಕ್ಷಿಪ್ತ ಲಿಖಿತ ಟಿಪ್ಪಣಿಗಳಾಗಿ ನವೀಕರಣಗಳನ್ನು ಒದಗಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಡೇಟಾದ ಮೇಲೆ ಪ್ರಭಾವ ಬೀರುವ ಆಯ್ಕೆಗಳನ್ನು - ಉದಾಹರಣೆಗೆ ಧಾರಣಾವಧಿ (retention), ಬ್ಯಾಕ್ಫಿಲ್ ಅವಧಿಗಳು ಮತ್ತು ತಿರಸ್ಕರಿಸಿದ ಸಾಲುಗಳ ನಿರ್ವಹಣೆ - ಭವಿಷ್ಯದ ಉಲ್ಲೇಖಕ್ಕಾಗಿ ದಾಖಲಿಸಲಾಗುತ್ತದೆ. ಅನುಮತಿಸಲಾದ ಸಮಯದಲ್ಲಿ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಸಾಧಿಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಬಿಡುಗಡೆಯ ಸಮಯದಲ್ಲಿ ಸಮಸ್ಯೆಗಳನ್ನು ಎದುರಿಸುವ ಬದಲು ಯೋಜನೆಯನ್ನು ಮಾರ್ಪಡಿಸಲು ನಿಮಗೆ ಮೊದಲೇ ತಿಳಿಸಲಾಗುತ್ತದೆ.
ಈ ಬಿಲ್ಡ್ ಅನ್ನು ಏಕೈಕ ನಿಗದಿತ-ಬೆಲೆಯ ಪ್ಯಾಕೇಜ್ ಆಗಿ ಒದಗಿಸಲಾಗುತ್ತದೆ, ಒಂದು ತಿದ್ದುಪಡಿಯನ್ನು ಒಳಗೊಂಡಂತೆ 14 ದಿನಗಳ ಅವಧಿಯಲ್ಲಿ ಒಂದೇ ಹಂತದಲ್ಲಿ ಪೂರ್ಣಗೊಳಿಸಲಾಗುತ್ತದೆ. ಈ ಆರ್ಡರ್ ಅನ್ವಯವಾಗುವ ಡೊಮೇನ್ ಮತ್ತು ನಿಮ್ಮ ಸಂಕ್ಷಿಪ್ತ ವಿವರಣೆಯನ್ನು (brief) ನೀವು ಒದಗಿಸಬೇಕಾಗುತ್ತದೆ.