ਇਸ ਸੂਚੀ ਬਾਰੇ
ਇਹ ਕੀ ਕਰਦਾ ਹੈ
ਇਹ ਉਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਜੋੜਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਵਰਤਮਾਨ ਵਿੱਚ ਚਲਾਉਂਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਡੇਟਾਬੇਸ ਤੋਂ ਵੇਅਰਹਾਊਸ, CRM ਤੋਂ ਰਿਪੋਰਟਿੰਗ ਟੂਲ, API ਤੋਂ ਸਪ੍ਰੈਡਸ਼ੀਟ, ਜਾਂ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕਈਆਂ ਦਾ ਸੁਮੇਲ। ਮਿਆਰੀ ਸੰਚਾਲਨ ਦੌਰਾਨ ਕਤਾਰਾਂ ਦਾ ਤਬਾਦਲਾ ਕਰਨਾ ਸਰਲ ਹੁੰਦਾ ਹੈ; ਅਸਲ ਪਰਖ ਇਹ ਹੈ ਕਿ ਚਾਲੀਵੇਂ ਦਿਨ ਕੀ ਵਾਪਰਦਾ ਹੈ, ਜਦੋਂ ਰਾਤ ਦੇ 2 ਵਜੇ ਪ੍ਰਮਾਣਿਕਤਾ ਟੋਕਨ ਦੀ ਮਿਆਦ ਪੁੱਗ ਜਾਂਦੀ ਹੈ, ਸਰੋਤ ਸਾਰਣੀ ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਖਾਲੀ ਰਹਿਣਯੋਗ (ਨਲੇਬਲ) ਖੇਤਰ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ, ਜਾਂ ਬੈਚ ਟ੍ਰਾਂਸਫਰ ਅੱਧ ਵਿਚਕਾਰ ਰੁਕ ਜਾਂਦਾ ਹੈ।
ਇਹ ਕਿਵੇਂ ਬਣਾਇਆ ਗਿਆ ਹੈ
ਨਿਕਾਸੀ (ਐਕਸਟ੍ਰੈਕਸ਼ਨ), ਲੋਡਿੰਗ ਅਤੇ ਪਰਿਵਰਤਨ (ਟ੍ਰਾਂਸਫਾਰਮੇਸ਼ਨ) ਨੂੰ ਵੱਖ-ਵੱਖ ਪੜਾਵਾਂ ਵਜੋਂ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ, ਕਿਉਂਕਿ ਹਰੇਕ ਵੱਖ-ਵੱਖ ਕਾਰਨਾਂ ਕਰਕੇ ਅਸਫਲ ਹੋ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਆਪਣੀ ਮੁੜ-ਕੋਸ਼ਿਸ਼ ਪ੍ਰਣਾਲੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਨਿਕਾਸੀ ਇੱਕ ਕਰਸਰ ਜਾਂ ਵਾਟਰਮਾਰਕ ਦੀ ਪਾਲਣਾ ਕਰਦੀ ਹੈ ਤਾਂ ਜੋ ਇਹ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ ਕਿ ਮੁੜ ਸ਼ੁਰੂ ਹੋਣ 'ਤੇ ਇਹ ਰਿਕਾਰਡਾਂ ਦੀ ਨਕਲ ਕਰਨ ਦੀ ਬਜਾਏ ਉੱਥੋਂ ਹੀ ਸ਼ੁਰੂ ਹੋਵੇ ਜਿੱਥੇ ਇਹ ਰੁਕਿਆ ਸੀ। ਹਰੇਕ ਬੈਚ ਲਈ ਟ੍ਰਾਂਜੈਕਸ਼ਨ ਦੇ ਅੰਦਰ ਲੋਡਿੰਗ ਹੁੰਦੀ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕਿਸੇ ਰੁਕਾਵਟ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਟੀਚਾ ਅਧੂਰੇ ਤੌਰ 'ਤੇ ਅੱਪਡੇਟ ਹੋਣ ਦੀ ਬਜਾਏ ਇਕਸਾਰ ਸਥਿਤੀ ਵਿੱਚ ਰਹਿੰਦਾ ਹੈ। ਪਰਿਵਰਤਨ ਨਿਯਮ ਇੱਕ ਵਿਜ਼ੂਅਲ ਬਿਲਡਰ ਦੀ ਬਜਾਏ ਵਰਜਨ-ਨਿਯੰਤਰਿਤ SQL ਜਾਂ Python ਵਿੱਚ ਰਹਿੰਦੇ ਹਨ, ਜਿਸਨੂੰ ਬਾਅਦ ਵਿੱਚ ਪੜ੍ਹਨਾ ਮੁਸ਼ਕਲ ਹੋ ਜਾਂਦਾ ਹੈ।
ਹਰੇਕ ਰਨ ਇੱਕ ਮੈਨੀਫੈਸਟ ਤਿਆਰ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਪੜ੍ਹੀਆਂ ਗਈਆਂ ਕਤਾਰਾਂ, ਲਿਖੀਆਂ ਗਈਆਂ ਕਤਾਰਾਂ, ਰੱਦ ਕੀਤੀਆਂ ਗਈਆਂ ਕਤਾਰਾਂ ਅਤੇ ਹਰੇਕ ਰੱਦ ਹੋਣ ਦੇ ਕਾਰਨ ਦਾ ਵੇਰਵਾ ਹੁੰਦਾ ਹੈ। ਇੱਕ ਹੈਸ਼ ਨਾਲ ਜੋੜੀ ਗਈ ਕੁਦਰਤੀ ਕੁੰਜੀ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੀ ਹੈ ਕਿ ਪ੍ਰਕਿਰਿਆ ਆਈਡੈਂਪੋਟੈਂਟ (idempotent) ਰਹੇ, ਭਾਵ ਪਿਛਲੇ ਕੰਮ ਨੂੰ ਦੁਬਾਰਾ ਚਲਾਉਣ ਨਾਲ ਕੋਈ ਨੁਕਸਾਨ ਨਹੀਂ ਹੁੰਦਾ। ਸਰੋਤ ਸਕੀਮਾ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਦਾ ਪਤਾ ਲੋਡ ਨੂੰ ਖਰਾਬ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਲੱਗ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਚੁੱਪ-ਚਾਪ ਅਸਫਲ ਹੋਣ ਦੀ ਬਜਾਏ ਇੱਕ ਅਲਰਟ ਤਿਆਰ ਹੁੰਦਾ ਹੈ।
ਤੁਸੀਂ ਕੀ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋ
- ਪਾਈਪਲਾਈਨ ਕੋਡ ਤੁਹਾਡੀ ਆਪਣੀ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਕਮਿਟ ਕੀਤਾ ਗਿਆ ਹੈ, ਤੁਹਾਡੇ ਅਸਲ ਡੇਟਾ ਦੇ ਨਮੂਨੇ ਦੇ ਵਿਰੁੱਧ ਟੈਸਟ ਕੀਤਾ ਗਿਆ ਹੈ।
- ਤੁਹਾਡੇ ਸਟੈਕ ਲਈ ਢੁਕਵਾਂ ਇੱਕ ਸ਼ਡਿਊਲਿੰਗ ਵਿਧੀ - cron, ਇੱਕ systemd ਟਾਈਮਰ, Airflow ਜਾਂ Prefect।
- ਕਤਾਰਾਂ ਦੀ ਗਿਣਤੀ, ਅਸਫਲਤਾਵਾਂ ਅਤੇ ਲੇਟੈਂਸੀ ਡ੍ਰਿਫਟ ਨੂੰ ਕਵਰ ਕਰਨ ਵਾਲੀ ਨਿਗਰਾਨੀ ਅਤੇ ਚੇਤਾਵਨੀਆਂ।
- ਰੀਪਲੇਅ, ਬੈਕਫਿਲ ਅਤੇ ਨਵੇਂ ਡੇਟਾ ਸਰੋਤ ਨੂੰ ਕਿਵੇਂ ਸ਼ਾਮਲ ਕਰਨਾ ਹੈ ਬਾਰੇ ਦੱਸਣ ਵਾਲੀ ਇੱਕ ਰਨਬੁੱਕ।
ਸਾਨੂੰ ਤੁਹਾਡੇ ਵੱਲੋਂ ਕੀ ਚਾਹੀਦਾ ਹੈ
ਸਰੋਤ ਅਤੇ ਮੰਜ਼ਿਲ ਪ੍ਰਣਾਲੀਆਂ ਤੱਕ ਪੜ੍ਹਨ ਦੀ ਪਹੁੰਚ, ਡੇਟਾ ਦਾ ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਨਮੂਨਾ, ਅਤੇ ਉਹ ਸ਼ਡਿਊਲ ਜਿਸਦੀ ਤੁਹਾਡੇ ਕਾਰੋਬਾਰ ਨੂੰ ਅਸਲ ਵਿੱਚ ਲੋੜ ਹੈ ਨਾ ਕਿ ਇੱਕ ਅਭਿਲਾਸ਼ੀ ਸ਼ਡਿਊਲ।
ਸਮਾਂ-ਰੇਖਾ ਅਤੇ ਅੱਪਡੇਟ
ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਕਾਰਜਸ਼ੀਲ ਸੰਸਕਰਣ ਆਮ ਤੌਰ 'ਤੇ ਪੰਜ ਦਿਨਾਂ ਦੇ ਅੰਦਰ ਤਿਆਰ ਹੋ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਉਤਪਾਦਨ ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਡੀ ਸਮੀਖਿਆ ਲਈ ਇੱਕ ਸਟੇਜਿੰਗ ਰਨ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ। ਮੀਟਿੰਗਾਂ ਦੀ ਬਜਾਏ ਹਰੇਕ ਮੀਲਪੱਥਰ 'ਤੇ ਸੰਖੇਪ ਲਿਖਤੀ ਨੋਟਾਂ ਵਜੋਂ ਅੱਪਡੇਟ ਪ੍ਰਦਾਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਤੁਹਾਡੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਵਾਲੀਆਂ ਚੋਣਾਂ - ਜਿਵੇਂ ਕਿ ਧਾਰਨ, ਬੈਕਫਿਲ ਵਿੰਡੋਜ਼ ਅਤੇ ਅਸਵੀਕਾਰ ਕੀਤੀਆਂ ਕਤਾਰਾਂ ਦਾ ਪ੍ਰਬੰਧਨ - ਭਵਿੱਖ ਦੇ ਸੰਦਰਭ ਲਈ ਲੌਗ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਜੇਕਰ ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਸਮੇਂ ਵਿੱਚ ਭਰੋਸੇਯੋਗਤਾ ਪ੍ਰਾਪਤ ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਸ਼ੁਰੂਆਤ ਦੇ ਸਮੇਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਦੀ ਬਜਾਏ ਯੋਜਨਾ ਨੂੰ ਸੋਧਣ ਲਈ ਕਾਫ਼ੀ ਪਹਿਲਾਂ ਸੂਚਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਇਹ ਬਿਲਡ ਇੱਕ ਸਿੰਗਲ ਨਿਸ਼ਚਿਤ-ਕੀਮਤ ਪੈਕੇਜ ਵਜੋਂ ਪ੍ਰਦਾਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ 14 ਦਿਨਾਂ ਦੇ ਬਦਲਾਅ ਸਮੇਂ ਦੇ ਅੰਦਰ, ਇੱਕ ਸੰਸ਼ੋਧਨ ਸਮੇਤ ਇੱਕ ਵਾਰ ਵਿੱਚ ਪੂਰਾ ਹੁੰਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਉਹ ਡੋਮੇਨ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ ਜਿਸ 'ਤੇ ਆਰਡਰ ਲਾਗੂ ਹੁੰਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡਾ ਸੰਖੇਪ ਵੇਰਵਾ।