á€á
á¬áááºážá¡ááŒá±á¬ááºáž
áááºážáá¯ááºáá±á¬ááºáá±ážááá·áºá¡áá¬
áááºážááẠáá±áá¬áá±á·á
áºá០áá±áá¬áá¯ááºááŸá±á¬ááºáá¯á¶ááá¯á·á CRM á០á¡á
á®áááºáá¶áááááá¬ááá¯á·á API á០ááá¬ážááœááºááá¯á· ááá¯á·ááá¯áẠá€á¡áá¬áá»á¬ážá
áœá¬ áá±á«ááºážá
ááºáá¬ážááá·áº áááºáááºááŸááááºáááºáá±áá±á¬ á
áá
áºáá»á¬ážááᯠáá»áááºáááºáá±ážáá«áááºá áá¯á¶ááŸááºáá¯ááºáá±á¬ááºááŸá¯á¡ááœááºáž á¡áááºážáá»á¬ážááᯠááœáŸá²ááŒá±á¬ááºážááŒááºážááẠááá¯ážááŸááºážáá«áááºá á
á
áºááŸááºáá±á¬ á
ááºážáááºááŸá¯ááŸá¬ áá¶ááẠá áá¬áá®ááœáẠá¡áá±á¬ááºá¡áá¬ážá
áá
á
áºááŒááºáž ááá¯ááẠáááºáááºážáá¯ááºáá¯á¶ážááœá¬ážáá»áááºá áá°áááºážááá¬ážááœáẠáááºááá¯ážáááŸáááá¯ááºáá±á¬ ááá¯ááºá¡áá
áºáá
áºáᯠáááŸááá¬áá»áááºá ááá¯á·ááá¯áẠá¡á
á¯ááá¯áẠááœáŸá²ááŒá±á¬ááºážááŸá¯ááẠáááºážáá
áºáááºááœáẠááŒááºáá±á¬ááºááœá¬ážáá»ááẠá
ááá·áº áááºáá±á«ááºážáá±ážáááºááŒá±á¬ááºááœáẠááŒá
áºáá±á«áºáá¬ááá·áº á¡ááŒá±á¡áá±ááŒá
áºáá«áááºá
áááºážááᯠáááºáá±á¬ááºáá¬ážáá¯á¶
áá¯ááºáá°ááŒááºážá ááŒáá·áºááœááºážááŒááºážááŸáá·áº á¡ááœááºááŒá±á¬ááºážááŒááºážááá¯á·ááᯠáá®ážááŒá¬ážá¡ááá·áºáá»á¬ážá¡ááŒá
Ạááááºážááááºážáá¬ážáá«áááºá á¡ááŒá±á¬ááºážááŸá¬ á¡ááá·áºáá
áºáá¯á
á®ááẠááá°áá®áá±á¬á¡ááŒá±á¬ááºážááŒáá»ááºáá»á¬ážááŒáá·áº áá¡á±á¬ááºááŒááºááá¯ááºááá·áºá¡ááŒáẠáááºážááá¯á·á ááá¯ááºááá¯áẠááŒááºáááºááŒáá¯ážá
á¬ážááŸá¯ ááá¹ááá¬áž ááá¯á¡ááºáá±á¬ááŒá±á¬áá·áºááŒá
áºáá«áááºá áá¯ááºáá°ááŒááºážááẠááŸááºáááºážáá»á¬ážááᯠááœá¬ážáá°ááŒááºážááẠáááºááá·áºááœá¬ážááá·áºáá±áá¬á០ááŒááºáááºá
áááºááá¯ááºá
á±ááẠáá¬áᬠááá¯á·ááá¯áẠáá«áá¬áááºááºáá±á¬ááºááá¯á· ááá¯ááºáá«áááºá ááŒáá·áºááœááºážááŒááºážááẠá¡á
á¯áá
áºáá¯á
á®á¡ááœáẠáá¯ááºáááºážá
ááºáá
áºáá¯á¡ááœááºáž áá¯ááºáá±á¬ááºáá«áááºá ááá¯ááá¯áááºááŸá¬ á¡ááŸá±á¬áá·áºá¡ááŸááºáá
áºáᯠááŒá
áºáá±á«áºáá«á áá
áºááŸááºááᯠáá
áºá
áááºáá
áºááá¯ááºážáᬠááœááºážáá¶ááŒááºážáá»áá¯ážááá¯ááºáá² áááááºáááºážááŸááá±á¬ á¡ááŒá±á¡áá±ááœáẠááŸááá±á
á±áá«áááºá á¡ááœááºááŒá±á¬ááºážááŒááºážááá¯ááºáᬠá
ááºážáá»ááºážáá»á¬ážááẠáá±á¬ááºááœáẠáááºááŸá¯ááẠáááºáá²áá¬ááá¯ááºááá·áº á¡ááŒááºá¡á¬áá¯á¶áá¯á¶áž áááºáá±á¬ááºáááááá¬á¡á
á¬áž áá¬ážááŸááºážááááºážáá»á¯ááºáá¬ážáá±á¬ SQL ááá¯á·ááá¯áẠPython ááœááºáᬠááŸááá±áá«áááºá
áá¯ááºáá±á¬ááºááŸá¯ááá¯ááºážááẠáááºááŸá¯áá²á·ááá·áºá¡áááºážáá»á¬ážá áá±ážáá¬ážáá²á·ááá·áºá¡áááºážáá»á¬ážá ááŒááºážáááºáá¶áááá·áºá¡áááºážáá»á¬ážááŸáá·áº ááŒááºážáááºááŸá¯áá
áºáá¯á
á®á¡ááœáẠá¡ááŒá±á¬ááºážáááºážááá¯á·ááᯠá¡áá±ážá
áááºáá±á¬áºááŒááá·áº áááºáá®áááºá
áºáá
áºáá¯ááᯠáá¯ááºáá±ážáá«áááºá áááºááŸáºáá
áºáá¯ááŸáá·áº ááœá²áááºáá¬ážáá±á¬ ááá¬ááá®ážáá
áºáá¯ááẠáá¯ááºáááºážá
ááºááᯠáááºááá²áá²áá¯ááºáá±á¬ááºááá¯ááºá
áœááºáž (idempotent) ááŸáá
á±ááẠáá±áá»á¬á
á±áááºá ááá¯ááá¯áááºááŸá¬ ááááºá¡áá¯ááºáá
áºáá¯ááᯠááŒááºáááºáá¯ááºáá±á¬ááºááŒááºážááẠáááºááá·áºááááá¯ááºááŸá¯áá»áŸ áááŒá
áºá
á±áá«á áá°áááºážá
áá®ážáá¬ážáá»á¬ážááá¯á· ááŒá¯ááŒááºááŒá±á¬ááºážáá²ááŸá¯áá»á¬ážááᯠááŒáá·áºááœááºážááŸá¯ááᯠááá»ááºá
á®ážá
á±áá® ááŒáá¯áááºááááŸáááá¯ááºááŒá®ážá á¡áá¶áááẠáá¡á±á¬ááºááŒááºááŸá¯á¡á
á¬áž ááááá±ážáá»ááºáá
áºáá¯ááᯠáá¯ááºáá±ážáá«áááºá
áááºáááŸáááá·áºá¡áá¬
- áááºáááá¯ááºááá¯áẠrepository áá²ááá¯á· ááá·áºááœááºážáá¬ážááŒá®áž áááºá á¡áá»ááºá¡áááºá¡á
á
áºá¡ááŸááºááá°áá¬ááŒáá·áº á
ááºážáááºáá¬ážáá±á¬ Pipeline áá¯ááºá
- croná systemd timerá Airflow ááá¯á·ááá¯áẠPrefect á
áááºááŒáá·áº áááºá stack ááŸáá·áº ááá¯ááºáá®áá±á¬ á¡áá»áááºááá¬ážááœá²ááá·áº á
áá
áºáá
áºáá¯á
- á¡áááºážá¡áá±á¡ááœááºá áá»áá¯á·ááœááºážáá»ááºáá»á¬ážááŸáá·áº latency drift ááá¯á·ááᯠááœáŸááºážááŒá¯á¶áá¬ážáá±á¬ á
á±á¬áá·áºááŒáá·áºá
á
áºáá±ážááŸá¯ááŸáá·áº ááááá±ážáá»ááºáá»á¬ážá
- ááŒááºáááºáá¯ááºáá±á¬ááºááŒááºážá backfill ááŒá¯áá¯ááºááŒááºážááŸáá·áº áá±áá¬á¡áááºážá¡ááŒá
áºá¡áá
áºáá
áºáá¯ááᯠáááºááá¯á·ááá·áºááœááºážááááºááᯠááŸááºážááŒáá¬ážáá±á¬ runbook áá
áºáá¯á
ááá·áºáá¶á០áá»áœááºá¯ááºááá¯á· ááá¯á¡ááºááá·áºá¡áá¬áá»á¬áž
áá°áááºážááŸáá·áº áŠážáááºáá¬á
áá
áºáá»á¬ážááá¯á· áááºááŸá¯ááœáá·áºá á¡áá¯ááºáá¯ááºááá¯ááºáá±á¬ áá±áá¬ááá°áá¬áá
áºáá¯ááŸáá·áº ááœááºáá²áá±á¬ á¡áá»áááºááá¬ážááẠááá·áºáá¯ááºáááºážá¡ááœáẠá¡ááŸááºáááẠááá¯á¡ááºáá±á¬ á¡áá»áááºááá¬ážá
á¡áá»áááºá¡ááá¯ááºážá¡ááŒá¬ážááŸáá·áº áá±á¬ááºáá¯á¶ážáá¡ááŒá±á¡áá±áá»á¬áž
áá¯ááºáá¯ááºááŸá¯ááœáẠá¡áá¯á¶ážáááŒá¯áá® ááá·áºáá¯á¶ážáááºáá»ááºá¡ááœáẠstaging run áá
áºáá¯áá«áááºááá·áº á¡á
á±á¬ááá¯ááºáž á¡áá¯ááºáá¯ááºáá±á¬ááºááá¯ááºáá±á¬ áá¬ážááŸááºážáá
áºáá¯ááᯠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº áá«ážáááºá¡ááœááºáž á¡áááºááá·áºáááŸáááá¯ááºáá«áááºá á¡á
ááºážá¡áá±ážáá»á¬ážá¡á
á¬áž á¡áááááŸááºááá¯ááºááá¯ááºážááœáẠá¡áá»ááºážáá»á¯áẠáá±ážáá¬ážáá¬ážáá±á¬ ááŸááºá
á¯áá»á¬ážá¡ááŒá
Ạáá±á¬ááºáá¯á¶ážáá¡ááŒá±á¡áá±áá»á¬ážááᯠáá±ážááá¯á·ááŒá®ážá áá±á¬ááºááœáẠááá¯ážáá¬ážááá¯ááºáááºá¡ááœáẠááááºážáááºážááŸá¯á backfill áááºážááá¯ážáá»á¬ážááŸáá·áº áááºáá»áá¶ááá±á¬ á¡áááºážáá»á¬ážááᯠááá¯ááºááœááºáá¯á¶áá²á·ááá¯á·áá±á¬ ááá·áºáá±áá¬ááᯠááááá¯ááºá
á±ááá·áº ááœá±ážáá»ááºááŸá¯áá»á¬ážááᯠááŸááºáááºážáááºáá¬ážáá«áááºá ááœáá·áºááŒá¯áá¬ážáá±á¬ á¡áá»áááºá¡ááœááºáž á
áááºáá»áá¯á¶ááŒááºáááŸá¯ááᯠááááŸáááá¯ááºáá«á á
áááºá¡áá¯á¶ážááŒá¯áá»áááºá០ááŒá¿áá¬áá»á¬ážááᯠááœá±á·ááŒá¯á¶áááŒááºážááẠá¡á
á®á¡á
ááºááᯠááŒááºáááºááá¯ááºááẠááá·áºá¡á¬áž ááŒáá¯ááẠá¡áááá±ážáá«áááºá
á€áááºáá±á¬ááºááŸá¯ááᯠáááºááŸááºáá¬ážáá±á¬ áá±ážááŸá¯ááºážáá
áºáá¯áááºážááŒáá·áº áááºáá±á·áá»áºá¡ááŒá
Ạáá¶á·ááá¯ážáá¬ážááŒá®ážá ááŒááºáááºááŸá¯áá
áºáᯠá¡áá«á¡ááẠáá áááºá¡ááœááºáž áá
áºááŒáááºáááºážááŒáá·áº á¡ááŒá®ážáááºáá±ážáááºááŒá
áºáá«áááºá á€á¡ááŸá¬á
á¬ááŸáá·áº áááºááá¯ááºááá·áº ááá¯ááááºážááŸáá·áº ááá·áºá¡áá»ááºážáá»á¯ááºá¡áá»ááºá¡áááºáá»á¬ážááᯠáááºáá±ážááá¯á·ááẠááá¯á¡ááºáááºááŒá
áºáá«áááºá
