اس فہرست کے بارے میں
یہ کیا کام کرتا ہے
یہ آپ کے فی الوقت زیرِ استعمال سسٹمز کو آپس میں جوڑتا ہے، جیسے کہ ڈیٹا بیس کو ویئر ہاؤس سے، CRM کو رپورٹنگ ٹول سے، API کو اسپریڈ شیٹ سے، یا ان میں سے کئی ایک کو یکجا کر کے۔ معمول کے کام کے دوران قطاروں (rows) کو منتقل کرنا آسان ہوتا ہے؛ اصل امتحان چالیسویں دن ہوتا ہے، جب رات کے 2 بجے توثیقی ٹوکن کی میعاد ختم ہو جاتی ہے، ماخذ جدول میں ایک نیا قابلِ تنسیخ (nullable) فیلڈ شامل ہو جاتا ہے، یا بیچ کی منتقلی درمیان میں ہی رک جاتی ہے۔
اسے کیسے بنایا گیا ہے
ڈیٹا نکالنے (extraction)، لوڈ کرنے اور تبدیلی (transformation) کو الگ الگ مراحل کے طور پر برقرار رکھا جاتا ہے، کیونکہ ہر ایک مختلف وجوہات کی بنا پر ناکام ہو سکتا ہے اور اسے دوبارہ کوشش کرنے کے اپنے طریقہ کار کی ضرورت ہوتی ہے۔ ڈیٹا نکالنے کا عمل کرسر یا واٹر مارک کی پیروی کرتا ہے تاکہ یہ یقینی بنایا جا سکے کہ دوبارہ شروع ہونے پر ریکارڈز کی نقل تیار کرنے کے بجائے وہیں سے آغاز ہو جہاں سے یہ رکا تھا۔ ہر بیچ کے لیے لوڈنگ ٹرانزیکشن کے اندر انجام پاتی ہے، جس کا مطلب ہے کہ کسی رکاوٹ کی صورت میں ہدف نامکمل اپ ڈیٹ ہونے کے بجائے ایک مستقل حالت میں رہتا ہے۔ تبدیلی کے قواعد ایسے بصری بلڈر کے بجائے ورژن کنٹرولڈ SQL یا Python میں محفوظ رہتے ہیں جسے بعد میں پڑھنا مشکل ہو جاتا ہے۔
ہر بار چلنے پر ایک مینی فیسٹ تیار ہوتا ہے جس میں پڑھی گئی قطاروں، لکھی گئی قطاروں، مسترد شدہ قطاروں اور ہر مسترد کیے جانے کی وجہ کی تفصیل ہوتی ہے۔ ہیش کے ساتھ منسلک ایک نیچرل کی (natural key) اس بات کو یقینی بناتی ہے کہ یہ عمل آئیڈیمپوٹنٹ (idempotent) رہے، یعنی پرانے کام کو دوبارہ چلانے سے کوئی نقصان نہ ہو۔ لوڈ کا عمل خراب ہونے سے پہلے ہی سورس سکیما میں ہونے والی تبدیلیوں کا پتہ چل جاتا ہے، جس سے خاموش ناکامی کے بجائے ایک الرٹ جنریٹ ہوتا ہے۔
آپ کیا حاصل کرتے ہیں
- پائپ لائن کوڈ جو آپ کے اپنے ریپوزٹری میں جمع کیا گیا ہو، اور آپ کے حقیقی ڈیٹا کے نمونے کے ساتھ جانچا گیا ہو۔
- آپ کے اسٹیک کے لیے موزوں شیڈولنگ کا طریقہ کار - cron، ایک systemd ٹائمر، Airflow یا Prefect۔
- مانیٹرنگ اور الرٹس جن میں قطاروں کی تعداد، خرابیاں اور تاخیر کا فرق شامل ہو۔
- ایک رن بک جس میں ری پلے، بیک فل اور ڈیٹا کے نئے ماخذ کو شامل کرنے کا طریقہ بیان کیا گیا ہو۔
ہمیں آپ سے کیا درکار ہے
ماخذ اور منزل کے سسٹمز تک پڑھنے کی رسائی، ڈیٹا کا ایک فعال نمونہ، اور وہ شیڈول جس کی آپ کے کاروبار کو حقیقت میں ضرورت ہے، نہ کہ کوئی غیر حقیقی حد تک پرجوش شیڈول۔
ٹائم لائن اور اپ ڈیٹس
ایک ابتدائی فعال ورژن عام طور پر پانچ دنوں کے اندر تیار ہو جاتا ہے، جس میں پروڈکشن میں تعیناتی سے قبل آپ کے جائزے کے لیے اسٹیجنگ رن شامل ہوتا ہے۔ اپ ڈیٹس میٹنگز کے بجائے ہر اہم مرحلے پر مختصر تحریری نوٹس کے طور پر فراہم کیے جاتے ہیں، اور آپ کے ڈیٹا پر اثر انداز ہونے والے انتخابات - جیسے کہ برقرار رکھنے کی مدت، بیک فل ونڈوز اور مسترد شدہ قطاروں کو سنبھالنا - مستقبل کے حوالے کے لیے درج کیے جاتے ہیں۔ اگر مقررہ وقت میں پائیداری حاصل نہیں کی جا سکتی ہے، تو آپ کو بروقت مطلع کیا جاتا ہے تاکہ لانچ کے وقت مسائل سامنے آنے کے بجائے منصوبے میں پیشگی ترمیم کی جا سکے۔
یہ سیٹ اپ ایک واحد مقررہ قیمت والے پیکج کے طور پر فراہم کیا جاتا ہے، جو ایک ہی باری میں مکمل ہوتا ہے جس میں ایک نظرثانی شامل ہے، اور اس کا دورانیہ 14 دن ہے۔ آپ کو وہ ڈومین فراہم کرنا ہوگا جس پر آرڈر لاگو ہوتا ہے اور اپنا مختصر خاکہ (brief) پیش کرنا ہوگا۔