এই তালিকা সম্পর্কে
এটি কী করে
এটি আপনার বর্তমানে চালু থাকা সিস্টেমগুলোকে সংযুক্ত করে, যেমন ডেটাবেস থেকে ডেটা ওয়্যারহাউস, CRM থেকে রিপোর্টিং টুল, API থেকে স্প্রেডশিট, অথবা এর একাধিক সিস্টেমের সমন্বয়। স্বাভাবিক কার্যক্রমে সারি স্থানান্তর করা সহজ; আসল পরীক্ষা হলো চল্লিশতম দিনে কী ঘটে, যখন রাত ২টায় একটি প্রমাণীকরণ টোকেনের মেয়াদ শেষ হয়ে যায়, একটি উৎস টেবিলে একটি নতুন ফাঁকা হতে পারে এমন (nullable) ফিল্ড যুক্ত হয়, অথবা একটি ব্যাচ স্থানান্তর মাঝপথে বাধাগ্রস্ত হয়।
এটি যেভাবে নির্মিত
নিষ্কাশন (extraction), লোডিং এবং রূপান্তর (transformation) আলাদা ধাপ হিসেবে বজায় রাখা হয়, কারণ প্রতিটির ব্যর্থতার কারণ ভিন্ন হতে পারে এবং নিজস্ব পুনঃপ্রচেষ্টা ব্যবস্থার প্রয়োজন হয়। নিষ্কাশন প্রক্রিয়া একটি কার্সার বা ওয়াটারমার্ক অনুসরণ করে যাতে পুনরায় চালুর ক্ষেত্রে রেকর্ডগুলোর পুনরাবৃত্তি না হয়ে যেখান থেকে থেমেছিল সেখান থেকেই শুরু হয়। প্রতিটি ব্যাচের জন্য লোডিং একটি লেনদেনের (transaction) অভ্যন্তরে সম্পন্ন হয়, যার অর্থ বাধাগ্রস্ত হলেও লক্ষ্যটি আংশিকভাবে হালনাগাদ হওয়ার পরিবর্তে সামঞ্জস্যপূর্ণ অবস্থায় থাকে। রূপান্তরের নিয়মগুলো ভিজ্যুয়াল বিল্ডারের পরিবর্তে সংস্করণ-নিয়ন্ত্রিত SQL বা Python-এ থাকে, যা পরবর্তীতে পড়া কঠিন হয়ে যায় না।
প্রতিটি রান একটি ম্যানিফেস্ট তৈরি করে যেখানে পঠিত সারি, লিখিত সারি, প্রত্যাখ্যাত সারি এবং প্রতিটি প্রত্যাখ্যানের কারণ বিস্তারিত থাকে। একটি হ্যাশের সাথে যুক্ত প্রাকৃতিক কী (natural key) নিশ্চিত করে যে প্রক্রিয়াটি অপরিবর্তনীয় (idempotent), যার অর্থ পূর্বের কাজ পুনরায় চালালে কোনো ক্ষতি হয় না। লোডিং ব্যর্থ করার আগেই উৎস স্কিমার পরিবর্তনগুলো শনাক্ত করা হয়, ফলে নীরবে ব্যর্থ হওয়ার পরিবর্তে একটি সতর্কতা তৈরি হয়।
আপনি যা পাবেন
- আপনার নিজস্ব রিপোজিটরিতে কমিট করা পাইপলাইন কোড, যা আপনার প্রকৃত তথ্যের একটি নমুনার বিপরীতে পরীক্ষিত।
- আপনার স্ট্যাকের জন্য উপযুক্ত একটি সময়সূচী প্রক্রিয়া - cron, একটি systemd টাইমার, Airflow বা Prefect।
- সারির সংখ্যা, ব্যর্থতা এবং লেটেন্সি ড্রিফ্ট কভার করে এমন নজরদারি এবং সতর্কতা।
- রিপ্লে, ব্যাকফিল এবং কীভাবে একটি নতুন ডেটা উৎস যুক্ত করতে হয় তা ব্যাখ্যা করে একটি রানবুক।
আপনার কাছ থেকে আমাদের যা প্রয়োজন
উৎস এবং গন্তব্য সিস্টেমগুলিতে পড়ার অ্যাক্সেস, ডেটার একটি কার্যকরী নমুনা এবং একটি অতিরিক্ত উচ্চাকাঙ্ক্ষী সময়সূচীর পরিবর্তে আপনার ব্যবসার প্রকৃতপক্ষে যে সময়সূচী প্রয়োজন।
সময়রেখা এবং আপডেট
একটি প্রাথমিক কার্যকরী সংস্করণ সাধারণত পাঁচ দিনের মধ্যে প্রস্তুত হয়ে যায়, যার মধ্যে প্রোডাকশন ডিপ্লয়মেন্টের আগে আপনার পর্যালোচনার জন্য একটি স্টেজিং রান অন্তর্ভুক্ত থাকে। আপডেটগুলি মিটিংয়ের পরিবর্তে প্রতিটি মাইলস্টোনে সংক্ষিপ্ত লিখিত নোট হিসাবে সরবরাহ করা হয়, এবং আপনার ডেটাকে প্রভাবিত করে এমন পছন্দগুলি - যেমন ধারণকাল, ব্যাকফিল উইন্ডো এবং প্রত্যাখ্যাত সারিগুলির ব্যবস্থাপনা - ভবিষ্যতের রেফারেন্সের জন্য লিপিবদ্ধ করা হয়। যদি অনুমোদিত সময়ের মধ্যে নির্ভরযোগ্যতা অর্জন করা সম্ভব না হয়, তবে কাজ শুরু করার সময় সমস্যার সম্মুখীন হওয়ার চেয়ে পরিকল্পনা সংশোধন করার জন্য আপনাকে যথেষ্ট আগেই অবহিত করা হবে।
এই বিল্ডটি একটি একক নির্দিষ্ট মূল্যের প্যাকেজ হিসাবে সরবরাহ করা হয়, যা একটি সংশোধন সহ একবারে সম্পন্ন হয়, ১৪ দিনের মধ্যে ডেলিভারি যোগ্য। অর্ডারটি যে ডোমেনের জন্য প্রযোজ্য তা এবং আপনার ব্রিফ সরবরাহ করতে হবে।