AWS-এ ডেটা মেশ আর্কিটেকচার ব্যবহার করে ML মডেল তৈরি এবং প্রশিক্ষণ দিন: পার্ট 1

বিভিন্ন শিল্প জুড়ে সংস্থাগুলি তাদের শিল্পের নির্দিষ্ট ব্যবসায়িক চ্যালেঞ্জগুলি সমাধান করতে কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) ব্যবহার করছে। উদাহরণস্বরূপ, আর্থিক পরিষেবা শিল্পে, আপনি জালিয়াতি সনাক্তকরণ, ক্রেডিট ঝুঁকির পূর্বাভাস, সরাসরি বিপণন এবং আরও অনেক কিছুর চ্যালেঞ্জগুলি সমাধান করতে AI এবং ML ব্যবহার করতে পারেন।

বড় উদ্যোগগুলি কখনও কখনও উদ্ভাবনী বিশ্লেষণ এবং এমএল প্রকল্পগুলির সাথে ব্যবসার বিভিন্ন লাইনের (LoBs) চাহিদাগুলি মোকাবেলা করার জন্য একটি উৎকর্ষ কেন্দ্র (CoE) স্থাপন করে।

স্কেলে উচ্চ-মানের এবং পারফরম্যান্ট এমএল মডেল তৈরি করতে, তাদের নিম্নলিখিতগুলি করতে হবে:

• তাদের বিশ্লেষণ এবং ML CoE-তে প্রাসঙ্গিক ডেটা অ্যাক্সেস করার একটি সহজ উপায় প্রদান করুন
• আবিষ্কৃত, বোধগম্য, আন্তঃপরিচালনযোগ্য এবং বিশ্বাসযোগ্য কিউরেটেড ডেটা সম্পদ ভাগ করার জন্য পৃথক LoBs থেকে ডেটা প্রদানকারীদের উপর জবাবদিহিতা তৈরি করুন

এটি এমএল ব্যবহারের কেসগুলিকে পরীক্ষা থেকে উৎপাদনে রূপান্তর করার জন্য দীর্ঘ চক্রের সময়কে কমাতে পারে এবং সংস্থা জুড়ে ব্যবসায়িক মূল্য তৈরি করতে পারে।

একটি ডাটা মেশ আর্কিটেকচার জটিল এবং বৃহৎ আকারের পরিবেশে-সংস্থার মধ্যে বা জুড়ে ডেটা ভাগ, অ্যাক্সেস এবং পরিচালনা করার জন্য একটি বিকেন্দ্রীভূত সামাজিক-প্রযুক্তিগত পদ্ধতির প্রবর্তন করে এই প্রযুক্তিগত এবং সাংগঠনিক চ্যালেঞ্জগুলি সমাধান করার চেষ্টা করে। ডেটা মেশ ডিজাইন প্যাটার্ন একটি দায়িত্বশীল ডেটা-শেয়ারিং মডেল তৈরি করে যা ডেটা দল, প্রক্রিয়া এবং প্রযুক্তিতে ব্যবসায়িক বিনিয়োগের রিটার্ন বাড়ানোর চূড়ান্ত লক্ষ্য অর্জনের জন্য সাংগঠনিক বৃদ্ধির সাথে সারিবদ্ধ করে।

এই দুই-অংশের সিরিজে, আমরা কীভাবে সংস্থাগুলি AWS-এ ডেটা মেশ ডিজাইন প্যাটার্ন ব্যবহার করে একটি আধুনিক ডেটা আর্কিটেকচার তৈরি করতে পারে এবং একাধিক LoB জুড়ে ডেটা সহ ML মডেল তৈরি এবং প্রশিক্ষণের জন্য একটি বিশ্লেষণ এবং ML CoE সক্ষম করতে পারে তার নির্দেশিকা প্রদান করি। এই সিরিজের প্রসঙ্গ এবং ব্যবহারের ক্ষেত্রে সেট করতে আমরা একটি আর্থিক পরিষেবা সংস্থার উদাহরণ ব্যবহার করি।

এই প্রথম পোস্টে, আমরা একাধিক AWS ডেটা প্রযোজক এবং ভোক্তা অ্যাকাউন্টগুলির সাথে একটি ডেটা মেশ আর্কিটেকচার সেট আপ করার পদ্ধতিগুলি দেখাই৷ তারপরে আমরা একটি ডেটা পণ্যের উপর ফোকাস করি, যেটি আর্থিক সংস্থার মধ্যে একটি LoB-এর মালিকানাধীন, এবং কীভাবে এটি একটি ডেটা জাল পরিবেশে ভাগ করা যেতে পারে যাতে অন্যান্য LoB-কে এই ডেটা পণ্য ব্যবহার এবং ব্যবহার করার অনুমতি দেওয়া যায়। এটি মূলত ডেটা স্টুয়ার্ড ব্যক্তিত্বকে লক্ষ্য করে, যারা ডেটা উত্পাদক এবং ভোক্তাদের মধ্যে ডেটা ভাগ করে নেওয়ার প্রক্রিয়াটিকে স্ট্রিমলাইন এবং স্ট্যান্ডার্ডাইজ করার জন্য এবং ডেটা গভর্নেন্স নিয়মগুলির সাথে সম্মতি নিশ্চিত করার জন্য দায়ী৷

দ্বিতীয় পোস্টে, আমরা কীভাবে একটি বিশ্লেষণ এবং ML CoE ঝুঁকির পূর্বাভাস ব্যবহারের ক্ষেত্রে ডেটা পণ্য ব্যবহার করতে পারে তার একটি উদাহরণ দেখাই। এটি মূলত ডেটা সায়েন্টিস্ট ব্যক্তিত্বকে লক্ষ্য করে, যারা আর্থিক পরিষেবা গ্রাহকদের অভিজ্ঞতা বাড়ানোর জন্য ব্যবসার অন্তর্দৃষ্টি বের করে এমন এমএল মডেল তৈরি এবং প্রশিক্ষণের জন্য সাংগঠনিক-বিস্তৃত এবং তৃতীয়-পক্ষের উভয় ডেটা সম্পদ ব্যবহার করার জন্য দায়ী।

ডেটা জাল ওভারভিউ

ডাটা মেশ প্যাটার্নের প্রতিষ্ঠাতা, জামাক দেহানি তার বইতে ডেটা মেশ স্কেলে ডেটা-চালিত মান সরবরাহ করে, ডেটা মেশের উদ্দেশ্যের প্রতি চারটি নীতি সংজ্ঞায়িত করা হয়েছে:

• বিতরণ করা ডোমেন মালিকানা - বিশেষজ্ঞদের দ্বারা ডেটার কেন্দ্রীভূত মালিকানা থেকে একটি বিকেন্দ্রীভূত ডেটা মালিকানা মডেলে ডাটা প্ল্যাটফর্ম প্রযুক্তি চালনা করে একটি সাংগঠনিক স্থানান্তর করা, ডেটার মালিকানা এবং জবাবদিহিতাকে LoB-তে ফিরিয়ে দেওয়া যেখানে ডেটা উত্পাদিত হয় (উৎস-সারিবদ্ধ ডোমেন) বা ব্যবহার করা হয় ( খরচ-সারিবদ্ধ ডোমেন)।
• পণ্য হিসাবে ডেটা - কিউরেটেড, উচ্চ-মানের, ইন্টারঅপারেবল, এবং নিরাপদ ডেটা সম্পদ ভাগ করে নেওয়ার জবাবদিহিতাকে আপস্ট্রিমে ঠেলে দেওয়া। অতএব, বিভিন্ন LoB-এর ডেটা প্রযোজকরা সরাসরি উৎসে উপভোগযোগ্য আকারে ডেটা তৈরি করার জন্য দায়ী।
• স্ব-পরিষেবা বিশ্লেষণ - বিশ্লেষণ এবং ML এর ডেটা ব্যবহারকারীদের অভিজ্ঞতাকে স্ট্রিমলাইন করতে যাতে তারা তাদের পছন্দের সরঞ্জামগুলির সাথে ডেটা পণ্যগুলি আবিষ্কার করতে, অ্যাক্সেস করতে এবং ব্যবহার করতে পারে৷ উপরন্তু, রেসিপি এবং পুনঃব্যবহারযোগ্য উপাদান এবং টেমপ্লেটগুলির মাধ্যমে ডেটা পণ্য তৈরি, স্থাপন এবং বজায় রাখার জন্য LoB ডেটা প্রদানকারীদের অভিজ্ঞতাকে প্রবাহিত করতে।
• ফেডারেটেড কম্পিউটেশনাল গভর্নেন্স - বিভিন্ন LoBs থেকে ডেটা মালিকদের স্তরে থাকার জন্য ডেটা অ্যাক্সেস পরিচালনা ও নিয়ন্ত্রণে জড়িত সিদ্ধান্ত গ্রহণকে ফেডারেট এবং স্বয়ংক্রিয় করতে, যা এখনও বৃহত্তর সংস্থার আইনি, সম্মতি এবং সুরক্ষা নীতির সাথে সামঞ্জস্যপূর্ণ যা শেষ পর্যন্ত প্রয়োগ করা হয় জাল

AWS বিভিন্ন পোস্টে AWS এর উপরে একটি ডেটা জাল তৈরি করার জন্য তার দৃষ্টিভঙ্গি প্রবর্তন করেছে:

• প্রথমত, আমরা পণ্যের নীতি হিসাবে বিতরণকৃত ডোমেন মালিকানা এবং ডেটার সাথে যুক্ত সাংগঠনিক অংশের উপর ফোকাস করেছি। লেখকরা একটি ডেটা পণ্য কৌশলের দিকে সংগঠন জুড়ে একাধিক LOB গুলিকে সারিবদ্ধ করার দৃষ্টিভঙ্গি বর্ণনা করেছেন যা তাদের প্রয়োজনীয় ডেটা খুঁজে পেতে এবং প্রাপ্ত করার সরঞ্জামগুলির সাথে ব্যবহার-সারিবদ্ধ ডোমেনগুলি সরবরাহ করে, সেই সাথে জবাবদিহিতা প্রবর্তনের মাধ্যমে সেই ডেটা ব্যবহারের চারপাশে প্রয়োজনীয় নিয়ন্ত্রণের গ্যারান্টি দেয়। সোর্স-সারিবদ্ধ ডোমেনগুলি সরাসরি উৎসে ব্যবহার করার জন্য প্রস্তুত ডেটা পণ্য সরবরাহ করতে। আরো তথ্যের জন্য, পড়ুন কিভাবে JPMorgan চেজ তাদের এন্টারপ্রাইজ ডেটা প্ল্যাটফর্ম উন্নত করার জন্য উল্লেখযোগ্য মান চালনা করার জন্য একটি ডাটা মেশ আর্কিটেকচার তৈরি করেছে.
• তারপরে আমরা ডেটা প্রোডাক্ট, সেলফ-সার্ভিস অ্যানালিটিক্স এবং ফেডারেটেড কম্পিউটেশনাল গভর্নেন্স নীতিগুলির সাথে যুক্ত প্রযুক্তিগত অংশের উপর ফোকাস করেছি। লেখকরা মূল AWS পরিষেবাগুলি বর্ণনা করেছেন যা উৎস-সংলগ্ন ডোমেনগুলিকে ডেটা পণ্যগুলি তৈরি এবং ভাগ করার ক্ষমতা দেয়, বিভিন্ন ধরণের পরিষেবা যা গ্রাহক-সংযুক্ত ডোমেনগুলিকে তাদের পছন্দের সরঞ্জামগুলির উপর ভিত্তি করে বিভিন্ন উপায়ে ডেটা পণ্যগুলি ব্যবহার করতে সক্ষম করতে পারে এবং তাদের ব্যবহারের ক্ষেত্রে কাজ করছে, এবং অবশেষে AWS পরিষেবাগুলি যেগুলি ডেটা অ্যাক্সেস নীতিগুলি প্রয়োগ করে ডেটা ভাগ করে নেওয়ার পদ্ধতি পরিচালনা করে৷ আরো তথ্যের জন্য, পড়ুন AWS লেক গঠন এবং AWS আঠালো ব্যবহার করে একটি ডাটা মেশ আর্কিটেকচার ডিজাইন করুন.
• আমরা একটি কেন্দ্রীভূত ডেটা মেশ UI এর মাধ্যমে স্বয়ংক্রিয়ভাবে ডেটা আবিষ্কার এবং অ্যাক্সেস নিয়ন্ত্রণের একটি সমাধানও দেখিয়েছি। আরো বিস্তারিত জানার জন্য, পড়ুন আপনার ডেটা মেশের জন্য AWS লেক ফর্মেশনের সাথে একটি ডেটা শেয়ারিং ওয়ার্কফ্লো তৈরি করুন.

আর্থিক পরিষেবা ব্যবহার ক্ষেত্রে

সাধারণত, বৃহৎ আর্থিক পরিষেবা সংস্থাগুলির একাধিক LoB রয়েছে, যেমন কনজিউমার ব্যাঙ্কিং, ইনভেস্টমেন্ট ব্যাঙ্কিং, এবং অ্যাসেট ম্যানেজমেন্ট, এবং এছাড়াও এক বা একাধিক অ্যানালিটিক্স এবং ML CoE টিম। প্রতিটি LoB বিভিন্ন পরিষেবা প্রদান করে:

• ভোক্তা ব্যাংকিং LoB ক্রেডিট এবং বন্ধকী, নগদ ব্যবস্থাপনা, অর্থপ্রদান সমাধান, আমানত এবং বিনিয়োগ পণ্য এবং আরও অনেক কিছু সহ গ্রাহকদের এবং ব্যবসায়িকদের বিভিন্ন পরিষেবা প্রদান করে
• বাণিজ্যিক বা বিনিয়োগ ব্যাংকিং LoB ব্যাপক আর্থিক সমাধান অফার করে, যেমন ধার দেওয়া, দেউলিয়া হওয়ার ঝুঁকি, এবং ছোট ব্যবসা, মাঝারি আকারের কোম্পানি এবং বড় কর্পোরেশন সহ ক্লায়েন্টদের পাইকারি অর্থ প্রদান।
• সম্পদ ব্যবস্থাপনা LoB সমস্ত সম্পদ শ্রেণী জুড়ে অবসর পণ্য এবং বিনিয়োগ পরিষেবা প্রদান করে

প্রতিটি LoB তাদের নিজস্ব ডেটা পণ্যগুলিকে সংজ্ঞায়িত করে, যেগুলি এমন লোকেদের দ্বারা কিউরেট করা হয় যারা ডেটা বোঝে এবং কে এটি ব্যবহার করার জন্য অনুমোদিত, এবং কীভাবে এটি ব্যবহার করা যেতে পারে তা নির্দিষ্ট করার জন্য সবচেয়ে উপযুক্ত। বিপরীতে, অন্যান্য LoB এবং অ্যাপ্লিকেশন ডোমেন যেমন অ্যানালিটিক্স এবং ML CoE যোগ্য ডেটা পণ্যগুলি আবিষ্কার এবং ব্যবহার করতে, অন্তর্দৃষ্টি তৈরি করতে এটিকে একত্রিত করতে এবং ডেটা-চালিত সিদ্ধান্ত নিতে আগ্রহী।

নিম্নলিখিত চিত্রটি কিছু LoB এবং ডেটা পণ্যের উদাহরণগুলিকে চিত্রিত করে যা তারা ভাগ করতে পারে৷ এটি বিশ্লেষণ এবং ML CoE-এর মতো ডেটা পণ্যের ভোক্তাদেরও দেখায়, যারা ML মডেল তৈরি করে যা গ্রাহক-মুখী অ্যাপ্লিকেশনগুলিতে মোতায়েন করা যেতে পারে শেষ-গ্রাহকের অভিজ্ঞতাকে আরও উন্নত করতে।

ডেটা মেশ সামাজিক-প্রযুক্তিগত ধারণা অনুসরণ করে, আমরা সাংগঠনিক পদক্ষেপগুলির একটি সেট সহ সামাজিক দিক দিয়ে শুরু করি, যেমন নিম্নলিখিত:

• প্রতিটি ডোমেনের সীমানা নির্ধারণ করতে ডোমেন বিশেষজ্ঞদের ব্যবহার করা, যাতে প্রতিটি ডেটা পণ্য একটি নির্দিষ্ট ডোমেনে ম্যাপ করা যায়
• প্রতিটি ডোমেন থেকে প্রদত্ত ডেটা পণ্যগুলির জন্য মালিকদের সনাক্ত করা, তাই প্রতিটি ডেটা পণ্যের মালিকের দ্বারা সংজ্ঞায়িত একটি কৌশল রয়েছে
• গ্লোবাল এবং স্থানীয় বা ফেডারেটেড ইনসেনটিভ থেকে শাসন নীতিগুলি সনাক্ত করা, তাই যখন ডেটা গ্রাহকরা একটি নির্দিষ্ট ডেটা পণ্য অ্যাক্সেস করে, তখন পণ্যের সাথে যুক্ত অ্যাক্সেস নীতি একটি কেন্দ্রীয় ডেটা গভর্নেন্স স্তরের মাধ্যমে স্বয়ংক্রিয়ভাবে প্রয়োগ করা যেতে পারে

তারপরে আমরা প্রযুক্তিগত দিকটিতে চলে যাই, যার মধ্যে পূর্ববর্তী চিত্রে সংজ্ঞায়িত শেষ থেকে শেষ দৃশ্যকল্প অন্তর্ভুক্ত রয়েছে:

1. একটি রেডি-টু-ব্যবহারযোগ্য ভোক্তা ক্রেডিট প্রোফাইল ডেটা পণ্য তৈরি করার জন্য সরঞ্জামগুলির সাহায্যে ভোক্তা ব্যাঙ্কিং LoB কে শক্তিশালী করুন।
2. ভোক্তা ব্যাঙ্কিং LoB কে কেন্দ্রীয় শাসন স্তরে ডেটা পণ্য ভাগ করার অনুমতি দিন।
3. ডেটা অ্যাক্সেস নীতিগুলির গ্লোবাল এবং ফেডারেটেড সংজ্ঞা এম্বেড করুন যা কেন্দ্রীয় ডেটা গভর্নেন্সের মাধ্যমে ভোক্তা ক্রেডিট প্রোফাইল ডেটা পণ্য অ্যাক্সেস করার সময় প্রয়োগ করা উচিত।
4. বিশ্লেষণ এবং ML CoE কে কেন্দ্রীয় শাসন স্তরের মাধ্যমে ডেটা পণ্য আবিষ্কার এবং অ্যাক্সেস করার অনুমতি দিন।
5. একটি ক্রেডিট ঝুঁকি ভবিষ্যদ্বাণী মডেল তৈরি এবং প্রশিক্ষণের জন্য ডেটা পণ্য ব্যবহার করার জন্য সরঞ্জামগুলির সাথে বিশ্লেষণ এবং ML CoE ক্ষমতায়ন করুন৷ আমরা এই সিরিজে চূড়ান্ত পদক্ষেপগুলি (পূর্ববর্তী চিত্রে 6 এবং 7) কভার করি না৷ যাইহোক, ব্যবসায়িক মূল্য দেখানোর জন্য এই ধরনের একটি ML মডেল প্রতিষ্ঠানকে শেষ থেকে শেষ পরিস্থিতিতে আনতে পারে, আমরা নিম্নলিখিতগুলি চিত্রিত করি:
6. এই মডেলটি পরবর্তীতে গ্রাহক-মুখী সিস্টেম যেমন একটি ভোক্তা ব্যাঙ্কিং ওয়েব পোর্টাল বা মোবাইল অ্যাপ্লিকেশনগুলিতে আবার স্থাপন করা যেতে পারে।
7. এটি বিশেষভাবে ক্রেডিট এবং বন্ধকী অনুরোধের ঝুঁকি প্রোফাইল মূল্যায়ন করতে ঋণ আবেদনের মধ্যে ব্যবহার করা যেতে পারে।

পরবর্তী, আমরা প্রতিটি উপাদানের প্রযুক্তিগত চাহিদা বর্ণনা করি।

প্রযুক্তিগত চাহিদার গভীরে ডুব দিন

প্রত্যেকের জন্য ডেটা পণ্যগুলি উপলব্ধ করার জন্য, সংস্থাগুলিকে এটির উপর যথাযথ নিয়ন্ত্রণ বজায় রেখে বা অন্য কথায়, সঠিক শাসনের সাথে তত্পরতার ভারসাম্য বজায় রেখে সংস্থা জুড়ে বিভিন্ন সংস্থার মধ্যে ডেটা ভাগ করা সহজ করতে হবে।

ডেটা ভোক্তা: বিশ্লেষণ এবং ML CoE

বিশ্লেষণ এবং ML CoE-এর ডেটা বিজ্ঞানীদের মতো ডেটা গ্রাহকদের নিম্নলিখিতগুলি করতে সক্ষম হতে হবে:

• একটি প্রদত্ত ব্যবহারের ক্ষেত্রে প্রাসঙ্গিক ডেটাসেটগুলি আবিষ্কার করুন এবং অ্যাক্সেস করুন৷
• তারা যে ডেটাসেটগুলি অ্যাক্সেস করতে চায় সেগুলি ইতিমধ্যেই কিউরেটেড, আপ টু ডেট এবং শক্তিশালী বিবরণ রয়েছে তা নিশ্চিত করুন
• তাদের ব্যবসায়িক ক্ষেত্রে আগ্রহের ডেটাসেটগুলিতে অ্যাক্সেসের অনুরোধ করুন
• ML-এর জন্য তাদের পরিবেশের মধ্যে এই ধরনের ডেটাসেটগুলি অনুসন্ধান করতে এবং প্রসেস করতে তাদের পছন্দের সরঞ্জামগুলি ব্যবহার করুন মূল দূরবর্তী অবস্থান থেকে ডেটা প্রতিলিপি করার প্রয়োজন ছাড়াই বা একটি দূরবর্তী সাইটে শারীরিকভাবে সংরক্ষিত ডেটা প্রক্রিয়াকরণের সাথে সম্পর্কিত ইঞ্জিনিয়ারিং বা অবকাঠামোগত জটিলতাগুলির বিষয়ে উদ্বেগের জন্য।
• ডেটা মালিকদের দ্বারা করা কোনো ডেটা আপডেট সম্পর্কে বিজ্ঞপ্তি পান

ডেটা প্রযোজক: ডোমেনের মালিকানা

আর্থিক পরিষেবা সংস্থার বিভিন্ন LoB-এর ডোমেন দলগুলির মতো ডেটা প্রযোজকদের, নিম্নলিখিতগুলি ধারণ করে এমন কিউরেটেড ডেটাসেটগুলিকে নিবন্ধন এবং শেয়ার করতে হবে:

• প্রযুক্তিগত এবং অপারেশনাল মেটাডেটা, যেমন ডাটাবেস এবং টেবিলের নাম এবং আকার, কলাম স্কিমা এবং কী
• ব্যবসার মেটাডেটা যেমন ডেটা বর্ণনা, শ্রেণিবিন্যাস এবং সংবেদনশীলতা
• ট্র্যাকিং মেটাডেটা যেমন উৎস থেকে লক্ষ্য আকারে স্কিমা বিবর্তন এবং যেকোনো মধ্যবর্তী ফর্ম
• ডেটা গুণমানের মেটাডেটা যেমন সঠিকতা এবং সম্পূর্ণতা অনুপাত এবং ডেটা পক্ষপাত
• অ্যাক্সেস নীতি এবং পদ্ধতি

ডেটা গ্রাহকদের ম্যানুয়াল পদ্ধতির উপর নির্ভর না করে বা ডেটার অর্থ এবং কীভাবে এটি অ্যাক্সেস করা যেতে পারে সে সম্পর্কে আরও জ্ঞান অর্জনের জন্য ডেটা পণ্যের ডোমেন বিশেষজ্ঞদের সাথে যোগাযোগ না করে ডেটা আবিষ্কার এবং অ্যাক্সেস করার অনুমতি দেওয়ার জন্য এগুলি প্রয়োজন।

ডেটা শাসন: আবিষ্কারযোগ্যতা, অ্যাক্সেসযোগ্যতা এবং নিরীক্ষাযোগ্যতা

সংস্থাগুলিকে ডেটা ফাঁসের সাথে সম্পর্কিত ঝুঁকিগুলির যথাযথ প্রশমনের সাথে পূর্বে চিত্রিত তত্পরতার ভারসাম্য বজায় রাখতে হবে। বিশেষত আর্থিক পরিষেবাগুলির মতো নিয়ন্ত্রিত শিল্পগুলিতে, বিভিন্ন স্থানে একই ডেটার একাধিক অনুলিপি এড়িয়ে স্টোরেজ পদচিহ্ন হ্রাস করার সময় সামগ্রিক ডেটা অ্যাক্সেস এবং নিরীক্ষা নিয়ন্ত্রণ প্রদানের জন্য কেন্দ্রীয় ডেটা শাসন বজায় রাখার প্রয়োজন রয়েছে।

ঐতিহ্যগত সেন্ট্রালাইজড ডেটা লেক আর্কিটেকচারে, ডেটা প্রযোজকরা প্রায়শই কাঁচা ডেটা প্রকাশ করে এবং ডেটা কিউরেশন, ডেটা কোয়ালিটি ম্যানেজমেন্ট এবং ডেটা এবং ইনফ্রাস্ট্রাকচার ইঞ্জিনিয়ারদের অ্যাক্সেস নিয়ন্ত্রণের দায়িত্ব একটি কেন্দ্রীভূত ডেটা প্ল্যাটফর্ম দলে দিয়ে থাকে। যাইহোক, এই ডেটা প্ল্যাটফর্ম দলগুলি বিভিন্ন ডেটা ডোমেনগুলির সাথে কম পরিচিত হতে পারে এবং এখনও প্রতিটি ডেটা ডোমেনে প্রয়োগ করা নীতিগুলি অনুসারে ডেটাতে অ্যাক্সেস সঠিকভাবে কিউরেট করতে এবং পরিচালনা করতে সক্ষম হতে ডেটা উত্পাদকদের সমর্থনের উপর নির্ভর করে৷ বিপরীতে, ডেটা প্রযোজকরা নিজেরাই কিউরেটেড, যোগ্য ডেটা সম্পদ সরবরাহ করার জন্য সর্বোত্তম অবস্থানে থাকে এবং ডেটা সম্পদগুলি অ্যাক্সেস করার সময় ডোমেন-নির্দিষ্ট অ্যাক্সেস নীতিগুলি সম্পর্কে সচেতন থাকে যা প্রয়োগ করতে হবে।

সমাধান ওভারভিউ

নিম্নলিখিত চিত্রটি প্রস্তাবিত সমাধানের উচ্চ-স্তরের আর্কিটেকচার দেখায়।

আমরা বিশ্লেষণ এবং ML CoE দ্বারা ডেটা খরচ সম্বোধন করি অ্যামাজন অ্যাথেনা এবং আমাজন সেজমেকার in অংশ 2 এই সিরিজের।

এই পোস্টে, আমরা ডেটা মেশে ডেটা অনবোর্ডিং প্রক্রিয়ার উপর ফোকাস করি এবং বর্ণনা করি কীভাবে একজন পৃথক LoB যেমন ভোক্তা ব্যাঙ্কিং ডোমেন ডেটা টিম AWS সরঞ্জামগুলি ব্যবহার করতে পারে যেমন এডাব্লুএস আঠালো এবং AWS আঠালো ডেটাব্রু তাদের ডেটা পণ্যগুলির গুণমান প্রস্তুত, কিউরেট এবং উন্নত করতে এবং তারপর সেই ডেটা পণ্যগুলিকে কেন্দ্রীয় ডেটা গভর্নেন্স অ্যাকাউন্টে নিবন্ধিত করতে AWS লেক গঠন.

ভোক্তা ব্যাংকিং LoB (ডেটা প্রযোজক)

ডেটা মেশের মূল নীতিগুলির মধ্যে একটি হল পণ্য হিসাবে ডেটার ধারণা। এটা খুবই গুরুত্বপূর্ণ যে ভোক্তা ব্যাঙ্কিং ডোমেন ডেটা টিম ডেটা পণ্য প্রস্তুত করার জন্য কাজ করে যা ডেটা গ্রাহকদের ব্যবহারের জন্য প্রস্তুত। এটি AWS এক্সট্র্যাক্ট, ট্রান্সফর্ম এবং লোড (ETL) সরঞ্জামগুলি ব্যবহার করে করা যেতে পারে যেমন AWS Glue এর উপর সংগৃহীত কাঁচা ডেটা প্রক্রিয়া করার জন্য আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3), অথবা বিকল্পভাবে অপারেশনাল ডেটা স্টোরের সাথে সংযোগ করুন যেখানে ডেটা উত্পাদিত হয়। আপনিও ব্যবহার করতে পারেন ডেটাব্রু, যা একটি নো-কোড ভিজ্যুয়াল ডেটা প্রস্তুতির সরঞ্জাম যা ডেটা পরিষ্কার এবং স্বাভাবিক করা সহজ করে তোলে।

উদাহরণস্বরূপ, ভোক্তা ক্রেডিট প্রোফাইল ডেটা পণ্য প্রস্তুত করার সময়, ভোক্তা ব্যাঙ্কিং ডোমেন ডেটা দল ওপেন-সোর্স ডেটাসেট থেকে পুনরুদ্ধার করা কাঁচা ডেটার বৈশিষ্ট্যের নামগুলি জার্মান থেকে ইংরেজিতে অনুবাদ করার জন্য একটি সহজ কিউরেশন তৈরি করতে পারে। স্ট্যাটলগ জার্মান ক্রেডিট ডেটা, যা 20টি বৈশিষ্ট্য এবং 1,000টি সারি নিয়ে গঠিত৷

তথ্য পরিচালনা

ডেটা মেশ গভর্নেন্স সক্ষম করার জন্য মূল AWS পরিষেবা হল লেক ফর্মেশন। লেক ফরমেশন প্রতিটি ডেটা ডোমেনের মধ্যে এবং ডোমেন জুড়ে ডেটা শাসন কার্যকর করার ক্ষমতা প্রদান করে যাতে ডেটা সহজে আবিষ্কারযোগ্য এবং সুরক্ষিত হয়। এটি একটি ফেডারেটেড নিরাপত্তা মডেল প্রদান করে যা প্রতিটি ডোমেনের মধ্যে উচ্চ তত্পরতার অনুমতি দেওয়ার সময় ডেটা আবিষ্কার, নিরাপত্তা এবং সম্মতির জন্য সর্বোত্তম অনুশীলন সহ কেন্দ্রীয়ভাবে পরিচালিত হতে পারে।

লেক ফরমেশন আপনার ডেটা সুরক্ষিত রাখতে সারি-স্তরের নিরাপত্তা সহ ডেটা কীভাবে ইনজেস্ট করা, সঞ্চয় করা এবং পরিচালনা করা হয় তা সহজ করার জন্য একটি API অফার করে। এটি দানাদার অ্যাক্সেস নিয়ন্ত্রণ, শাসিত টেবিল এবং স্টোরেজ অপ্টিমাইজেশানের মতো কার্যকারিতাও সরবরাহ করে।

উপরন্তু, লেক গঠন একটি প্রস্তাব ডেটা শেয়ারিং API যা আপনি ডেটা শেয়ার করতে ব্যবহার করতে পারেন বিভিন্ন অ্যাকাউন্ট জুড়ে. এটি অ্যানালিটিক্স এবং ML CoE ভোক্তাকে Athena কোয়েরি চালানোর অনুমতি দেয় যা একাধিক অ্যাকাউন্ট জুড়ে সারণীতে যোগদান করে। আরো তথ্যের জন্য, পড়ুন AWS লেক গঠন ডেভেলপার গাইড.

AWS রিসোর্স অ্যাক্সেস ম্যানেজার (AWS RAM) এর মাধ্যমে সম্পদ ভাগ করার একটি নিরাপদ উপায় প্রদান করে AWS পরিচয় এবং অ্যাক্সেস ম্যানেজার (IAM) ভূমিকা এবং ব্যবহারকারীদের AWS অ্যাকাউন্ট জুড়ে একটি সংস্থা বা সাংগঠনিক ইউনিট (OUs) মধ্যে AWS সংস্থাগুলি।

AWS RAM এর সাথে লেক ফর্মেশন ডেটা শেয়ারিং এবং AWS অ্যাকাউন্ট জুড়ে অ্যাক্সেস পরিচালনা করার এক উপায় প্রদান করে। আমরা এই পদ্ধতির হিসাবে উল্লেখ করি RAM-ভিত্তিক অ্যাক্সেস নিয়ন্ত্রণ. এই পদ্ধতি সম্পর্কে আরো বিস্তারিত জানার জন্য, পড়ুন আপনার ডেটা মেশের জন্য AWS লেক ফর্মেশনের সাথে একটি ডেটা শেয়ারিং ওয়ার্কফ্লো তৈরি করুন.

লেক ফরমেশন ডেটা শেয়ারিং এবং ব্যবহার করে অ্যাক্সেস পরিচালনা করার আরেকটি উপায়ও অফার করে লেক গঠন ট্যাগ. আমরা এই পদ্ধতির হিসাবে উল্লেখ করি ট্যাগ-ভিত্তিক অ্যাক্সেস নিয়ন্ত্রণ. আরো বিস্তারিত জানার জন্য, পড়ুন AWS লেক ফরমেশন ট্যাগ-ভিত্তিক অ্যাক্সেস কন্ট্রোল ব্যবহার করে স্কেলে একটি আধুনিক ডেটা আর্কিটেকচার এবং ডেটা মেশ প্যাটার্ন তৈরি করুন.

এই পোস্ট জুড়ে, আমরা ট্যাগ-ভিত্তিক অ্যাক্সেস কন্ট্রোল পদ্ধতি ব্যবহার করি কারণ এটি অবকাঠামো স্তরে নামযুক্ত সংস্থানগুলির উপর নীতি নির্দিষ্ট করার পরিবর্তে সাধারণত বিভিন্ন LoB-তে পাওয়া যায় এমন লজিক্যাল ট্যাগের একটি ছোট সংখ্যক নীতি তৈরিকে সহজ করে।

পূর্বশর্ত

একটি ডেটা মেশ আর্কিটেকচার সেট আপ করতে, আপনার কমপক্ষে তিনটি AWS অ্যাকাউন্ট প্রয়োজন: একটি প্রযোজক অ্যাকাউন্ট, একটি কেন্দ্রীয় অ্যাকাউন্ট এবং একটি ভোক্তা অ্যাকাউন্ট।

ডেটা জাল পরিবেশ স্থাপন করুন

একটি ডেটা জাল পরিবেশ স্থাপন করতে, আপনি নিম্নলিখিত ব্যবহার করতে পারেন GitHub সংগ্রহস্থল. এই ভান্ডারে তিনটি রয়েছে এডাব্লুএস ক্লাউডফর্মেশন টেমপ্লেট যা একটি ডেটা জাল পরিবেশ স্থাপন করে যাতে প্রতিটি অ্যাকাউন্ট (প্রযোজক, কেন্দ্রীয় এবং ভোক্তা) অন্তর্ভুক্ত থাকে। প্রতিটি অ্যাকাউন্টের মধ্যে, আপনি এর সংশ্লিষ্ট ক্লাউডফর্মেশন টেমপ্লেট চালাতে পারেন।

কেন্দ্রীয় হিসাব

কেন্দ্রীয় অ্যাকাউন্টে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. CloudFormation স্ট্যাক চালু করুন:
   
2. দুই IAM ব্যবহারকারী তৈরি করুন:
   1. DataMeshOwner
   2. ProducerSteward
3. প্রদান DataMeshOwner লেক ফরমেশন অ্যাডমিন হিসেবে।
4. একটি IAM ভূমিকা তৈরি করুন:
   1. LFRegisterLocationServiceRole
5. দুটি IAM নীতি তৈরি করুন:
   1. ProducerStewardPolicy
   2. S3DataLakePolicy
6. এর জন্য ডাটাবেস ক্রেডিট কার্ড তৈরি করুন ProducerSteward প্রযোজকের অ্যাকাউন্টে।
7. প্রযোজকের অ্যাকাউন্টে ডেটা অবস্থানের অনুমতি ভাগ করুন।

প্রযোজক অ্যাকাউন্ট

প্রযোজক অ্যাকাউন্টে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. CloudFormation স্ট্যাক চালু করুন:
   
2. S3 বালতি তৈরি করুন credit-card, যা টেবিল ধারণ করে credit_card.
3. কেন্দ্রীয় অ্যাকাউন্ট লেক ফর্মেশন পরিষেবা ভূমিকার জন্য S3 বালতি অ্যাক্সেসের অনুমতি দিন।
4. AWS গ্লু ক্রলার তৈরি করুন creditCrawler-<ProducerAccountID>.
5. একটি AWS আঠালো ক্রলার পরিষেবা ভূমিকা তৈরি করুন।
6. S3 বাকেট অবস্থানে অনুমতি দিন credit-card-<ProducerAccountID>-<aws-region> AWS আঠালো ক্রলার ভূমিকা.
7. একজন প্রযোজক স্টুয়ার্ড IAM ব্যবহারকারী তৈরি করুন।

ভোক্তা অ্যাকাউন্ট

ভোক্তা অ্যাকাউন্টে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. CloudFormation স্ট্যাক চালু করুন:
   
2. S3 বালতি তৈরি করুন <AWS Account ID>-<aws-region>-athena-logs.
3. এথেনা ওয়ার্কগ্রুপ তৈরি করুন consumer-workgroup.
4. IAM ব্যবহারকারী তৈরি করুন ConsumerAdmin.

একটি ডাটাবেস যুক্ত করুন এবং এতে ভোক্তা অ্যাকাউন্টটি সাবস্ক্রাইব করুন

আপনি টেমপ্লেট চালানোর পরে, আপনি মাধ্যমে যেতে পারেন ধাপে ধাপে নির্দেশিকা ডেটা ক্যাটালগে একটি পণ্য যুক্ত করতে এবং ভোক্তাকে এটিতে সদস্যতা নিতে হবে। গাইডটি একটি ডাটাবেস সেট আপ করে শুরু হয় যেখানে প্রযোজক তার পণ্যগুলি রাখতে পারে এবং তারপর ব্যাখ্যা করে যে কীভাবে ভোক্তা সেই ডাটাবেসে সাবস্ক্রাইব করতে এবং ডেটা অ্যাক্সেস করতে পারে। এই সব ব্যবহার করার সময় সঞ্চালিত হয় এলএফ-ট্যাগযা, হয় ট্যাগ-ভিত্তিক অ্যাক্সেস নিয়ন্ত্রণ লেক গঠনের জন্য।

ডেটা পণ্য নিবন্ধন

নিম্নোক্ত আর্কিটেকচারটি কীভাবে ডেটা প্রযোজক হিসাবে কাজ করছে গ্রাহক ব্যাঙ্কিং LoB দল তাদের ডেটা পণ্যগুলিকে কেন্দ্রীয় ডেটা গভর্নেন্স অ্যাকাউন্টে (অনবোর্ড ডেটা পণ্যগুলি সংস্থার ডেটা জালগুলিতে) নিবন্ধন করতে পারে তার বিশদ পদক্ষেপগুলি বর্ণনা করে৷

একটি ডেটা পণ্য নিবন্ধনের সাধারণ পদক্ষেপগুলি নিম্নরূপ:

1. সেন্ট্রাল গভর্নেন্স অ্যাকাউন্টে ডেটা প্রোডাক্টের জন্য একটি টার্গেট ডাটাবেস তৈরি করুন। একটি উদাহরণ হিসাবে, কেন্দ্রীয় অ্যাকাউন্ট থেকে ক্লাউডফর্মেশন টেমপ্লেট ইতিমধ্যে লক্ষ্য ডাটাবেস তৈরি করে credit-card.
2. উৎপাদক অ্যাকাউন্টে উৎপত্তির সাথে তৈরি টার্গেট ডাটাবেস শেয়ার করুন।
3. প্রযোজক অ্যাকাউন্টে ভাগ করা ডাটাবেসের একটি সংস্থান লিঙ্ক তৈরি করুন। নিম্নলিখিত স্ক্রিনশটে, আমরা প্রযোজকের অ্যাকাউন্টে লেক ফর্মেশন কনসোলে দেখতে পাচ্ছি rl_credit-card এর রিসোর্স লিঙ্ক credit-card ডাটাবেস।
   
4. রিসোর্স লিঙ্ক ডাটাবেসের ভিতরে টেবিল (উৎপাদক অ্যাকাউন্টে কিউরেট করা ডেটা সহ) পপুলেট করুন (rl_credit-card) প্রযোজক অ্যাকাউন্টে একটি AWS গ্লু ক্রলার ব্যবহার করে।
   

তৈরি করা টেবিল স্বয়ংক্রিয়ভাবে কেন্দ্রীয় শাসন অ্যাকাউন্টে উপস্থিত হয়। নিম্নলিখিত স্ক্রিনশট কেন্দ্রীয় অ্যাকাউন্টে লেক গঠনের টেবিলের একটি উদাহরণ দেখায়। এটি রিসোর্স লিঙ্ক ডাটাবেস পপুলেট করার পূর্ববর্তী পদক্ষেপগুলি সম্পাদন করার পরে rl_credit-card প্রযোজকের অ্যাকাউন্টে।

উপসংহার

এই সিরিজের 1 অংশে, আমরা আর্থিক পরিষেবা সংস্থাগুলির লক্ষ্যগুলি নিয়ে আলোচনা করেছি যাতে তারা তাদের বিশ্লেষণ এবং ML টিমের জন্য আরও তত্পরতা অর্জন করতে পারে এবং ডেটা থেকে অন্তর্দৃষ্টিতে সময় কমাতে পারে৷ আমরা AWS-এ একটি ডেটা মেশ আর্কিটেকচার তৈরির দিকেও মনোনিবেশ করেছি, যেখানে আমরা AWS Glue, DataBrew, এবং Lake Formation-এর মতো সহজে ব্যবহারযোগ্য, মাপযোগ্য, এবং খরচ-কার্যকর AWS পরিষেবা চালু করেছি। ডেটা উত্পাদনকারী দলগুলি এই পরিষেবাগুলিকে কিউরেটেড, উচ্চ-মানের, আন্তঃপরিচালনাযোগ্য এবং সুরক্ষিত ডেটা পণ্যগুলি তৈরি এবং ভাগ করতে ব্যবহার করতে পারে যা বিশ্লেষণমূলক উদ্দেশ্যে বিভিন্ন ডেটা গ্রাহকদের দ্বারা ব্যবহারের জন্য প্রস্তুত৷

In অংশ 2, আমরা অ্যানালিটিক্স এবং ML CoE টিমের উপর ফোকাস করি যারা AWS পরিষেবা যেমন Athena এবং SageMaker ব্যবহার করে একটি ক্রেডিট রিস্ক ভবিষ্যদ্বাণী মডেল তৈরি করতে ভোক্তা ব্যাঙ্কিং LoB দ্বারা ভাগ করা ডেটা পণ্যগুলি ব্যবহার করে।

---

লেখক সম্পর্কে

করিম হাম্মুদা ডেটা ইন্টিগ্রেশন, ডেটা অ্যানালাইসিস, এবং BI-এর জন্য একটি আবেগ সহ AWS-এ অ্যানালিটিক্সের জন্য একজন বিশেষজ্ঞ সমাধান স্থপতি৷ তিনি AWS গ্রাহকদের সাথে তাদের ব্যবসার বৃদ্ধিতে অবদান রাখে এমন বিশ্লেষণ সমাধান ডিজাইন এবং তৈরি করতে কাজ করেন। তার অবসর সময়ে, তিনি টিভি ডকুমেন্টারি দেখতে এবং তার ছেলের সাথে ভিডিও গেম খেলতে পছন্দ করেন।

হাসান পূনাওয়ালা AWS-এর একজন সিনিয়র AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট, হাসান গ্রাহকদের AWS-এ উৎপাদনে মেশিন লার্নিং অ্যাপ্লিকেশান ডিজাইন ও স্থাপনে সহায়তা করেন। ডেটা সায়েন্টিস্ট, মেশিন লার্নিং প্র্যাকটিশনার এবং সফটওয়্যার ডেভেলপার হিসেবে তার 12 বছরের বেশি কাজের অভিজ্ঞতা রয়েছে। অবসর সময়ে, হাসান প্রকৃতি অন্বেষণ করতে এবং বন্ধু এবং পরিবারের সাথে সময় কাটাতে পছন্দ করেন।

বেনোইট ডি পাটউল AWS-এর একজন AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি AWS ব্যবহার করে AI/ML সম্পর্কিত সমাধান তৈরি করতে গাইডেন্স এবং প্রযুক্তিগত সহায়তা প্রদান করে গ্রাহকদের সাহায্য করেন। তার অবসর সময়ে, তিনি পিয়ানো বাজাতে এবং বন্ধুদের সাথে সময় কাটাতে পছন্দ করেন।