AWS-এ Kubeflow ব্যবহার করে পুনরাবৃত্তিযোগ্য, সুরক্ষিত এবং এক্সটেনসিবল এন্ড-টু-এন্ড মেশিন লার্নিং ওয়ার্কফ্লো তৈরি করুন

এটি athenahealth-এর সাথে লেখা একটি অতিথি ব্লগ পোস্ট।

এথেনহেলথ দেশব্যাপী চিকিৎসা গোষ্ঠী এবং স্বাস্থ্য ব্যবস্থার জন্য নেটওয়ার্ক-সক্ষম সফ্টওয়্যার এবং পরিষেবাগুলির একটি নেতৃস্থানীয় প্রদানকারী। এর ইলেকট্রনিক হেলথ রেকর্ড, রেভিনিউ সাইকেল ম্যানেজমেন্ট, এবং রোগীর ব্যস্ততার টুল যেকোন সময়, যেকোন জায়গায় অ্যাক্সেসের অনুমতি দেয়, এর গ্রাহকদের জন্য আরও ভাল আর্থিক ফলাফল ড্রাইভ করে এবং এর প্রদানকারী গ্রাহকদের আরও ভাল মানের যত্ন প্রদান করতে সক্ষম করে।

কৃত্রিম বুদ্ধিমত্তা (AI) স্পেসে, athenahealth ব্যবসায়িক প্রক্রিয়া ত্বরান্বিত করতে এবং একাধিক পরিষেবা জুড়ে সুপারিশ, পূর্বাভাস এবং অন্তর্দৃষ্টি প্রদান করতে ডেটা সায়েন্স এবং মেশিন লার্নিং (ML) ব্যবহার করে। স্বয়ংক্রিয় নথি পরিষেবাগুলিতে এটির প্রথম প্রয়োগ থেকে, লক্ষ লক্ষ প্রদানকারী-রোগীর নথিকে স্পর্শহীনভাবে প্রক্রিয়াকরণ, ভার্চুয়াল সহকারীগুলিতে তার সাম্প্রতিক কাজ এবং রাজস্ব চক্রের কার্যকারিতা উন্নত করার জন্য, অ্যাথেনাহেলথ কার্যকারিতা, পরিষেবা সক্ষমতা এবং পরিষেবা প্রদানকারীদের জন্য আরও ভাল ফলাফলের জন্য AI প্রয়োগ করে চলেছে। এবং তাদের রোগীদের।

এই ব্লগ পোস্টটি দেখায় কিভাবে athenahealth ব্যবহার করে AWS-এ কুবেফ্লো (Kubeflow-এর একটি AWS-নির্দিষ্ট ডিস্ট্রিবিউশন) একটি এন্ড-টু-এন্ড ডেটা সায়েন্স ওয়ার্কফ্লো তৈরি এবং স্ট্রীমলাইন করতে যা প্রয়োজনীয় টুলিং সংরক্ষণ করে, অপারেশনাল দক্ষতা অপ্টিমাইজ করে, ডেটা সায়েন্টিস্টের উৎপাদনশীলতা বৃদ্ধি করে এবং তাদের ML ক্ষমতা আরও সহজে প্রসারিত করার মঞ্চ তৈরি করে।

Kubeflow হল ওপেন-সোর্স ML প্ল্যাটফর্ম যা Kubernetes-এ সহজ, পোর্টেবল এবং স্কেলযোগ্য ML ওয়ার্কফ্লো স্থাপন করার জন্য নিবেদিত। Kubeflow প্রাসঙ্গিক ওপেন-সোর্স সরঞ্জামগুলিকে অন্তর্ভুক্ত করে এটি অর্জন করে যা Kubernetes-এর সাথে ভালভাবে সংহত করে। এর মধ্যে কয়েকটি প্রকল্পের মধ্যে রয়েছে পাইপলাইন অর্কেস্ট্রেশনের জন্য আর্গো, সার্ভিস মেশের জন্য ইস্টিও, নোটবুকের জন্য জুপিটার, স্পার্ক, টেনসরবোর্ড এবং কাতিব। কুবেফ্লো পাইপলাইনগুলি পোর্টেবল, স্কেলেবল এমএল ওয়ার্কফ্লোগুলি তৈরি এবং স্থাপন করতে সহায়তা করে যাতে ডেটা নিষ্কাশন, প্রিপ্রসেসিং, মডেল প্রশিক্ষণ এবং পুনরাবৃত্তিযোগ্য পাইপলাইনগুলির আকারে মডেল মূল্যায়নের মতো পদক্ষেপগুলি অন্তর্ভুক্ত থাকতে পারে।

AWS তার নিজস্ব Kubeflow বিতরণ প্রদান করে ওপেন-সোর্স Kubeflow সম্প্রদায়ে অবদান রাখছে (AWS-এ Kubeflow বলা হয়) যা athenahealth-এর মতো সংস্থাগুলিকে AWS পরিচালিত পরিষেবাগুলির সাথে একীকরণের মাধ্যমে কম অপারেশনাল ওভারহেডের সাথে অত্যন্ত নির্ভরযোগ্য, সুরক্ষিত, বহনযোগ্য এবং স্কেলযোগ্য ML ওয়ার্কফ্লো তৈরি করতে সহায়তা করে৷ AWS বিভিন্ন Kubeflow স্থাপনার বিকল্প প্রদান করে যেমন এর সাথে স্থাপনা অ্যামাজন কগনিটো, সঙ্গে স্থাপনা অ্যামাজন রিলেশনাল ডাটাবেস পরিষেবা (Amazon RDS) এবং আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3), এবং ভ্যানিলা স্থাপনা। এই বিকল্পগুলির প্রতিটির জন্য পরিষেবা একীকরণ এবং উপলব্ধ অ্যাড-অনগুলির বিশদ বিবরণের জন্য, পড়ুন বিস্তৃতি.

আজ, AWS-এ Kubeflow নিম্নলিখিত AWS পরিষেবাগুলির সাথে বর্ধিত, Kubeflow ব্যবহার করার জন্য একটি পরিষ্কার পথ প্রদান করে:

অনেক AWS গ্রাহক athenahealth সহ AWS বিতরণে Kubeflow এর সুবিধা নিচ্ছেন।

এখানে, athenahealth MLOps টিম তাদের কুবেফ্লো যাত্রায় তারা যে চ্যালেঞ্জগুলির সম্মুখীন হয়েছিল এবং যে সমাধানগুলি তৈরি করেছিল সেগুলি নিয়ে আলোচনা করে৷

আগের এমএল পরিবেশের সাথে চ্যালেঞ্জ

AWS-এ আমাদের Kubeflow গ্রহণ করার আগে, আমাদের ডেটা বিজ্ঞানীরা একটি প্রমিত সরঞ্জাম এবং একটি প্রক্রিয়া ব্যবহার করেছেন যা একটি প্রদত্ত মডেলকে প্রশিক্ষণের জন্য ব্যবহৃত প্রযুক্তি এবং কর্মপ্রবাহে নমনীয়তার অনুমতি দেয়। প্রমিত টুলিংয়ের উদাহরণগুলির মধ্যে রয়েছে একটি ডেটা ইনজেশন এপিআই, নিরাপত্তা স্ক্যানিং টুলস, এথেনাহেলথের মধ্যে অন্য একটি টিম দ্বারা নির্মিত এবং রক্ষণাবেক্ষণ করা CI/CD পাইপলাইন এবং MLOps টিম দ্বারা নির্মিত এবং রক্ষণাবেক্ষণ করা একটি সাধারণ পরিবেশন প্ল্যাটফর্ম। যাইহোক, আমাদের AI এবং ML এর ব্যবহার পরিপক্ক হওয়ার সাথে সাথে প্রতিটি মডেলের জন্য তৈরি বিভিন্ন সরঞ্জাম এবং পরিকাঠামো বৃদ্ধি পেয়েছে। যদিও আমরা এখনও বিদ্যমান প্রক্রিয়াটিকে সমর্থন করতে সক্ষম ছিলাম, আমরা দিগন্তে নিম্নলিখিত চ্যালেঞ্জগুলি দেখেছি:

• রক্ষণাবেক্ষণ এবং বৃদ্ধি - মডেল প্রশিক্ষণের পরিবেশের পুনরুত্পাদন এবং রক্ষণাবেক্ষণের জন্য মোতায়েন করা মডেলের সংখ্যা বৃদ্ধির কারণে আরও বেশি প্রচেষ্টা নেওয়া হয়েছে। প্রতিটি প্রকল্পে বিস্তারিত ডকুমেন্টেশন বজায় রাখা হয়েছে যা চূড়ান্ত মডেল তৈরি করতে প্রতিটি স্ক্রিপ্ট কীভাবে ব্যবহার করা হয়েছিল তা নির্দেশ করে। অনেক ক্ষেত্রে, এটি একটি বিস্তৃত প্রক্রিয়া ছিল যার প্রতিটিতে বেশ কয়েকটি আউটপুট সহ 5 থেকে 10টি স্ক্রিপ্ট জড়িত। প্রতিটি আউটপুট পরবর্তী প্রক্রিয়াগুলিতে কীভাবে ব্যবহার করা হবে সে সম্পর্কে বিস্তারিত নির্দেশাবলী সহ এগুলিকে ম্যানুয়ালি ট্র্যাক করতে হয়েছিল। সময়ের সাথে সাথে এটি বজায় রাখা কষ্টকর হয়ে ওঠে। তদুপরি, প্রকল্পগুলি আরও জটিল হওয়ার সাথে সাথে সরঞ্জামের সংখ্যাও বৃদ্ধি পেয়েছে। উদাহরণস্বরূপ, বেশিরভাগ মডেলগুলি জিপিইউ সহ স্পার্ক এবং টেনসরফ্লো ব্যবহার করেছে, যার জন্য পরিবেশ কনফিগারেশনের একটি বৃহত্তর বৈচিত্র্যের প্রয়োজন ছিল। সময়ের সাথে সাথে, ব্যবহারকারীরা তাদের উন্নয়ন পরিবেশে সরঞ্জামগুলির নতুন সংস্করণগুলিতে স্যুইচ করবে কিন্তু তারপরে সেই সংস্করণগুলি বেমানান হয়ে গেলে পুরানো স্ক্রিপ্টগুলি চালাতে পারে না। ফলস্বরূপ, পুরানো প্রকল্পগুলি রক্ষণাবেক্ষণ এবং বৃদ্ধির জন্য আরও প্রকৌশল সময় এবং প্রচেষ্টার প্রয়োজন। উপরন্তু, নতুন ডেটা বিজ্ঞানীরা দলে যোগদান করার কারণে, জ্ঞান স্থানান্তর এবং অনবোর্ডিংয়ে আরও সময় লেগেছে, কারণ স্থানীয় পরিবেশে সিঙ্ক্রোনাইজ করা অনেক অপ্রমাণিত নির্ভরতা অন্তর্ভুক্ত করেছে। প্রকল্পগুলির মধ্যে স্যুইচ করা একই সমস্যার সম্মুখীন হয়েছে কারণ প্রতিটি মডেলের নিজস্ব কর্মপ্রবাহ ছিল।
• নিরাপত্তা – আমরা নিরাপত্তাকে গুরুত্ব সহকারে নিই, এবং তাই ML এবং ডেটা সায়েন্সের সাথে যুক্ত সমস্ত চুক্তিভিত্তিক, আইনি, এবং নিয়ন্ত্রক বাধ্যবাধকতা মেনে চলাকে অগ্রাধিকার দিই। ডেটা অবশ্যই নির্দিষ্ট উপায়ে ব্যবহার করা, সংরক্ষণ করা এবং অ্যাক্সেস করা উচিত এবং আমাদের অনুশীলনগুলি আমাদের আইনি বাধ্যবাধকতাগুলি মেনে চলার পাশাপাশি শিল্পের সর্বোত্তম অনুশীলনের সাথে সারিবদ্ধ হওয়া নিশ্চিত করতে আমরা শক্তিশালী প্রক্রিয়াগুলি এম্বেড করেছি৷ কুবেফ্লো গ্রহণের আগে, একাধিক, বিভিন্ন কর্মপ্রবাহ জুড়ে নিয়মিত যাচাইকরণ জড়িত একটি নির্দিষ্ট উপায়ে ডেটা সংরক্ষণ এবং অ্যাক্সেস করা হয়েছে তা নিশ্চিত করা। আমরা জানতাম যে আমরা এই বৈচিত্র্যময় কর্মপ্রবাহকে একক প্ল্যাটফর্মে একত্রিত করে দক্ষতা উন্নত করতে পারি। যাইহোক, সেই প্ল্যাটফর্মটি আমাদের মানসম্মত টুলিংয়ের সাথে ভালভাবে সংহত করার জন্য যথেষ্ট নমনীয় হতে হবে।
• অপারেশনস - আমরা কার্যপ্রবাহের লগিং এবং নিরীক্ষণ কেন্দ্রীকরণের মাধ্যমে অপারেশনাল দক্ষতা এবং ব্যবস্থাপনা বাড়ানোর একটি সুযোগও দেখেছি। যেহেতু প্রতিটি দল তাদের নিজস্ব সরঞ্জাম তৈরি করেছে, তাই আমরা প্রতিটি কর্মপ্রবাহ থেকে পৃথকভাবে এই তথ্য সংগ্রহ করেছি এবং সেগুলিকে একত্রিত করেছি।

ডেটা সায়েন্স টিম ওয়ার্কফ্লো একত্রিত করার জন্য বিভিন্ন সমাধান মূল্যায়ন করেছে। এই প্রয়োজনীয়তাগুলি মোকাবেলা করার পাশাপাশি, আমরা এমন একটি সমাধানের সন্ধান করেছি যা বিদ্যমান প্রমিত অবকাঠামো এবং সরঞ্জামগুলির সাথে নির্বিঘ্নে একত্রিত হবে। আমরা আমাদের ওয়ার্কফ্লো সমাধান হিসাবে AWS-এ Amazon EKS এবং Kubeflow নির্বাচন করেছি।

কুবেফ্লোকে অন্তর্ভুক্ত করে ডেটা সায়েন্টিস্ট ডেভেলপমেন্ট সাইকেল

একটি ডেটা বিজ্ঞান প্রকল্প একটি পরিষ্কার স্লেট দিয়ে শুরু হয়: কোনও ডেটা নেই, কোনও কোড নেই, শুধুমাত্র ব্যবসায়িক সমস্যা যা ML দিয়ে সমাধান করা যেতে পারে। আমাদের স্নোফ্লেক ডেটা গুদাম থেকে কাঁচা ডেটাসেটের জন্য অনুসন্ধান থেকে শুরু করে ব্যবসায়িক সমস্যা সমাধানে একটি ML মডেলকে কার্যকর করার জন্য ডেটা যথেষ্ট সংকেত ধারণ করে কিনা তা আবিষ্কার করা প্রথম কাজটি ধারণার প্রমাণ (POC)। এই পর্যায়টি পুনরাবৃত্তিমূলক, এবং ডেটা বিজ্ঞানীরা এই প্রক্রিয়া চলাকালীন কুবারনেটস পড বা কুবেফ্লো জুপিটার নোটবুক ব্যবহার করেন।

আমাদের কুবেফ্লো ক্লাস্টার কার্পেন্টার ক্লাস্টার অটোস্কেলার ব্যবহার করে, যা ডেটা বিজ্ঞানীদের জন্য রিসোর্স স্পিন করা সহজ করে তোলে কারণ তাদের শুধুমাত্র কাঙ্খিত উদাহরণের ধরণগুলিকে সংজ্ঞায়িত করার উপর ফোকাস করতে হবে, যখন প্রভিশনিং কাজটি পূর্বনির্ধারিত কার্পেন্টার প্রভিশনারের একটি সেট দ্বারা করা হয়। আমাদের কাছে সিপিইউ এবং জিপিইউ ইন্সট্যান্স প্রকারের জন্য আলাদা প্রোভিজার রয়েছে এবং অ্যামাজন ইকেএস দ্বারা সমর্থিত সমস্ত দৃষ্টান্ত আমাদের প্রোভিসার কনফিগারেশন অনুসারে এই দুটি বিভাগের একটিতে পড়ে। ডেটা সায়েন্টিস্টরা নোড সিলেক্টর ব্যবহার করে ইন্সট্যান্সের ধরন বেছে নেন এবং কার্পেন্টার নোড লাইফসাইকেল ম্যানেজমেন্টের যত্ন নেয়।

ক্যোয়ারী ডেভেলপ করার পরে, ডেটা বিজ্ঞানীরা আমাজন S3-এ একটি অবস্থানে কাঁচা ডেটা বের করে, তারপর ডেটা অন্বেষণ করতে AWS Kubeflow UI থেকে একটি Jupyter নোটবুক চালু করে৷ লক্ষ্য হল বৈশিষ্ট্য সেট তৈরি করা যা প্রথম মডেলকে প্রশিক্ষণের জন্য ব্যবহার করা হবে। এটি ডেটা বিজ্ঞানীদের গ্রাহকের ব্যবসায়িক প্রয়োজন মেটাতে ডেটাতে যথেষ্ট সংকেত আছে কিনা তা নির্ধারণ করতে দেয়।

ফলাফল সন্তোষজনক হওয়ার পরে, ডেটা বিজ্ঞানীরা উন্নয়ন চক্রের পরবর্তী পর্যায়ে চলে যান এবং তাদের আবিষ্কারগুলিকে একটি শক্তিশালী পাইপলাইনে পরিণত করেন। তারা POC কোডকে উৎপাদন-মানের কোডে রূপান্তর করে যা স্কেলে চলে। অনুমোদিত লাইব্রেরি ব্যবহার করে সম্মতি নিশ্চিত করতে, উপযুক্ত বেস ডকার ইমেজ সহ একটি ধারক তৈরি করা হয়। আমাদের ডেটা সায়েন্টিস্টদের জন্য, আমরা দেখেছি যে একটি স্ট্যান্ডার্ড পাইথন, টেনসরফ্লো, এবং স্পার্ক বেস ইমেজ প্রদান করা বেশিরভাগ কাজের চাপের জন্য যথেষ্ট নমনীয়তা দেয়। তারপরে তারা তাদের উন্নয়ন পরিবেশকে আরও কাস্টমাইজ করতে তাদের উপাদানের ডকারফাইল ব্যবহার করতে পারে। এই ডকারফাইলটি তারপরে CI/CD প্রক্রিয়া দ্বারা উপাদান চিত্র তৈরি করতে ব্যবহার করা হয় যা উত্পাদনে ব্যবহার করা হবে, তাই উন্নয়ন এবং উত্পাদন পরিবেশের মধ্যে সামঞ্জস্য বজায় রাখা।

আমাদের কাছে একটি টুল রয়েছে যা ডেটা বিজ্ঞানীদের কুবারনেটে চলমান একটি পডে তাদের উন্নয়ন পরিবেশ চালু করার ক্ষমতা দেয়। যখন এই পডটি চলছে, তখন ডেটা বিজ্ঞানীরা ভিজ্যুয়াল স্টুডিও কোড IDE সরাসরি পডের সাথে সংযুক্ত করতে পারেন এবং তাদের মডেল কোড ডিবাগ করতে পারেন। কোডটি সফলভাবে চালানোর পরে, তারা তাদের পরিবর্তনগুলিকে গিটে ঠেলে দিতে পারে এবং সাম্প্রতিক পরিবর্তনগুলির সাথে একটি নতুন উন্নয়ন পরিবেশ তৈরি করা হয়।

স্ট্যান্ডার্ড ডেটা সায়েন্স পাইপলাইন এমন ধাপগুলি নিয়ে গঠিত যা নিষ্কাশন, প্রিপ্রসেসিং, প্রশিক্ষণ এবং মূল্যায়ন অন্তর্ভুক্ত করে। পাইপলাইনের প্রতিটি পর্যায় Kubeflow-এ একটি উপাদান হিসেবে উপস্থিত হয়, যেটিতে একটি Kubernetes পড থাকে যা প্যারামিটার হিসেবে কিছু তথ্য দিয়ে একটি কমান্ড চালায়। এই পরামিতিগুলি হয় স্ট্যাটিক মান বা পূর্ববর্তী উপাদান থেকে আউটপুটের উল্লেখ হতে পারে। পডে ব্যবহৃত ডকার ইমেজটি CI/CD প্রক্রিয়া থেকে তৈরি করা হয়েছে। এই প্রক্রিয়ার বিশদ বিবরণ পরবর্তী বিভাগে আলোচিত CI/CD কর্মপ্রবাহে প্রদর্শিত হবে।

Kubeflow উপর উন্নয়ন চক্র. উন্নয়ন কর্মপ্রবাহ POC দিয়ে বাম দিকে শুরু হয়। সম্পূর্ণ মডেলটি অ্যামাজন ইসিএস-এ চলমান অ্যাথেনাহেলথ মডেল পরিবেশন প্ল্যাটফর্মে স্থাপন করা হয়েছে।

CI/CD প্রক্রিয়া স্বয়ংক্রিয় কর্মপ্রবাহ সমর্থন করে

আমাদের CI/CD প্রক্রিয়ার অংশ হিসাবে, আমরা জেনকিন্স ব্যবহার করি সমান্তরালভাবে সমস্ত Kubeflow কম্পোনেন্ট ইমেজ তৈরি এবং পরীক্ষা করতে। সফলভাবে সমাপ্তির পরে, পাইপলাইন উপাদান টেমপ্লেটে চিত্রগুলির রেফারেন্স পয়েন্টার রয়েছে এবং ফলস্বরূপ পাইপলাইনটি কুবেফ্লোতে আপলোড করা হয়। জেনকিন্স পাইপলাইনের পরামিতিগুলি ব্যবহারকারীদের পাইপলাইনগুলি চালু করতে এবং সফল বিল্ড করার পরে তাদের মডেল প্রশিক্ষণ পরীক্ষা চালানোর অনুমতি দেয়।

বিকল্পভাবে, একটি সংক্ষিপ্ত উন্নয়ন চক্র বজায় রাখার জন্য, ডেটা বিজ্ঞানীরা তাদের স্থানীয় মেশিন থেকে পাইপলাইন চালু করতে পারেন, তারা যে কোনো পাইপলাইনের পরামিতিগুলিকে পরিবর্তন করে যা তারা পরীক্ষা করতে পারে।

CI/CD বিল্ড থেকে রেফারেন্স পয়েন্টারগুলি ডিফল্টরূপে ব্যবহার করা হয়েছে তা নিশ্চিত করার জন্য টুলিং বিদ্যমান। যদি রেপোতে কোনো স্থাপনযোগ্য আর্টিফ্যাক্ট থাকে, তাহলে CI/CD লজিক অ্যামাজন ইসিএস-এ চলমান অ্যাথেনাহেলথ মডেল সার্ভিং প্ল্যাটফর্মে (পূর্বাভাস পরিষেবা) আর্টিফ্যাক্ট স্থাপন করতে থাকবে AWS Fargate. এই সমস্ত পর্যায় পেরিয়ে যাওয়ার পর, ডেটা সায়েন্টিস্ট কোডটিকে প্রাথমিক শাখায় মার্জ করেন। পাইপলাইন এবং স্থাপনযোগ্য নিদর্শনগুলি তারপর উত্পাদনে ঠেলে দেওয়া হয়।

CI/CD ডিপ্লয়মেন্ট ওয়ার্কফ্লো। এই চিত্রটি ডেটা সায়েন্স বিল্ড এবং ডিপ্লয়মেন্ট ওয়ার্কফ্লো বর্ণনা করে। CI/CD প্রক্রিয়া দ্বারা চালিত হয় জেনকিন্স.

নিরাপত্তা

আমাদের ডেটা সায়েন্স ওয়ার্কফ্লো একত্রিত করার জন্য, আমরা প্রশিক্ষণ পাইপলাইন সুরক্ষিত করার জন্য আমাদের পদ্ধতিকে কেন্দ্রীভূত করতে সক্ষম হয়েছি। এই বিভাগে, আমরা ডেটা এবং ক্লাস্টার সুরক্ষা সম্পর্কে আমাদের পদ্ধতি নিয়ে আলোচনা করি।

তথ্য নিরাপত্তা

athenahealth-এ ডেটা নিরাপত্তা অত্যন্ত গুরুত্বপূর্ণ। এই কারণে, আমরা এই ডেটার নিরাপত্তা এবং অখণ্ডতা রক্ষা করে এমন প্রবিধান এবং মানগুলির সাথে সম্পূর্ণরূপে সঙ্গতিপূর্ণ পরিকাঠামো বিকাশ এবং বজায় রাখি।

আমরা ডেটা কমপ্লায়েন্স স্ট্যান্ডার্ড পূরণ করছি তা নিশ্চিত করতে, আমরা আমাদের athenahealth এন্টারপ্রাইজ নির্দেশিকা অনুসারে আমাদের AWS পরিকাঠামোর ব্যবস্থা করি। ডেটার জন্য দুটি প্রধান স্টোর হল অত্যন্ত মাপযোগ্য পাইপলাইন মেটাডেটার জন্য Amazon RDS এবং পাইপলাইন এবং মডেল আর্টিফ্যাক্টগুলির জন্য Amazon S3। Amazon S3 এর জন্য, আমরা নিশ্চিত করি যে বালতিগুলি এনক্রিপ্ট করা হয়েছে, HTTPS এন্ডপয়েন্টগুলি প্রয়োগ করা হয়েছে এবং বালতি নীতিগুলি এবং এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকাগুলি ডেটাতে অ্যাক্সেসের অনুমতি দেওয়ার সময় ন্যূনতম বিশেষাধিকারের নীতিগুলি অনুসরণ করে৷ এটি Amazon RDS ডেটার জন্যও সত্য: এনক্রিপশন সর্বদা সক্রিয় থাকে, এবং নিরাপত্তা গোষ্ঠী এবং শংসাপত্র অ্যাক্সেস সর্বনিম্ন বিশেষাধিকারের নীতি অনুসরণ করে। এই স্ট্যান্ডার্ডাইজেশন নিশ্চিত করে যে শুধুমাত্র অনুমোদিত পক্ষগুলির ডেটাতে অ্যাক্সেস রয়েছে এবং এই অ্যাক্সেস ট্র্যাক করা হয়।

এই ব্যবস্থাগুলি ছাড়াও, প্ল্যাটফর্মটি নিরাপত্তা হুমকি মূল্যায়ন এবং ক্রমাগত নিরাপত্তা এবং সম্মতি স্ক্যানের মধ্য দিয়ে যায়।

আমরা সংবেদনশীল ডেটা ধারণ করে এমন সমস্ত S3 বাকেটের জন্য ডেটা লাইফসাইকেল ম্যানেজমেন্টের মাধ্যমে ডেটা ধরে রাখার প্রয়োজনীয়তাগুলিও সম্বোধন করি। এই নীতি স্বয়ংক্রিয়ভাবে ডেটা স্থানান্তরিত করে আমাজন S3 হিমবাহ সৃষ্টির 30 দিন পর। এর ব্যতিক্রমগুলি ডেটা পুনরুদ্ধার অনুরোধের মাধ্যমে পরিচালিত হয় এবং কেস-বাই-কেস ভিত্তিতে অনুমোদিত বা অস্বীকার করা হয়। এটি নিশ্চিত করে যে সমস্ত কর্মপ্রবাহ ডেটা ধারণ নীতি মেনে চলে। এটি ডেটা পুনরুদ্ধারের সমস্যাও সমাধান করে যদি একটি মডেল খারাপভাবে কাজ করে, এবং পুনরায় প্রশিক্ষণের প্রয়োজন হয়, বা যখন একটি নতুন মডেলকে একটি পুরানো মডেলের ডেটাসেটের ঐতিহাসিক পুনরাবৃত্তির বিপরীতে মূল্যায়ন করা আবশ্যক।

AWS এবং Amazon EKS-এ Kubeflow-এর মধ্যে থেকে Amazon S3 এবং Amazon RDS-এ অ্যাক্সেস সীমিত করার জন্য, আমরা IRSA (পরিষেবা অ্যাকাউন্টগুলির জন্য IAM ভূমিকা) ব্যবহার করি, যা Kubernetes-এর মধ্যে সংস্থানগুলির জন্য IAM-ভিত্তিক অনুমতি বিধান প্রদান করে। Kubeflow-এর প্রতিটি ভাড়াটে একটি অনন্য পূর্ব-নির্মিত পরিষেবা অ্যাকাউন্ট রয়েছে যা আমরা ভাড়াটেদের অ্যাক্সেসের প্রয়োজনীয়তাগুলি পূরণ করার জন্য বিশেষভাবে তৈরি করা একটি IAM ভূমিকার সাথে আবদ্ধ করি। প্রত্যেক ব্যবহারকারীর জন্য Amazon Cognito ব্যবহারকারী পুল গ্রুপ সদস্যপদ ব্যবহার করে ভাড়াটেদের ব্যবহারকারীর অ্যাক্সেসও সীমাবদ্ধ। যখন কোনো ব্যবহারকারীকে ক্লাস্টারে প্রমাণীকরণ করা হয়, তখন জেনারেট করা টোকেনে গ্রুপের দাবি থাকে এবং কুবারনেটস আরবিএসি ক্লাস্টারের একটি নির্দিষ্ট রিসোর্সে অ্যাক্সেসের অনুমতি দিতে বা অস্বীকার করতে এই তথ্য ব্যবহার করে। এই সেটআপটি পরবর্তী বিভাগে আরও বিস্তারিতভাবে ব্যাখ্যা করা হয়েছে।

মাল্টি-ইউজার আইসোলেশন ব্যবহার করে ক্লাস্টার নিরাপত্তা

যেমনটি আমরা পূর্ববর্তী বিভাগে উল্লেখ করেছি, ডেটা বিজ্ঞানীরা অনুসন্ধানমূলক ডেটা বিশ্লেষণ করে, ডেটা বিশ্লেষণ চালায় এবং এমএল মডেলগুলিকে প্রশিক্ষণ দেয়। সংস্থান বরাদ্দ করতে, ডেটা সংগঠিত করতে এবং প্রকল্পের উপর ভিত্তি করে কর্মপ্রবাহ পরিচালনা করতে, AWS-এ Kubeflow Kubernetes নামস্থানের উপর ভিত্তি করে বিচ্ছিন্নতা প্রদান করে। এই বিচ্ছিন্নতা Kubeflow UI এর সাথে ইন্টারঅ্যাক্ট করার জন্য কাজ করে; যাইহোক, এটি Kubectl ব্যবহার করে Kubernetes API-এ অ্যাক্সেস নিয়ন্ত্রণ করার জন্য কোনো টুলিং প্রদান করে না। এর মানে হল যে ব্যবহারকারীর অ্যাক্সেস Kubeflow UI-তে নিয়ন্ত্রণ করা যেতে পারে কিন্তু Kubectl-এর মাধ্যমে Kubernetes API-এর উপর নয়।

নিম্নলিখিত চিত্রে বর্ণিত আর্কিটেকচারটি গ্রুপ সদস্যতার উপর ভিত্তি করে কুবেফ্লোতে প্রকল্পগুলিতে অ্যাক্সেসকে একীভূত করে এই সমস্যাটির সমাধান করে। এটি অর্জনের জন্য, আমরা AWS ম্যানিফেস্টে কুবেফ্লো-এর সুবিধা নিয়েছি, যেগুলি Amazon Cognito ব্যবহারকারী পুলের সাথে একীভূত হয়েছে। উপরন্তু, ক্লাস্টারের মধ্যে অনুমোদন নিয়ন্ত্রণ করতে আমরা Kubernetes ভূমিকা-ভিত্তিক অ্যাক্সেস কন্ট্রোল (RBAC) ব্যবহার করি। ব্যবহারকারীর অনুমতিগুলি অ্যামাজন কগনিটো গ্রুপের সদস্যতার উপর ভিত্তি করে দেওয়া হয়েছে। OIDC ক্লায়েন্ট দ্বারা উত্পন্ন টোকেন সহ এই তথ্য ক্লাস্টারে প্রেরণ করা হয়। অন্তর্নির্মিত Amazon EKS কার্যকারিতার জন্য এই প্রক্রিয়াটি সরলীকৃত হয়েছে যা OIDC পরিচয় প্রদানকারীকে ক্লাস্টারের সাথে প্রমাণীকরণ করার অনুমতি দেয়।

ডিফল্টরূপে, Amazon EKS প্রমাণীকরণ IAM প্রমাণীকরণকারী দ্বারা সঞ্চালিত হয়, এটি একটি টুল যা IAM শংসাপত্র ব্যবহার করে একটি EKS ক্লাস্টারের সাথে প্রমাণীকরণ সক্ষম করে। এই প্রমাণীকরণ পদ্ধতি এর গুণাবলী আছে; যাইহোক, এটি আমাদের ব্যবহারের ক্ষেত্রে উপযুক্ত নয় কারণ athenahealth সমগ্র সংস্থা জুড়ে পরিচয় পরিষেবার জন্য Microsoft Azure Active Directory ব্যবহার করে।

কুবারনেটেস নামস্থান বিচ্ছিন্নতা। ডেটা সায়েন্টিস্টরা তাদের কাজের জন্য প্রয়োজন অনুযায়ী একক বা একাধিক গ্রুপের সদস্যপদ পেতে পারেন। অ্যাক্সেস নিয়মিত ভিত্তিতে পর্যালোচনা করা হয় এবং উপযুক্ত হিসাবে সরানো হয়।

Azure অ্যাক্টিভ ডিরেক্টরি, একটি এন্টারপ্রাইজ-ওয়াইড আইডেন্টিটি সার্ভিস, কুবেফ্লো ক্লাস্টারে ব্যবহারকারীর অ্যাক্সেস নিয়ন্ত্রণ করার জন্য সত্যের উৎস। এর জন্য সেটআপের মধ্যে রয়েছে একটি Azure এন্টারপ্রাইজ অ্যাপ্লিকেশন তৈরি করা যা পরিষেবা প্রধান হিসাবে কাজ করে এবং ক্লাস্টারে অ্যাক্সেসের প্রয়োজন এমন বিভিন্ন ভাড়াটেদের জন্য গ্রুপ যোগ করা। Azure-এর এই সেটআপটি অ্যামাজন কগনিটোতে একটি ফেডারেটেড OIDC পরিচয় প্রদানকারী সেট আপ করে মিরর করা হয়েছে যা Azure-কে প্রমাণীকরণের দায়িত্ব আউটসোর্স করে। Azure গ্রুপগুলিতে অ্যাক্সেস SailPoint IdentityIQ দ্বারা নিয়ন্ত্রিত হয়, যা প্রকল্পের মালিককে যথাযথ অনুমতি বা অস্বীকার করার জন্য অ্যাক্সেসের অনুরোধ পাঠায়। Amazon Cognito ব্যবহারকারী পুলে, দুটি অ্যাপ্লিকেশন ক্লায়েন্ট তৈরি করা হয়েছে: একটি OIDC পরিচয় প্রদানকারী ব্যবহার করে Kubernetes ক্লাস্টারের জন্য প্রমাণীকরণ সেট আপ করতে এবং অন্যটি Kubeflow UI-তে Kubeflow প্রমাণীকরণ সুরক্ষিত করতে ব্যবহৃত হয়। এই ক্লায়েন্টগুলিকে ক্লাস্টারের সাথে প্রমাণীকরণের পরে গোষ্ঠীর দাবিগুলি পাস করার জন্য কনফিগার করা হয় এবং এই গোষ্ঠী দাবিগুলিকে ক্লাস্টারের মধ্যে অনুমোদন সেট আপ করতে RBAC-এর পাশাপাশি ব্যবহার করা হয়।

Kubernetes RBAC ভূমিকা বাঁধাই গ্রুপ এবং ক্লাস্টার ভূমিকা Kubeflow-edit এর মধ্যে সেট আপ করা হয়, যা ক্লাস্টারে Kubeflow ইনস্টল করার পরে তৈরি করা হয়। এই ভূমিকার বাধ্যবাধকতা নিশ্চিত করে যে কোনো ব্যবহারকারী OIDC-এর মাধ্যমে লগ ইন করার পরে ক্লাস্টারের সাথে ইন্টারঅ্যাক্ট করে তাদের গ্রুপের দাবিতে সংজ্ঞায়িত হিসাবে তাদের অনুমতি আছে এমন নামস্থান অ্যাক্সেস করতে পারে। যদিও এটি Kubectl ব্যবহার করে ক্লাস্টারের সাথে ইন্টারঅ্যাক্ট করা ব্যবহারকারীদের জন্য কাজ করে, Kubeflow UI বর্তমানে গ্রুপ সদস্যতার উপর ভিত্তি করে ব্যবহারকারীদের অ্যাক্সেসের ব্যবস্থা করে না কারণ এটি RBAC ব্যবহার করে না। পরিবর্তে, এটি ব্যবহারকারীদের জন্য অ্যাক্সেস নিয়ন্ত্রণ করতে Istio অনুমোদন নীতি সংস্থান ব্যবহার করে। এই চ্যালেঞ্জ কাটিয়ে ওঠার জন্য, আমরা একটি কাস্টম কন্ট্রোলার তৈরি করেছি যা ব্যবহারকারীদের আমাজন কগনিটো গোষ্ঠীতে পোলিং করে সিঙ্ক্রোনাইজ করে এবং গ্রুপের পরিবর্তে প্রতিটি ব্যবহারকারীর জন্য সংশ্লিষ্ট ভূমিকা বাইন্ডিং যোগ করে বা সরিয়ে দেয়। Kubeflow UI এবং Kubectl উভয়ের সাথে ইন্টারঅ্যাক্ট করার সময় এই সেটআপ ব্যবহারকারীদের একই স্তরের অনুমতি পেতে সক্ষম করে।

কর্মক্ষম দক্ষতা

এই বিভাগে, আমরা আলোচনা করি যে কীভাবে আমরা আমাদের ওয়ার্কফ্লোগুলি পরিচালনা এবং ডিবাগ করার পাশাপাশি কুবেফ্লো আপগ্রেড করার অপারেশনাল প্রভাব কমাতে আমাদের কাছে উপলব্ধ ওপেন সোর্স এবং AWS সরঞ্জামগুলির সুবিধা নিয়েছি।

লগিং এবং পর্যবেক্ষণ

লগিংয়ের জন্য, আমরা আমাদের সমস্ত কন্টেইনার লগগুলিকে পুশ করার জন্য FluentD ব্যবহার করি আমাজন ওপেন সার্চ সার্ভিস এবং প্রমিথিউসের সিস্টেম মেট্রিক্স। তারপরে লগ এবং মেট্রিক্স অনুসন্ধান এবং ফিল্টার করার জন্য আমরা কিবানা এবং গ্রাফানা UI ব্যবহার করি। নিম্নলিখিত চিত্রটি বর্ণনা করে কিভাবে আমরা এটি সেট আপ করি।

কুবেফ্লো লগিং। আমরা লগগুলি দেখতে এবং পরীক্ষা করতে Grafana UI এবং Kibana উভয়ই ব্যবহার করি

নিম্নলিখিত স্ক্রিনশটটি আমাদের পাইপলাইন থেকে কিবানা ইউআই ভিউ।

নমুনা কিবানা UI ভিউ। কিবানা কাস্টমাইজড দৃশ্যের জন্য অনুমতি দেয়।

নিরাপদ Kubeflow ক্লাস্টার আপগ্রেড

যেহেতু আমরা AWS-এ কুবেফ্লোতে ব্যবহারকারীদের অনবোর্ড করি, আমরা MLOps টিমকে নতুন বৈশিষ্ট্য প্রকাশ এবং সংহত করার সাথে চটপটে থাকার অনুমতি দিয়ে একটি নির্ভরযোগ্য এবং সামঞ্জস্যপূর্ণ ব্যবহারকারীর অভিজ্ঞতা বজায় রাখি। উপরিভাগে, অন্যদের প্রভাবিত না করে এক সময়ে একটি উপাদান কাজ এবং আপগ্রেড করতে আমাদের জন্য Kustomize মডুলার বলে মনে হয়, যার ফলে ব্যবহারকারীদের ন্যূনতম ব্যাঘাত সহ আমাদের নতুন ক্ষমতা যোগ করার অনুমতি দেয়। যাইহোক, বাস্তবে এমন পরিস্থিতি রয়েছে যেখানে বিদ্যমান ক্লাস্টারগুলির জন্য উপাদান-স্তরের আপগ্রেডগুলি প্রয়োগ করার পরিবর্তে একটি নতুন কুবারনেটস ক্লাস্টার তৈরি করা সর্বোত্তম পদ্ধতি। আমরা দুটি ব্যবহারের ক্ষেত্রে খুঁজে পেয়েছি যেখানে এটি সম্পূর্ণ নতুন ক্লাস্টার তৈরি করা আরও বোধগম্য ছিল:

• একটি Kubernetes সংস্করণে আপগ্রেড করা যেখানে AWS ইন-প্লেস ক্লাস্টার আপগ্রেড প্রদান করে। যাইহোক, Kubeflow এবং Kubernetes সম্পদের প্রত্যেকটি উদ্দেশ্য অনুযায়ী কাজ করছে কিনা এবং ম্যানিফেস্টগুলি পশ্চাদমুখী সামঞ্জস্য বজায় রাখছে কিনা তা পরীক্ষা করা কঠিন হয়ে পড়ে।
• Kubeflow-কে একটি নতুন রিলিজে আপগ্রেড করা যেখানে বেশ কিছু বৈশিষ্ট্য যুক্ত বা পরিবর্তিত হয়েছে এবং এটি একটি বিদ্যমান Kubernetes ক্লাস্টারে ইন-প্লেস আপগ্রেড করার জন্য প্রায় সবসময় একটি প্রতিশ্রুতিশীল ধারণা নয়।

এই সমস্যাটির সমাধান করার জন্য, আমরা একটি কৌশল তৈরি করেছি যা আমাদেরকে কোনো বিদ্যমান কাজের চাপকে প্রভাবিত না করে নিরাপদ ক্লাস্টার প্রতিস্থাপন করতে সক্ষম করে। এটি অর্জন করতে, আমাদের নিম্নলিখিত মানদণ্ডগুলি পূরণ করতে হয়েছিল:

• কুবেফ্লো স্টোরেজ আলাদা করুন এবং রিসোর্স গণনা করুন যাতে পুরানো ক্লাস্টার থেকে ডিপ্রভিশন করার সময় পাইপলাইন মেটাডেটা, পাইপলাইন আর্টিফ্যাক্ট এবং ব্যবহারকারীর ডেটা বজায় থাকে
• AWS ম্যানিফেস্টে Kubeflow এর সাথে একীভূত করুন যাতে যখন একটি Kubeflow সংস্করণ আপগ্রেড হয়, তখন ন্যূনতম পরিবর্তন প্রয়োজন হয়
• ক্লাস্টার আপগ্রেড করার পরে যদি কিছু ভুল হয়ে যায় তবে ফিরে যাওয়ার একটি সহজ উপায় আছে৷
• একটি প্রার্থী ক্লাস্টারকে উৎপাদনে উন্নীত করার জন্য একটি সহজ ইন্টারফেস আছে

নিম্নলিখিত চিত্রটি এই স্থাপত্যের চিত্র তুলে ধরেছে।

নিরাপদ Kubeflow ক্লাস্টার আপগ্রেড. কুবেফ্লো প্রার্থীর পরীক্ষা সফল হলে, এটিকে রুট 53-এর আপডেটের মাধ্যমে কুবেফ্লো প্রোডে উন্নীত করা হয়।

AWS ম্যানিফেস্টে Kubeflow Amazon RDS এবং Amazon S3 ইন্টিগ্রেশনের সাথে প্রি-প্যাকেজ করা হয়। এই পরিচালিত পরিষেবাগুলি সাধারণ ডেটা স্টোর হিসাবে কাজ করে, আমরা একটি নীল-সবুজ স্থাপনার কৌশল সেট আপ করতে পারি। এটি অর্জন করার জন্য, আমরা নিশ্চিত করেছি যে পাইপলাইন মেটাডেটা Amazon RDS-এ টিকে আছে, যা EKS ক্লাস্টার থেকে স্বাধীনভাবে কাজ করে, এবং পাইপলাইন লগ এবং আর্টিফ্যাক্টগুলি Amazon S3-তে টিকে আছে। পাইপলাইন মেটাডেটা এবং আর্টিফ্যাক্টগুলি ছাড়াও, আমরা Amazon OpenSearch পরিষেবাতে পড লগগুলিকে রুট করার জন্য FluentD সেট আপ করি৷

এটি নিশ্চিত করে যে স্টোরেজ স্তরটি কম্পিউট স্তর থেকে সম্পূর্ণরূপে পৃথক করা হয়েছে এবং এর ফলে একটি সম্পূর্ণ নতুন EKS ক্লাস্টারে Kubeflow সংস্করণ আপডেটের সময় পরীক্ষা পরিবর্তনগুলি সক্ষম করে। সমস্ত পরীক্ষা সফল হওয়ার পরে, আমরা কেবল পরিবর্তন করতে সক্ষম হয়েছি অ্যামাজন রুট 53 কুবেফ্লো হোস্টিং প্রার্থী ক্লাস্টারে DNS রেকর্ড। এছাড়াও, আমরা পুরোনো ক্লাস্টারটিকে কিছু দিনের জন্য ব্যাকআপ হিসাবে চালিয়ে রাখি ঠিক যদি আমাদের রোল ব্যাক করতে হয়।

আমাদের ML পাইপলাইনের জন্য AWS-এ Amazon EKS এবং Kubeflow-এর সুবিধা

AWS প্যাকেজে Amazon EKS এবং Kubeflow আমাদের ডেভেলপমেন্ট ওয়ার্কফ্লোকে এমন একটি প্যাটার্নে নিয়ে গেছে যা দৃঢ়ভাবে পুনরাবৃত্তিযোগ্য মডেল প্রশিক্ষণকে উৎসাহিত করে। এই সরঞ্জামগুলি আমাদেরকে সম্পূর্ণরূপে সংজ্ঞায়িত ভাড়াটেদের সাথে সম্পূর্ণ সংজ্ঞায়িত ক্লাস্টার এবং সম্পূর্ণ সংজ্ঞায়িত কোড চালানোর অনুমতি দেয়।

এই প্ল্যাটফর্মটি তৈরি করা থেকে প্রচুর জয় কম পরিমাণগত এবং প্ল্যাটফর্ম বিকাশকারী এবং ব্যবহারকারী উভয়ের জন্য কীভাবে কর্মপ্রবাহ উন্নত হয়েছে তার সাথে আরও বেশি কিছু করার আছে। উদাহরণস্বরূপ, MinIO-কে Amazon S3-এ সরাসরি অ্যাক্সেস দিয়ে প্রতিস্থাপিত করা হয়েছে, যা আমাদের মূল কর্মপ্রবাহের কাছাকাছি নিয়ে যায় এবং আমাদের বজায় রাখা আবশ্যক পরিষেবার সংখ্যা হ্রাস করে। আমরা কুবেফ্লো-এর ব্যাকএন্ড হিসাবে Amazon RDS ব্যবহার করতেও সক্ষম, যা ক্লাস্টারগুলির মধ্যে সহজ স্থানান্তরকে সক্ষম করে এবং আমাদের রাতে আমাদের পাইপলাইনগুলির ব্যাক আপ করার ক্ষমতা দেয়৷

আমরা AWS পরিচালিত পরিষেবাগুলির সাথে Kubeflow একীকরণের উন্নতিগুলিকেও উপকারী বলে মনে করেছি৷ উদাহরণস্বরূপ, AWS ম্যানিফেস্টে Kubeflow-এ Amazon RDS, Amazon S3 এবং Amazon Cognito প্রি-কনফিগার করা হলে, আমরা Kubeflow-এর নতুন ডিস্ট্রিবিউশনে আপডেট করার সময় এবং শ্রম সাশ্রয় করি। যখন আমরা অফিসিয়াল কুবেফ্লো ম্যানিফেস্ট ম্যানুয়ালি পরিবর্তন করতাম, তখন একটি নতুন সংস্করণ আপডেট করতে ডিজাইন থেকে পরীক্ষা পর্যন্ত কয়েক সপ্তাহ সময় লাগবে।

Amazon EKS-এ স্যুইচ করা আমাদের Kustomize (এখন Kubectl-এর অংশ) এবং Terraform-এ আমাদের ক্লাস্টার সংজ্ঞায়িত করার সুযোগ দেয়। দেখা যাচ্ছে যে প্ল্যাটফর্মের কাজের জন্য, কুবারনেটস এবং টেরাফর্ম শেখার জন্য যথেষ্ট সময় দেওয়ার পরে কাজ করা খুব সহজ। অনেক পুনরাবৃত্তির পরে, আমাদের কাছে উপলব্ধ সরঞ্জামগুলি একটি উপাদান আপগ্রেড করা বা একটি সম্পূর্ণ ডেভেলপমেন্ট ক্লাস্টার অদলবদল করার মতো স্ট্যান্ডার্ড প্ল্যাটফর্ম অপারেশনগুলি সম্পাদন করা খুব সহজ করে তোলে। চলমান চাকরির তুলনায় কাঁচা বন্ধ অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) দৃষ্টান্তে, গ্যারান্টিযুক্ত রিসোর্স ক্লিনআপ এবং বিল্ট ইন পুনঃপ্রচেষ্টা পদ্ধতির সাথে সু-সংজ্ঞায়িত পডগুলি কী বিশাল পার্থক্য তৈরি করে তার তুলনা করা কঠিন।

Kubernetes মহান নিরাপত্তা মান প্রদান করে, এবং বহু-ব্যবহারকারী বিচ্ছিন্নতা আমাদের যা করতে দেয় তা আমরা কেবলমাত্র স্ক্র্যাচ করেছি। আমরা মাল্টি-ইউজার আইসোলেশনকে এমন একটি প্যাটার্ন হিসাবে দেখি যা ভবিষ্যতে আরও বেশি অর্থ প্রদান করে যখন প্রশিক্ষণ প্ল্যাটফর্ম উত্পাদন-স্তরের ডেটা তৈরি করে এবং আমরা আমাদের দলের বাইরে থেকে বিকাশকারীদের নিয়ে আসি।

এদিকে, কুবেফ্লো আমাদের প্রজননযোগ্য মডেল প্রশিক্ষণের অনুমতি দেয়। এমনকি একই ডেটা সহ, কোনও প্রশিক্ষণ একই মডেল তৈরি করে না, তবে আমাদের পরবর্তী সেরা জিনিসটি রয়েছে। Kubeflow এর মাধ্যমে, আমরা জানি যে কোন মডেলকে প্রশিক্ষণের জন্য কোন কোড এবং ডেটা ব্যবহার করা হয়েছিল। অনবোর্ডিং অনেক উন্নত হয়েছে কারণ আমাদের পাইপলাইনের প্রতিটি ধাপ পরিষ্কারভাবে এবং প্রোগ্রাম্যাটিকভাবে সংজ্ঞায়িত করা হয়েছে। যখন নতুন ডেটা বিজ্ঞানীদের একটি বাগ ঠিক করার কাজ থাকে, তখন তাদের অনেক কম হ্যান্ডহোল্ডিংয়ের প্রয়োজন হয় কারণ ধাপগুলির মধ্যে কোডের আউটপুটগুলি কীভাবে ব্যবহার করা হয় তার একটি স্পষ্ট কাঠামো রয়েছে।

কুবেফ্লো ব্যবহার করা একটি একক EC2 দৃষ্টান্তে চলার তুলনায় অনেক কর্মক্ষমতা উন্নতি লাভ করে। প্রায়শই মডেল প্রশিক্ষণে, ডেটা বিজ্ঞানীদের প্রিপ্রসেসিং এবং প্রশিক্ষণের জন্য বিভিন্ন সরঞ্জাম এবং অপ্টিমাইজেশনের প্রয়োজন হয়। উদাহরণস্বরূপ, প্রিপ্রসেসিং প্রায়শই স্পার্কের মতো বিতরণ করা ডেটা প্রসেসিং সরঞ্জাম ব্যবহার করে চালানো হয়, যেখানে প্রশিক্ষণ প্রায়শই GPU দৃষ্টান্ত ব্যবহার করে চালানো হয়। Kubeflow পাইপলাইনগুলির সাথে, তারা পাইপলাইনের বিভিন্ন পর্যায়ের জন্য বিভিন্ন উদাহরণের ধরন নির্দিষ্ট করতে পারে। এটি তাদের এক পর্যায়ে শক্তিশালী GPU উদাহরণ এবং অন্য পর্যায়ে বিতরণ প্রক্রিয়াকরণের জন্য ছোট মেশিনের একটি বহর ব্যবহার করতে দেয়। এছাড়াও, যেহেতু কুবেফ্লো পাইপলাইনগুলি পর্যায়গুলির মধ্যে নির্ভরতা বর্ণনা করে, পাইপলাইনগুলি সমান্তরালভাবে পর্যায়গুলি চালাতে পারে।

অবশেষে, যেহেতু আমরা ক্লাস্টারে ভাড়াটেদের যোগ করার জন্য একটি প্রক্রিয়া তৈরি করেছি, তাই এখন ক্লাস্টারে ভাড়াটেদের কাছে দল নিবন্ধন করার আরও আনুষ্ঠানিক উপায় রয়েছে। যেহেতু আমরা আমাদের EKS ক্লাস্টারে খরচ ট্র্যাক করার জন্য Kubecost ব্যবহার করি, এটি আমাদেরকে অ্যাকাউন্ট লেভেলে খরচ অ্যাট্রিবিউট করার পরিবর্তে একটি একক প্রজেক্টের জন্য খরচ অ্যাট্রিবিউট করতে দেয়, যার মধ্যে সমস্ত ডেটা সায়েন্স প্রোজেক্ট অন্তর্ভুক্ত থাকে। কুবেকোস্ট নেমস্পেস প্রতি ব্যয় করা অর্থের একটি প্রতিবেদন উপস্থাপন করে, যা পাইপলাইন চালানোর জন্য দায়ী ভাড়াটিয়া বা দলের সাথে শক্তভাবে মিলিত হয়।

সমস্ত সুবিধা থাকা সত্ত্বেও, ব্যবহারকারীদের কাছ থেকে সম্পূর্ণ কেনাকাটা হলেই আমরা এই ধরনের মাইগ্রেশন করার বিষয়ে সতর্ক করব। যে ব্যবহারকারীরা সময় রাখেন তারা Amazon EKS এবং Kubernetes ব্যবহার করে অনেক সুবিধা পান, তবে একটি উল্লেখযোগ্য শেখার বক্ররেখা রয়েছে।

উপসংহার

আমাদের এন্ড-টু-এন্ড ML পরিকাঠামোতে AWS পাইপলাইনে Kubeflow বাস্তবায়নের মাধ্যমে, আমরা আমাদের প্রয়োজনীয় টুলিং (যেমন CI/CD এবং মডেল সার্ভিং) ধরে রেখে আমাদের ডেটা সায়েন্স ওয়ার্কফ্লোকে একত্রিত ও মানসম্মত করতে সক্ষম হয়েছি। আমাদের ডেটা বিজ্ঞানীরা এখন সম্পূর্ণ ভিন্ন টুলসেট কীভাবে বজায় রাখতে হয় তা শেখার ওভারহেড ছাড়াই এই কর্মপ্রবাহের উপর ভিত্তি করে প্রকল্পগুলির মধ্যে যেতে পারেন। আমাদের কিছু মডেলের জন্য, আমরা নতুন কর্মপ্রবাহের গতিতে (পাঁচ গুণ দ্রুত) আনন্দদায়কভাবে বিস্মিত হয়েছি, যা আরও প্রশিক্ষণের পুনরাবৃত্তি এবং ফলস্বরূপ আরও ভাল ভবিষ্যদ্বাণী সহ মডেলগুলি তৈরি করার অনুমতি দিয়েছে।

আমরা আমাদের MLOps ক্ষমতা বাড়ানোর জন্য এবং আমাদের প্রকল্পের সংখ্যা এবং আকার মাপতে একটি শক্ত ভিত্তি স্থাপন করেছি। উদাহরণ স্বরূপ, আমরা মডেল বংশ এবং ট্র্যাকিং-এ আমাদের শাসনের ভঙ্গি কঠোর করার ফলে, আমরা আমাদের ফোকাস 15 টিরও বেশি কর্মপ্রবাহ থেকে কমিয়ে এনেছি মাত্র একটিতে। এবং যখন 4 সালের শেষের দিকে Log2021shell দুর্বলতা প্রকাশ্যে আসে, তখন আমরা একটি একক ওয়ার্কফ্লোতে ফোকাস করতে সক্ষম হয়েছিলাম এবং প্রয়োজন অনুসারে দ্রুত প্রতিকার করতে সক্ষম হয়েছিলাম (পারফর্মিং অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR) স্ক্যান, Amazon OpenSearch Service আপগ্রেড করা, আমাদের টুলিং আপডেট করা এবং আরও অনেক কিছু) ডেটা বিজ্ঞানীদের চলমান কাজের উপর ন্যূনতম প্রভাব ফেলে। AWS এবং Kubeflow বর্ধিতকরণগুলি উপলব্ধ হওয়ার সাথে সাথে আমরা উপযুক্ত মনে করে সেগুলিকে অন্তর্ভুক্ত করতে পারি।

এটি আমাদের AWS গ্রহণের বিষয়ে আমাদের Kubeflow-এর একটি গুরুত্বপূর্ণ এবং অবমূল্যায়িত দিক নিয়ে আসে। এই যাত্রার গুরুত্বপূর্ণ ফলাফলগুলির মধ্যে একটি হল আমাদের ডেটা বিজ্ঞানীদের জন্য নিরবিচ্ছিন্নভাবে Kubeflow-এ আপগ্রেড এবং বর্ধিতকরণগুলি রোল আউট করার ক্ষমতা। যদিও আমরা এর আগে আমাদের পদ্ধতি নিয়ে আলোচনা করেছি, আমরা AWS দ্বারা প্রদত্ত কুবেফ্লো ম্যানিফেস্টের উপরও নির্ভর করি। আমরা 2019 সংস্করণ প্রকাশের আগে 1.0.0 সালে ধারণার প্রমাণ হিসাবে আমাদের Kubeflow যাত্রা শুরু করেছি। (আমরা বর্তমানে 1.4.1 এ আছি, 1.5 মূল্যায়ন করছি। AWS ইতিমধ্যে 1.6 সংস্করণে কাজ করছে।) মধ্যবর্তী 3 বছরে, উল্লেখযোগ্য বিষয়বস্তু সহ কমপক্ষে ছয়টি রিলিজ হয়েছে। এই আপগ্রেডগুলিকে একীভূত এবং বৈধ করার জন্য এবং একটি পূর্বাভাসযোগ্য, নির্ভরযোগ্য সময়সূচীতে ম্যানিফেস্টগুলি প্রকাশ করার জন্য তাদের সুশৃঙ্খল পদ্ধতির মাধ্যমে, AWS-এর Kubeflow টিম athenahealth MLOps টিমকে আমাদের ডেভেলপমেন্ট রোডম্যাপ পরিকল্পনা করতে এবং ফলস্বরূপ আমাদের সম্পদ বরাদ্দ এবং ফোকাসের ক্ষেত্রগুলিকে সক্ষম করতে গুরুত্বপূর্ণ ভূমিকা পালন করেছে। , আরও বেশি আত্মবিশ্বাসের সাথে ভবিষ্যতের দিকে।

আপনি অনুসরণ করতে পারেন AWS ল্যাবস GitHub সংগ্রহস্থল Kubeflow এ সমস্ত AWS অবদান ট্র্যাক করতে। এছাড়াও আপনি AWS দল খুঁজে পেতে পারেন কুবেফ্লো #AWS স্ল্যাক চ্যানেল; সেখানে আপনার প্রতিক্রিয়া AWS কে Kubeflow প্রকল্পে অবদান রাখার জন্য পরবর্তী বৈশিষ্ট্যগুলিকে অগ্রাধিকার দিতে সাহায্য করে৷

---

লেখক সম্পর্কে

কানওয়ালজিৎ খুরমি আমাজন ওয়েব সার্ভিসের একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি AWS গ্রাহকদের AWS ব্যবহার করার সময় তাদের সমাধানের মান উন্নত করতে সহায়তা করার জন্য নির্দেশিকা এবং প্রযুক্তিগত সহায়তা প্রদানের জন্য কাজ করেন। কানওয়ালজিৎ গ্রাহকদের কনটেইনারাইজড এবং মেশিন লার্নিং অ্যাপ্লিকেশানগুলির সাহায্যে বিশেষজ্ঞ৷

টাইলার কালবাচ athenahealth এ টেকনিক্যাল স্টাফের একজন প্রধান সদস্য। টাইলারের অ্যানালিটিক্স, ডেটা সায়েন্স, নিউরাল নেটওয়ার্ক এবং হেলথকেয়ার স্পেসে মেশিন লার্নিং অ্যাপ্লিকেশনগুলির বিকাশে প্রায় 7 বছরের অভিজ্ঞতা রয়েছে৷ তিনি বেশ কয়েকটি মেশিন লার্নিং সমাধানে অবদান রেখেছেন যা বর্তমানে উত্পাদন ট্র্যাফিক পরিবেশন করছে। বর্তমানে athenahealth-এর ইঞ্জিনিয়ারিং সংস্থায় একজন প্রধান ডেটা সায়েন্টিস্ট হিসেবে কাজ করছেন, Tyler সেই দলের অংশ হয়েছিলেন যারা সেই প্রচেষ্টার শুরু থেকেই athenahealth-এর জন্য নতুন মেশিন লার্নিং ট্রেনিং প্ল্যাটফর্ম তৈরি করেছে।

ভিক্টর ক্রিলোভ athenahealth এ টেকনিক্যাল স্টাফের একজন প্রধান সদস্য। ভিক্টর একজন প্রকৌশলী এবং স্ক্রাম মাস্টার, ডেটা বিজ্ঞানীদের সুরক্ষিত দ্রুত মেশিন লার্নিং পাইপলাইন তৈরি করতে সাহায্য করে। athenahealth-এ তিনি ইন্টারফেস, ক্লিনিকাল অর্ডারিং, প্রেসক্রিপশন, সময়সূচী, বিশ্লেষণ এবং এখন মেশিন লার্নিং নিয়ে কাজ করেছেন। তিনি পরিষ্কারভাবে লিখিত এবং ভাল ইউনিট পরীক্ষিত কোডকে মূল্য দেন, কিন্তু কোড ওয়ান-লাইনারগুলির সাথে একটি অস্বাস্থ্যকর আবেশ রয়েছে। অবসর সময়ে তিনি তার কুকুরকে হাঁটার সময় পডকাস্ট শুনতে উপভোগ করেন।

শসাঙ্ক ভেমুরি athenahealth এ টেকনিক্যাল স্টাফের একজন প্রধান সদস্য। স্বাস্থ্যসেবা, বীমা এবং বায়োইনফরমেটিক্সের মতো ডোমেন জুড়ে ডেটা চালিত সমাধানগুলি বিকাশের সাথে তার কাজ করার অভিজ্ঞতা রয়েছে। Sasank বর্তমানে AWS এবং Kubernetes-এ মেশিন লার্নিং ট্রেনিং এবং ইনফারেন্স প্ল্যাটফর্ম ডিজাইন এবং ডেভেলপ করার সাথে কাজ করে যা প্রশিক্ষণ এবং স্কেলে এমএল সমাধান স্থাপনে সহায়তা করে।

অনু তুমকুর অ্যাথেনাহেলথের একজন স্থপতি। মেশিন লার্নিং, ক্লাউড অপারেশন, বিগ ডাটা, রিয়েল-টাইম ডিস্ট্রিবিউটেড ডেটা পাইপলাইন, অ্যাড টেক, ডেটা অ্যানালিটিক্স, সোশ্যাল মিডিয়া অ্যানালিটিক্স-এ বিভিন্ন সফ্টওয়্যার পণ্য তৈরির স্থাপত্য, নকশা, বিকাশের অভিজ্ঞতা অনুর রয়েছে দুই দশকেরও বেশি। অনু বর্তমানে মেশিন লার্নিং প্ল্যাটফর্ম এবং ডেটা পাইপলাইন দলে athenahealth-এর প্রোডাক্ট ইঞ্জিনিয়ারিং প্রতিষ্ঠানে একজন স্থপতি হিসেবে কাজ করেন।

উইলিয়াম সেন athenahealth-এর একজন সিনিয়র ইঞ্জিনিয়ারিং ম্যানেজার। স্বাস্থ্যসেবা আইটি, বিগ ডেটা ডিস্ট্রিবিউটেড কম্পিউটিং, ইন্টেলিজেন্ট অপটিক্যাল নেটওয়ার্ক, রিয়েল-টাইম ভিডিও এডিটিং সিস্টেম, এন্টারপ্রাইজ সফ্টওয়্যার এবং গ্রুপ হেলথ কেয়ার আন্ডাররাইটিং-এ তার 20 বছরেরও বেশি প্রকৌশল নেতৃত্বের অভিজ্ঞতা রয়েছে। উইলিয়াম বর্তমানে athenahealth-এ দুটি দুর্দান্ত দলের নেতৃত্ব দিচ্ছেন, মেশিন লার্নিং অপারেশনস এবং DevOps ইঞ্জিনিয়ারিং টিম, প্রোডাক্ট ইঞ্জিনিয়ারিং সংস্থায়।