ইয়ারা কিভাবে তাদের অ্যামোনিয়া প্ল্যান্ট জুড়ে শক্তি অপ্টিমাইজেশন স্কেল করতে Amazon SageMaker-এর MLOps বৈশিষ্ট্যগুলি ব্যবহার করছে

Yara থেকে বিশ্বের শীর্ষস্থানীয় শস্য পুষ্টি সংস্থা এবং পরিবেশগত ও কৃষি সমাধান প্রদানকারী। ইয়ারার উচ্চাকাঙ্ক্ষা একটি প্রকৃতি-ইতিবাচক খাদ্য ভবিষ্যত বৃদ্ধির উপর দৃষ্টি নিবদ্ধ করে যা গ্রাহক, শেয়ারহোল্ডার এবং সমাজের জন্য মূল্য তৈরি করে এবং আরও টেকসই খাদ্য মূল্যের চেইন সরবরাহ করে। ক্ষুধাহীন বিশ্ব এবং সম্মানিত গ্রহের প্রতি আমাদের দৃষ্টিভঙ্গি সমর্থন করে, ইয়ারা টেকসই মূল্য বৃদ্ধির একটি কৌশল অনুসরণ করে, জলবায়ু-বান্ধব ফসলের পুষ্টি এবং শূন্য-নিঃসরণ শক্তি সমাধানের প্রচার করে। ইয়ারা হল বিশ্বের সবচেয়ে বড় অ্যামোনিয়া, নাইট্রেট এবং উৎপাদক NPK সার নিরাপত্তা, পরিবেশগত পদচিহ্ন, গুণমান এবং উৎপাদন খরচের মতো মেট্রিক্সে বিশ্ব-নেতৃস্থানীয় হওয়ার একটি স্পষ্ট উচ্চাকাঙ্ক্ষা সহ তাদের মিশনে ডেলিভারি করার জন্য তাদের উত্পাদন বিভাগটি একটি অবিচ্ছেদ্য বিল্ডিং ব্লক। ইয়ারার দীর্ঘমেয়াদী লক্ষ্য হল "ভবিষ্যতের উদ্ভিদ" শূন্য নির্গমন এবং কম খরচে।

একটি দুর্বল রূপান্তরের উপর ভিত্তি করে, ইয়ারা তাদের উচ্চাকাঙ্ক্ষা অর্জনে সহায়তা করার জন্য ডিজিটাল সমাধানগুলিতে তাদের ফোকাস বাড়ায়। এই প্রচেষ্টার নেতৃত্ব দেওয়ার জন্য, ইয়ারা ডিজিটাল প্রোডাকশন নামে একটি বিশ্বব্যাপী ইউনিট প্রতিষ্ঠা করে। ডিজিটাল উৎপাদনের সাফল্য এবং এর সমাধানগুলি ইয়ারার জন্য একটি মূল অগ্রাধিকার, এবং ইয়ারা এই ক্ষেত্রের মধ্যে তাদের প্রচেষ্টাকে উল্লেখযোগ্যভাবে বৃদ্ধি করেছে। একটি গুরুত্বপূর্ণ ফোকাস ক্ষেত্র হল তাদের ক্রিয়াকলাপগুলির অংশ হিসাবে উত্পন্ন বিপুল পরিমাণ ডেটার সুবিধা নেওয়া। তাই, ইয়ারা ডেটা-চালিত পণ্য তৈরি করছে যা তাদের উত্পাদন অপ্টিমাইজ করতে, পণ্যের গুণমান বাড়াতে, উত্পাদন সাইটের নির্ভরযোগ্যতা বাড়াতে, নির্গমন কমাতে, কর্মীদের নিরাপত্তা এবং উত্পাদনশীলতা বাড়াতে, ম্যানুয়াল প্রক্রিয়াগুলি স্বয়ংক্রিয় করতে এবং আরও অনেক কিছু করতে সহায়তা করে।

অনেক উৎপাদন প্ল্যান্টের জন্য শক্তি একটি প্রধান খরচ উপাদান; তাই, শক্তি দক্ষতা লাভজনকতার উপর যথেষ্ট প্রভাব ফেলে। যাইহোক, ভাল পারফরম্যান্স কেমন দেখায় এবং কীভাবে সেখানে পৌঁছানো যায় তার জন্য প্রায়শই শক্ত রেফারেন্সের অভাব থাকে। ইয়ারার এনার্জি লোড কার্ভ (ELC) হল একটি সমাধান যা বর্তমান কর্মক্ষমতার বিপরীতে রাখা শক্তি খরচের উপর সেরা ঐতিহাসিক পারফরম্যান্স ব্যবহার করে। যদি বর্তমান খরচ ঐতিহাসিক সেরা থেকে খুব বেশি বিচ্যুত হয়, তাহলে টুলটি শক্তি খরচ বাড়ানোর জন্য অপারেটরদের সুপারিশ দেয়।

উৎপাদন প্ল্যান্টে ELC মোতায়েন করতে এবং এটিকে সারা বিশ্বে একাধিক সাইটে স্কেল করতে, ইয়ারাকে একটি MLOps প্ল্যাটফর্ম তৈরি করতে হবে। এটি নিশ্চিত করবে ইয়ারা নির্ভরযোগ্য এবং দক্ষতার সাথে মডেলগুলিকে প্রশিক্ষণ, স্থাপন এবং রক্ষণাবেক্ষণ করবে। উপরন্তু, এটিকে একাধিক সাইটে স্কেল করার জন্য, ইয়ারাকে স্থাপনা এবং রক্ষণাবেক্ষণ প্রক্রিয়াগুলি স্বয়ংক্রিয় করতে হবে। এই পোস্টে আমরা আলোচনা করব কিভাবে ইয়ারা ব্যবহার করছে আমাজন সেজমেকার মডেল রেজিস্ট্রি সহ বৈশিষ্ট্য, অ্যামাজন সেজমেকার মডেল মনিটর, এবং অ্যামাজন সেজমেকার পাইপলাইন MLOps অনুশীলনগুলি স্বয়ংক্রিয় এবং মানককরণের মাধ্যমে মেশিন লার্নিং (এমএল) জীবনচক্রকে প্রবাহিত করা। আমরা সেটআপের একটি ওভারভিউ প্রদান করি, বিশ্বজুড়ে উদ্ভিদের জন্য এমএল মডেল নির্মাণ, প্রশিক্ষণ, স্থাপন এবং পর্যবেক্ষণের প্রক্রিয়া প্রদর্শন করে।

সমাধান ওভারভিউ

ELC একটি প্ল্যান্ট থেকে ইন্টারনেট অফ থিংস (IoT) সেন্সর ডেটা ব্যবহার করে। এই সেন্সরগুলি উত্পাদন থ্রুপুট, পরিবেষ্টিত অবস্থা এবং কাঁচামালের অবস্থা ইত্যাদির মতো মেট্রিক্স পরিমাপ করে। এই ডেটাটি একটি শক্তি ভবিষ্যদ্বাণী মডেলকে প্রশিক্ষণ দিতে ব্যবহৃত হয় যা পরে ঘন্টায় ভবিষ্যদ্বাণী তৈরি করতে ব্যবহৃত হয়। প্ল্যান্ট অপারেটররা প্রকৃত শক্তি খরচ নিরীক্ষণ করে এবং ELC দ্বারা পূর্বাভাস অনুযায়ী সর্বোত্তম খরচের সাথে তুলনা করে। যদি বর্তমান শক্তি খরচ সর্বোত্তম বিন্দু থেকে খুব বেশি বিচ্যুত হয়, তাহলে ELC বিশ্লেষণাত্মক মডেলের উপর ভিত্তি করে শক্তি দক্ষতা অপ্টিমাইজ করার জন্য অভ্যন্তরীণ প্রক্রিয়া ভেরিয়েবলগুলিকে সামঞ্জস্য করার জন্য একটি পদক্ষেপ প্রদান করে।

ELC ক্লাউডে হোস্ট করা হয়। বাস্তব সময়ে একটি উদ্ভিদ থেকে সেন্সর ডেটা স্ট্রিম করার জন্য, ইয়ারা ব্যবহার করে এডাব্লুএস আইওটি গ্রিনগ্রাস সাথে নিরাপদে যোগাযোগ করতে এডাব্লুএস আইওটি কোর এবং AWS ক্লাউডে IoT ডেটা রপ্তানি করুন। AWS IoT সাইটওয়াইজ একটি পরিচালিত পরিষেবা যা শিল্প সরঞ্জাম থেকে সরঞ্জাম ডেটা সংগ্রহ, সংগঠিত, অনুসন্ধান এবং ব্যবহার করতে পারে। ইয়ারা ব্যবহার করে API তৈরি করেছে অ্যামাজন এপিআই গেটওয়ে ELC এর মতো অ্যাপ্লিকেশনগুলিতে সেন্সর ডেটা প্রকাশ করতে।

ELC অ্যাপ্লিকেশন ব্যাকএন্ড Amazon ECS এর মাধ্যমে স্থাপন করা হয় এবং সামনের প্রান্তে ELC ড্যাশবোর্ডগুলিকে ক্ষমতা দেয় যা প্ল্যান্ট অপারেটরদের দ্বারা ব্যবহৃত হয়। ELC অ্যাপ্লিকেশনটি উদ্ভিদ অপারেটরদের প্রতি ঘন্টায় ভবিষ্যদ্বাণীমূলক শক্তি খরচ মেট্রিক্স প্রদানের জন্য দায়ী। প্রতিটি উদ্ভিদ তার নিজস্ব মডেলের সাথে লাগানো হয়, কারণ তাদের শক্তি খরচ বৈশিষ্ট্য ভিন্ন। উপরন্তু, গাছপালা তাদের অবস্থানের উপর ভিত্তি করে বিভিন্ন AWS অঞ্চলে ক্লাস্টার করা হয়।

নিম্নলিখিত চিত্রটি এই স্থাপত্যের চিত্র তুলে ধরেছে।

ELC তৈরি করতে এবং একাধিক প্ল্যান্টে স্কেলিং করার জন্য, আমাদের একটি MLOps সমাধান প্রয়োজন যা নিম্নলিখিতগুলিকে সমর্থন করে:

• স্কেলেবিলিটি - এটি ডেটা ভলিউমের প্রতিক্রিয়া হিসাবে স্কেল করতে পারে। কিছু গাছপালা অন্যদের চেয়ে বেশি ডেটা তৈরি করে; প্রতিটি উদ্ভিদ প্রতিদিন কয়েক গিগাবাইট ডেটা উত্পাদন করতে পারে।
• সম্প্রসারণযোগ্যতা - এটি নতুন অঞ্চল এবং অ্যাকাউন্টে স্থাপন করতে পারে।
• repeatability - এটিতে সাধারণ টেমপ্লেট রয়েছে যা আমরা একটি নতুন উদ্ভিদের জাহাজে ব্যবহার করতে পারি।
• নমনীয়তা - এটি প্রতিটি উদ্ভিদের প্রয়োজনের উপর ভিত্তি করে স্থাপনার কনফিগারেশন পরিবর্তন করতে পারে।
• নির্ভরযোগ্যতা এবং পর্যবেক্ষণ - এটি পরীক্ষা চালাতে পারে এবং সমস্ত সক্রিয় উদ্ভিদের স্থিতিতে স্পষ্ট দৃশ্যমানতা থাকতে পারে। ব্যর্থতার ক্ষেত্রে, এটি পূর্ববর্তী স্থিতিশীল অবস্থায় ফিরে যেতে পারে।
• রক্ষণাবেক্ষণ - সমাধান একটি কম রক্ষণাবেক্ষণ ওভারহেড থাকা উচিত. অবকাঠামোর পদচিহ্ন কমাতে যেখানে সম্ভব সার্ভারহীন পরিষেবা ব্যবহার করা উচিত।

এমএল-এর জন্য, ইয়ারা সেজমেকার ব্যবহার করার সিদ্ধান্ত নিয়েছে। সেজমেকার হল একটি সম্পূর্ণ-পরিচালিত পরিষেবা যা সম্পূর্ণ এমএল ওয়ার্কফ্লোকে কভার করে। সেজমেকার নির্বাচন করার ক্ষেত্রে নিম্নলিখিত বৈশিষ্ট্যগুলি গুরুত্বপূর্ণ ছিল:

• SageMaker ফ্রেমওয়ার্ক পাত্রে - ইয়ারা টেনসরফ্লোতে ELC ভবিষ্যদ্বাণীমূলক মডেল প্রশিক্ষিত করেছিল এবং সেজমেকার ফ্রেমওয়ার্ক কন্টেইনারগুলির সাথে, ইয়ারা সেজমেকারে ন্যূনতম কোড পরিবর্তনের সাথে এই মডেলগুলিকে তুলতে এবং স্থানান্তর করতে সক্ষম হয়েছিল।
• সেজমেকার পাইপলাইন - সেজমেকার পাইপলাইনগুলি এমএল পাইপলাইনগুলি লেখার জন্য ডেটা বিজ্ঞানীদের জন্য একটি পাইথন ইন্টারফেস অফার করে৷ ELC কোডের একটি বড় অংশ একটি প্রশিক্ষণ এবং একটি অনুমান পাইপলাইন নিয়ে গঠিত, যা পাইথনে সংজ্ঞায়িত করা হয়েছে।
• সেজমেকার মডেল রেজিস্ট্রি - সেজমেকার মডেল রেজিস্ট্রি ক্যাটালগ এবং সংস্করণ নিয়ন্ত্রণ মডেলগুলিকে সম্ভব করে তোলে। উপরন্তু, এটি মডেল মেটাডেটা পরিচালনা করা সহজ করে তোলে, যেমন প্রশিক্ষণ মেট্রিক্স।
• সেজমেকার মডেল মনিটর - ইয়ারা ইনকামিং ডেটার গুণমান এবং বিতরণের পাশাপাশি ELC মডেলের কার্যকারিতা নিরীক্ষণ করতে চেয়েছিল। সেজমেকার মডেল মনিটর এপিআই ডেটা এবং মডেলের গুণমান নিরীক্ষণ অফার করে।

ML পাইপলাইনগুলির জন্য ক্রমাগত একীকরণ এবং ক্রমাগত বিতরণ (CI/CD) পরিচালনা করতে, ইয়ারা ব্যবহার করে আমাজন স্থাপনার ফ্রেমওয়ার্ক (ADF)। ADF হল একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা AWS দ্বারা একটি AWS সংস্থার মধ্যে একাধিক AWS অ্যাকাউন্ট এবং অঞ্চল জুড়ে সংস্থানগুলি পরিচালনা এবং স্থাপন করার জন্য তৈরি করা হয়েছে। ADF সংজ্ঞায়িত কাঠামোর মাধ্যমে অ্যাপ্লিকেশন বা সংস্থানগুলির মঞ্চস্থ, সমান্তরাল, মাল্টি-অ্যাকাউন্ট এবং ক্রস-অঞ্চল স্থাপনের অনুমতি দেয় এডব্লিউএস সংস্থা, যেমন পরিষেবার সুবিধা গ্রহণ করার সময় AWS কোড পাইপলাইন, এডাব্লুএস কোডবিল্ড, এডাব্লুএস কোডকমিট, এবং এডাব্লুএস ক্লাউডফর্মেশন একটি ঐতিহ্যগত CI/CD সেটআপের তুলনায় ভারী উত্তোলন এবং ব্যবস্থাপনা উপশম করতে।

সমাধান ওভারভিউ

MLOps প্ল্যাটফর্মের জন্য সম্পূর্ণ সমাধান দুই মাসের মধ্যে একটি সহযোগিতামূলক প্রচেষ্টায় নির্মিত হয়েছিল AWS প্রফেশনাল সার্ভিসেস. প্রকল্পে কাজ করা দলটিতে ডেটা বিজ্ঞানী, ডেটা প্রকৌশলী এবং DevOps বিশেষজ্ঞ ছিলেন। মাল্টি-টিম পরিবেশে দ্রুত বিকাশের সুবিধার্থে, ইয়ারা ব্যবহার করা বেছে নিয়েছে AWS ল্যান্ডিং Zone এবং সংগঠনগুলি কেন্দ্রীয়ভাবে বিভিন্ন AWS অ্যাকাউন্ট তৈরি, পরিচালনা এবং পরিচালনা করতে। উদাহরণস্বরূপ, ইয়ারার একটি কেন্দ্রীয় স্থাপনার অ্যাকাউন্ট রয়েছে এবং ব্যবসায়িক অ্যাপ্লিকেশন হোস্ট করতে ওয়ার্কলোড অ্যাকাউন্ট ব্যবহার করে। ইএলসি একটি প্রক্রিয়া অপ্টিমাইজেশান ব্যবহারের ক্ষেত্রে এবং কাজের চাপ অ্যাকাউন্টগুলি অপ্টিমাইজ করার জন্য স্থাপন করা হয়। ইয়ারা ডিজিটাল প্রোডাকশন টিম অপ্টিমাইজেশন ব্যতীত অন্যান্য ক্ষেত্রে এমএল ব্যবহারের ক্ষেত্রেও কাজ করে। MLOps ফ্রেমওয়ার্ক যেকোন ওয়ার্কলোড অ্যাকাউন্টে মোতায়েন সমর্থন করে যতক্ষণ পর্যন্ত অ্যাকাউন্টগুলি সংস্থার মাধ্যমে তৈরি করা হয়।

নিম্নলিখিত চিত্রটি এই স্থাপত্যের চিত্র তুলে ধরেছে।

একটি কেন্দ্রীয় স্থাপনার অ্যাকাউন্ট ব্যবহার করা সাধারণ শিল্পকর্ম এবং CI/CD পাইপলাইনগুলি পরিচালনা করা সহজ করে তোলে। এই সাধারণ আর্টিফ্যাক্টগুলির অ্যাক্সেস ম্যানেজমেন্ট এবং সুরক্ষার ক্ষেত্রে, এটি একটি সহজ ডিজাইন কারণ অনুমতি সীমানা এবং এনক্রিপশন কীগুলি কেন্দ্রীয়ভাবে এক জায়গায় পরিচালিত হয়। নিম্নলিখিত বিভাগগুলিতে, আমরা আপনাকে ইয়ারার MLOps প্ল্যাটফর্মে একটি নতুন ব্যবহারের ক্ষেত্রে যাবার জন্য প্রয়োজনীয় পদক্ষেপগুলির মধ্যে দিয়ে চলেছি।

অ্যাকাউন্ট কৌশলের পরিপ্রেক্ষিতে, ইয়ারার একটি স্যান্ডবক্স, DEV, TEST এবং PROD সেটআপ রয়েছে। স্যান্ডবক্স অ্যাকাউন্টটি পরীক্ষা-নিরীক্ষা এবং নতুন ধারণা চেষ্টা করার জন্য ব্যবহৃত হয়। DEV অ্যাকাউন্ট হল CI/CD পাইপলাইনগুলির সূচনা বিন্দু, এবং সমস্ত বিকাশ এখানে শুরু হয়। স্থাপনার অ্যাকাউন্টে CI/CD পাইপলাইন সংজ্ঞা রয়েছে এবং এটি DEV, TEST এবং PROD অ্যাকাউন্টে স্থাপন করতে সক্ষম। এই অ্যাকাউন্ট সেটআপ নিম্নলিখিত চিত্রে চিত্রিত করা হয়েছে.

একটি নতুন ব্যবহারের ক্ষেত্রে অনবোর্ডিং

এই পোস্টের জন্য, আমরা ধরে নিচ্ছি যে আমাদের কাছে একটি ব্যবহারের ক্ষেত্রে একটি কার্যকরী প্রোটোটাইপ রয়েছে এবং এখন আমরা এটিকে কার্যকর করতে চাই। এই ব্যবহারের ক্ষেত্রে একটি নতুন পণ্য এলাকার অন্তর্গত হলে, আমাদের প্রথমে সংস্থাগুলি ব্যবহার করে অ্যাকাউন্টগুলির ব্যবস্থা করতে হবে, যা স্বয়ংক্রিয়ভাবে ADF-কে এই অ্যাকাউন্টগুলিকে স্থাপনার জন্য বুটস্ট্র্যাপ করতে ট্রিগার করে৷ ইয়ারা একটি DEV>TEST>PROD অ্যাকাউন্ট কৌশল অনুসরণ করে; যাইহোক, এই কনফিগারেশন বাধ্যতামূলক নয়। ডেটা অ্যাকাউন্টগুলি ডেটা অ্যাক্সেসের জন্য API গুলি প্রকাশ করে এবং একটি নতুন ব্যবহারের ক্ষেত্রে, ভূমিকাগুলিকে প্রয়োজনীয় মঞ্জুর করা প্রয়োজন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) অনুমতি যাতে তারা ডেটা API অ্যাক্সেস করতে পারে।

এর পরে, আমাদের সংজ্ঞায়িত করতে হবে যে এই ব্যবহার কেসটি কোন অ্যাকাউন্টে স্থাপন করা হয়েছে। এটি ADF এ একটি স্থাপনার মানচিত্র ব্যবহার করে করা হয়। স্থাপনার মানচিত্র হল একটি কনফিগারেশন ফাইল যাতে পাইপলাইনের ধাপ এবং লক্ষ্যগুলির ম্যাপিং থাকে। স্থাপনার মানচিত্র চালানোর জন্য, ADF কোডপাইপলাইন ব্যবহার করে। ADF প্রতি টার্গেট পরিবেশে প্যারামিটার পরিচালনা করার নমনীয়তা প্রদান করে যেখানে স্ট্যাক স্থাপন করা হয়। এটি স্থাপনাগুলি পরিচালনা করা এবং ছোট উদাহরণগুলির সাথে পরীক্ষা করা সহজ করে তোলে।

কোড, ডেটা এবং মডেল ফাইলের মতো সমস্ত আর্টিফ্যাক্ট এনক্রিপ্ট করার জন্য, আমরা একটি তৈরি করি AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS) কী। আপনি সার্ভার-সাইড এনক্রিপশনও ব্যবহার করতে পারেন। যাইহোক, যেহেতু কিছু উত্পন্ন শিল্পকর্ম অ্যাকাউন্ট জুড়ে অ্যাক্সেস করা হয়, তাই আমাদের নিজস্ব কী তৈরি করতে হবে এবং ক্রস-অ্যাকাউন্ট অ্যাক্সেস দেওয়ার জন্য এর অনুমতি নীতিগুলি পরিচালনা করতে হবে।

অবশেষে, সেজমেকার মডেল রেজিস্ট্রি ব্যবহার করে একটি মডেলের বিভিন্ন সংস্করণকে গোষ্ঠীভুক্ত করার জন্য আমাদের একটি মডেল প্যাকেজ গ্রুপ তৈরি করতে হবে, যা সেজমেকার মডেলগুলিকে ট্র্যাক এবং পরিচালনা করার ক্ষমতা যখন তারা ML জীবনচক্রের মধ্য দিয়ে যায়।

মডেল প্রশিক্ষণ পাইপলাইন

ELC-এর জন্য অনবোর্ড করা প্রতিটি নতুন প্ল্যান্টের জন্য, আমরা একটি নতুন SageMaker প্রশিক্ষণ পাইপলাইন তৈরি করি। এই পাইপলাইনে ডেটা প্রিপ্রসেসিং এবং মডেল প্রশিক্ষণের ধাপ রয়েছে। সেজমেকার পাইপলাইনগুলি ইয়ারার জন্য উপযুক্ত কারণ তারা একটি এমএল ওয়ার্কফ্লো সংজ্ঞায়িত করার জন্য একটি পাইথন ইন্টারফেস অফার করে। উপরন্তু, কর্মপ্রবাহের বিভিন্ন ধাপ ভিন্নভাবে স্কেল করার জন্য কনফিগার করা যেতে পারে। উদাহরণস্বরূপ, আপনি মডেল মূল্যায়ন ধাপের তুলনায় প্রশিক্ষণের জন্য একটি অনেক বড় উদাহরণ সংজ্ঞায়িত করতে পারেন। পাইপলাইনের প্রতিটি ধাপের জন্য ইনপুট এবং আউটপুট পরামিতিগুলি সংরক্ষণ করা হয়, যা প্রতিটি রান এবং এর আউটপুটগুলিকে ট্র্যাক করা সহজ করে তোলে। প্রশিক্ষণ কর্মপ্রবাহের উচ্চ-স্তরের রূপরেখা নিম্নরূপ।

মডেল মূল্যায়ন পর্যায়ের অংশ হিসাবে, একটি মূল্যায়ন ডেটাসেট মেট্রিক্স তৈরি করতে ব্যবহৃত হয়, যেমন সঠিকতা এবং প্রশিক্ষিত মডেলে রুট-মিন-স্কোয়ারড এরর (RMSE) বিচ্যুতি। মডেল রেজিস্ট্রিতে মডেল নিবন্ধন করার আগে এই মেট্রিক্স মডেল মেটাডেটা যোগ করা হয়. বর্তমানে, মডেলগুলিকে ম্যানুয়ালি উচ্চতর পরিবেশে উন্নীত করা হয়, এবং মডেল অনুমোদনকারী মডেল মেট্রিক্স দেখতে পারেন যাতে নতুন সংস্করণটি বর্তমান মডেলের চেয়ে ভালো পারফর্ম করে।

মডেলগুলি মডেল রেজিস্ট্রি দ্বারা নিয়ন্ত্রিত সংস্করণ, প্রতিটি উদ্ভিদের নিজস্ব মডেল প্যাকেজ গ্রুপ রয়েছে। অতিরিক্তভাবে, আপনি মডেল রেজিস্ট্রি ব্যবহার করতে পারেন কোন মডেল সংস্করণগুলি কোন পরিবেশে স্থাপন করা হয়েছে তা ট্র্যাক করতে। একটি মডেল একটি হতে পারে প্রত্যাখ্যাত, মুলতুবি ম্যানুয়াল অনুমোদন, বা অনুমোদিত রাষ্ট্র, এবং শুধুমাত্র মডেল যে আছে অনুমোদিত রাষ্ট্র স্থাপন করা যেতে পারে। এটি দুর্ঘটনাক্রমে মডেলের একটি অ-অনুমোদিত সংস্করণ স্থাপন করা থেকে সুরক্ষা প্রদান করে।

মডেল অনুমান এবং পর্যবেক্ষণ পাইপলাইন

মডেল স্থাপন এবং মডেল পর্যবেক্ষণ সেট আপ করতে, আমরা একটি দ্বিতীয় সেজমেকার পাইপলাইন সেট আপ করি। ELC অ্যাপ্লিকেশনটি চাহিদা অনুযায়ী উদ্ভিদ অপারেটরদের পূর্বাভাস প্রদান করে, তাই মডেলগুলি ELC ব্যাকএন্ড থেকে করা API কলের মাধ্যমে অ্যাক্সেস করা হয়। সেজমেকার ইনফারেন্স এন্ডপয়েন্ট একটি এপিআই স্তর সহ সম্পূর্ণরূপে পরিচালিত মডেল হোস্টিং সমাধান প্রদান করে; শেষ পয়েন্টগুলি পেলোড হিসাবে মডেল ইনপুট নেয় এবং পূর্বাভাস ফেরত দেয়। যেহেতু লেটেন্সিও শেষ ব্যবহারকারীদের জন্য একটি গুরুত্বপূর্ণ ফ্যাক্টর যারা আপডেট করা ভবিষ্যদ্বাণী পাওয়ার আগে বেশিক্ষণ অপেক্ষা করতে চায় না, ইয়ারা সেজমেকার রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট বেছে নিয়েছে, যেগুলো খুব কম লেটেন্সি প্রয়োজনীয়তা সহ কাজের চাপের জন্য বিশেষভাবে উপযুক্ত। পরিশেষে, যেহেতু আপডেট হওয়া মডেলগুলি মোতায়েন করার সময় ELC অ্যাপ্লিকেশনের ডাউনটাইম থাকতে পারে না, এটি সেজমেকার রিয়েল-টাইম এন্ডপয়েন্টগুলির নীল/সবুজ স্থাপন ক্ষমতার উপর নির্ভর করে যাতে নতুন সংস্করণ স্থাপন না হওয়া পর্যন্ত পুরানো মডেল সংস্করণটি ভবিষ্যদ্বাণী পরিবেশন করতে থাকে। .

নিম্নলিখিত চিত্রটি স্থাপনা এবং পর্যবেক্ষণ সেটআপ চিত্রিত করে।

মডেল পর্যবেক্ষণের জন্য, ইয়ারা সেজমেকার চালায় উপাত্ত গুণমান, মডেল গুণমান, এবং মডেল ব্যাখ্যাযোগ্যতা পর্যবেক্ষণ ডেটা গুণমান পর্যবেক্ষণ ধারাবাহিকতার জন্য পরীক্ষা করে এবং ডেটা বিতরণ পরিসংখ্যান তৈরি করে। মডেলের গুণমান পর্যবেক্ষণ মডেলের কার্যকারিতা পরীক্ষা করে এবং প্রশিক্ষণ মেট্রিক্সের সাথে মডেলের যথার্থতার তুলনা করে. প্রতি ঘণ্টায় মডেল পর্যবেক্ষণ প্রতিবেদন তৈরি করা হয়। এই প্রতিবেদনগুলি উত্পাদনে মডেলের কার্যকারিতা নিরীক্ষণ করতে ব্যবহৃত হয়। একটি ভবিষ্যদ্বাণীতে কোন বৈশিষ্ট্যগুলি সবচেয়ে বেশি অবদান রাখে তা বোঝার জন্য মডেল ব্যাখ্যাযোগ্যতা পর্যবেক্ষণ ব্যবহার করা হয়।

মডেল ব্যাখ্যাযোগ্যতার এই ফলাফলগুলি ইএলসি ড্যাশবোর্ডে শেয়ার করা হয়েছে যাতে প্ল্যান্ট অপারেটরদের শক্তির খরচ চালানোর বিষয়ে আরও প্রসঙ্গ সরবরাহ করা হয়। শক্তি খরচ সর্বোত্তম বিন্দু থেকে বিচ্যুত হলে এটি অভ্যন্তরীণ প্রক্রিয়া সামঞ্জস্য করার জন্য ক্রিয়া নির্ধারণকেও সমর্থন করে।

সিআই/সিডি প্রবাহ

প্রশিক্ষণ পাইপলাইনের জন্য CI/CD প্রবাহ DEV অ্যাকাউন্টে শুরু হয়। ইয়ারা একটি বৈশিষ্ট্য-ভিত্তিক উন্নয়ন মডেল অনুসরণ করে এবং যখন একটি নতুন বৈশিষ্ট্য তৈরি করা হয়, তখন বৈশিষ্ট্য শাখাটি ট্রাঙ্কে একীভূত হয়, যা স্থাপনা শুরু করে। ELC মডেলগুলিকে DEV অ্যাকাউন্টে প্রশিক্ষিত করা হয় এবং মডেলটি প্রশিক্ষিত এবং মূল্যায়ন করার পরে, এটি মডেল রেজিস্ট্রিতে নিবন্ধিত হয়। একজন মডেল অনুমোদনকারী মডেল স্ট্যাটাস আপডেট করার আগে বিজ্ঞতা পরীক্ষা করে অনুমোদিত. এই ক্রিয়াটি একটি ইভেন্ট তৈরি করে যা মডেল ইনফারেন্স পাইপলাইনের স্থাপনাকে ট্রিগার করে। মডেল ইনফারেন্স পাইপলাইন নতুন মডেল সংস্করণটিকে DEV-তে একটি সেজমেকার এন্ডপয়েন্টে স্থাপন করে।

এন্ডপয়েন্ট স্থাপনের পর, সেটআপের আচরণ পরীক্ষা করার জন্য পরীক্ষা শুরু হয়। পরীক্ষার জন্য, ইয়ারা ব্যবহার করে কোডবিল্ড পরীক্ষার রিপোর্ট. এই বৈশিষ্ট্যটি ডেভেলপারদের ইউনিট পরীক্ষা, কনফিগারেশন পরীক্ষা এবং কার্যকরী পরীক্ষা প্রি- এবং পোস্ট-ডিপ্লয়মেন্ট চালানোর অনুমতি দেয়। এই ক্ষেত্রে, ইয়ারা সেজমেকার এন্ডপয়েন্টে টেস্ট পেলোড পাস করে এবং প্রতিক্রিয়া মূল্যায়ন করে কার্যকরী পরীক্ষা চালায়। এই পরীক্ষাগুলি পাস করার পরে, পাইপলাইন SageMaker শেষ পয়েন্টগুলি TEST-এ স্থাপন করতে এগিয়ে যায়। ELC ব্যাকএন্ডটি TEST-এও স্থাপন করা হয়েছে, যা এই পরিবেশে অ্যাপের জন্য শেষ থেকে শেষ পরীক্ষা করা সম্ভব করে তোলে। উপরন্তু, ইয়ারা TEST-এ ব্যবহারকারী-গ্রহণযোগ্যতা পরীক্ষা চালায়। TEST থেকে PROD স্থাপনার ট্রিগার হল একটি ম্যানুয়াল অনুমোদনের ক্রিয়া। নতুন মডেল সংস্করণ TEST-এ কার্যকরী এবং ব্যবহারকারীর গ্রহণযোগ্যতা উভয় পরীক্ষায় উত্তীর্ণ হওয়ার পরে, প্রকৌশল দল PROD-এ মডেল স্থাপনার অনুমোদন দেয়।

নিম্নলিখিত চিত্রটি এই কর্মপ্রবাহকে চিত্রিত করে।

সাধারণ উপাদান

ELC-এর জন্য, আমরা বেশ কিছু উপাদান ব্যবহার করি যেগুলি সকল স্থাপনার পর্যায়ে (DEV, TEST, PROD) এবং মডেলগুলির জন্য সাধারণ। এই উপাদানগুলি আমাদের স্থাপনার অ্যাকাউন্টে থাকে এবং এতে মডেল সংস্করণ নিয়ন্ত্রণ, একটি ধারক চিত্র সংগ্রহস্থল, একটি এনক্রিপশন কী এবং সাধারণ শিল্পকর্মগুলি সংরক্ষণ করার জন্য একটি বালতি অন্তর্ভুক্ত থাকে।

সাধারণ নিদর্শন ব্যবহার করার বিভিন্ন সুবিধা রয়েছে। উদাহরণস্বরূপ, প্রতিটি অ্যাকাউন্টের জন্য সংস্থানগুলি তৈরি করতে হবে না, যা অ্যাকাউন্টগুলির মধ্যে সামঞ্জস্যতা প্রয়োগ করে৷ তার মানে আমরা একবার কন্টেইনার ইমেজ তৈরি করি এবং সেগুলিকে সমস্ত টার্গেট অ্যাকাউন্টে পুনঃব্যবহার করি, বিল্ড টাইম কমিয়ে।

এই পাইপলাইনটি স্থাপনার অ্যাকাউন্টে একটি সাধারণ মডেল রেজিস্ট্রিতে বিভিন্ন মডেল সংস্করণ সংরক্ষণ করে। এই কেন্দ্রীয় অবস্থান থেকে, মডেলগুলি স্থানান্তর না করেই সমস্ত অ্যাকাউন্টে স্থাপন করা যেতে পারে৷ একইভাবে, একটি কেন্দ্রীয়ভাবে সংরক্ষিত এনক্রিপশন কী ব্যবহার কী এবং ক্রস-অ্যাকাউন্ট অনুমতিগুলি পরিচালনা করা সহজ করে তোলে।

সাধারণ নিদর্শন ব্যবহার করার একটি অসুবিধা হল যে একটি নতুন ব্যবহারের ক্ষেত্রে অনবোর্ডিং ধাপ আরও বিস্তৃত হতে পারে। একটি নতুন ব্যবহারের ক্ষেত্রে, একটি নতুন মডেল রেজিস্ট্রি তৈরি করতে হবে এবং প্রয়োজন হলে একটি নতুন ধারক চিত্র সংগ্রহস্থল তৈরি করতে হবে৷ এছাড়াও আমরা একটি নতুন এনক্রিপশন কী তৈরি করার পরামর্শ দিই যাতে রিসোর্স এবং সংরক্ষিত ডেটা কঠোরভাবে আলাদা করা যায়।

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে ইয়ারা সেজমেকার এবং এডিএফ ব্যবহার করে একটি উচ্চ মাপযোগ্য MLOps প্ল্যাটফর্ম তৈরি করেছে। ML একটি ক্রস-ফাংশনাল ক্ষমতা, এবং দলগুলি বিভিন্ন ব্যবসায়িক ইউনিট অ্যাকাউন্টে মডেল স্থাপন করে। তাই, ADF, যা সংস্থাগুলির সাথে স্থানীয় একীকরণের প্রস্তাব দেয়, এটি CI/CD পাইপলাইন সেট আপ করার জন্য অ্যাকাউন্ট বুটস্ট্র্যাপ করার জন্য একটি আদর্শ প্রার্থী করে তোলে। কার্যক্ষমভাবে, ADF পাইপলাইনগুলি কেন্দ্রীয় স্থাপনার অ্যাকাউন্টে চলে, যা স্থাপনার সামগ্রিক স্বাস্থ্যের দৃষ্টিভঙ্গি পেতে সহজ করে তোলে। অবশেষে, ADF AWS পরিচালিত পরিষেবাগুলি যেমন CodeBuild, CodeDeploy, CodePipeline, এবং CloudFormation ব্যবহার করে, এটি কনফিগার এবং বজায় রাখা সহজ করে তোলে।

SageMaker ML ক্ষমতার একটি বিস্তৃত বর্ণালী প্রদান করে, যা টিমগুলিকে ব্যবসায়িক সমস্যা সমাধানে আরও বেশি ফোকাস করতে এবং অবকাঠামো নির্মাণ ও রক্ষণাবেক্ষণে কম মনোযোগ দিতে সক্ষম করে। অতিরিক্তভাবে, সেজমেকার পাইপলাইনগুলি এমএল ওয়ার্কফ্লোগুলি তৈরি, আপডেট এবং স্থাপন করার জন্য এপিআইগুলির একটি সমৃদ্ধ সেট সরবরাহ করে, এটি এমএলওপের জন্য একটি দুর্দান্ত উপযুক্ত করে তোলে।

অবশেষে, MLOps নির্ভরযোগ্যভাবে এবং দক্ষতার সাথে উৎপাদনে ML মডেল স্থাপন ও বজায় রাখার জন্য সর্বোত্তম অনুশীলন প্রদান করে। যে দলগুলি MLOps বাস্তবায়নের জন্য স্কেলে ML সমাধান তৈরি করে এবং স্থাপন করে তাদের জন্য এটি গুরুত্বপূর্ণ। ইয়ারার ক্ষেত্রে, MLOps উল্লেখযোগ্যভাবে একটি নতুন প্ল্যান্টের জন্য প্রয়োজনীয় প্রচেষ্টাকে হ্রাস করে, ELC-তে আপডেটগুলি রোল আউট করে এবং মডেলগুলিকে গুণমানের জন্য পর্যবেক্ষণ করা হয় তা নিশ্চিত করে৷

ADF ব্যবহার করে অ্যাপ্লিকেশনগুলি কীভাবে স্থাপন করবেন সে সম্পর্কে আরও তথ্যের জন্য, দেখুন উদাহরণ.

---

লেখক সম্পর্কে

শাহির মনসুর AWS-এর একজন ডেটা সায়েন্টিস্ট। তার ফোকাস মেশিন লার্নিং প্ল্যাটফর্ম তৈরি করা যা স্কেলে AI সমাধানগুলি হোস্ট করতে পারে। তার আগ্রহের ক্ষেত্র হল MLOps, ফিচার স্টোর, মডেল হোস্টিং এবং মডেল মনিটরিং।

টিম বেকার ইয়ারা ইন্টারন্যাশনালের একজন সিনিয়র ডেটা সায়েন্টিস্ট। ডিজিটাল উত্পাদনের মধ্যে, তার ফোকাস অ্যামোনিয়া এবং নাইট্রিক অ্যাসিড উত্পাদন প্রক্রিয়া অপ্টিমাইজেশনের উপর। তিনি থার্মোডাইনামিক্সে পিএইচডি করেছেন এবং প্রসেস ইঞ্জিনিয়ারিং এবং মেশিন লার্নিংকে একত্রিত করার বিষয়ে উত্সাহী।

ইয়ংয়োস কাউপিটাক্কুন ইয়ারা ইন্টারন্যাশনালের ডিজিটাল প্রোডাকশন দলের একজন সিনিয়র ডেটা সায়েন্টিস্ট। তিনি এআই/মেশিন লার্নিং-এ পিএইচডি করেছেন এবং চ্যালেঞ্জিং ব্যবসায়িক সমস্যা সমাধানের জন্য মেশিন লার্নিং, কম্পিউটার ভিশন এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ মডেলগুলিকে কাজে লাগানোর বহু বছরের অভিজ্ঞতা রয়েছে৷