Amazon SageMaker Edge Manager এবং AWS IoT Greengrass-এর সাথে প্রান্তে MLOps

ইন্টারনেট অফ থিংস (IoT) একাধিক শিল্পে গ্রাহকদের সক্ষম করেছে, যেমন উত্পাদন, স্বয়ংচালিত এবং শক্তি, বাস্তব-বিশ্বের পরিবেশগুলি নিরীক্ষণ ও নিয়ন্ত্রণ করতে। ক্যামেরা, থার্মোস্ট্যাট এবং সেন্সরের মতো বিভিন্ন প্রান্তের IoT ডিভাইস স্থাপন করে, আপনি ডেটা সংগ্রহ করতে পারেন, ক্লাউডে পাঠাতে পারেন এবং অসঙ্গতি, ব্যর্থতা এবং আরও অনেক কিছুর পূর্বাভাস দিতে মেশিন লার্নিং (ML) মডেল তৈরি করতে পারেন। যাইহোক, যদি ব্যবহারের ক্ষেত্রে রিয়েল-টাইম ভবিষ্যদ্বাণীর প্রয়োজন হয়, তাহলে আপনাকে আপনার IoT সমাধানটি ML-এ প্রান্ত (ML@Edge) ক্ষমতার সাথে সমৃদ্ধ করতে হবে। ML@Edge এটি একটি ধারণা যা অ্যাপ লাইফসাইকেল থেকে ML মডেলের লাইফসাইকেলকে ডিকপল করে এবং আপনাকে একটি এন্ড-টু-এন্ড ML পাইপলাইন চালানোর অনুমতি দেয় যার মধ্যে ডেটা প্রস্তুতি, মডেল বিল্ডিং, মডেল সংকলন এবং অপ্টিমাইজেশান, মডেল স্থাপন (এজ ডিভাইসগুলির একটি বহরে) অন্তর্ভুক্ত রয়েছে। মডেল নির্বাহ, এবং মডেল পর্যবেক্ষণ এবং পরিচালনা। আপনি একবার অ্যাপটি স্থাপন করুন এবং যতবার প্রয়োজন ততবার ML পাইপলাইন চালান।

আপনি যেমন কল্পনা করতে পারেন, ML@Edge ধারণা দ্বারা প্রস্তাবিত সমস্ত পদক্ষেপ বাস্তবায়ন করা তুচ্ছ নয়। একটি সম্পূর্ণ ML@Edge সমাধান বাস্তবায়নের জন্য বিকাশকারীদের সমাধান করতে হবে এমন অনেক প্রশ্ন রয়েছে, উদাহরণস্বরূপ:

• প্রান্তে থাকা একটি ফ্লিট (শত, হাজার বা লক্ষ লক্ষ) ডিভাইসে আমি কীভাবে এমএল মডেলগুলি পরিচালনা করব?
• প্রান্তে স্থাপন এবং চালানোর সময় আমি কীভাবে আমার মডেলটিকে সুরক্ষিত করব?
• আমি কীভাবে আমার মডেলের কর্মক্ষমতা নিরীক্ষণ করব এবং প্রয়োজন হলে এটিকে পুনরায় প্রশিক্ষণ দেব?

এই পোস্টে, আপনি শিখবেন কীভাবে এই সমস্ত প্রশ্নের উত্তর দিতে হয় এবং আপনার ML@Edge পাইপলাইন স্বয়ংক্রিয় করার জন্য একটি শেষ থেকে শেষ সমাধান তৈরি করতে হয়। আপনি কিভাবে ব্যবহার করতে হবে দেখতে পাবেন আমাজন সেজমেকার এজ ম্যানেজার, অ্যামাজন সেজমেকার স্টুডিও, এবং AWS IoT গ্রীনগ্রাস v2 একটি MLOps (ML Operations) পরিবেশ তৈরি করতে যা ML মডেলগুলি তৈরি এবং মোতায়েন করার প্রক্রিয়াকে এজ ডিভাইসের বড় বহরগুলিতে স্বয়ংক্রিয় করে।

পরবর্তী বিভাগগুলিতে, আমরা একটি রেফারেন্স আর্কিটেকচার উপস্থাপন করি যা প্রান্তের কাজের চাপের উপর দৃষ্টি নিবদ্ধ MLOps-এর জন্য একটি সম্পূর্ণ সমাধান তৈরি করতে প্রয়োজনীয় সমস্ত উপাদান এবং কর্মপ্রবাহের বিবরণ দেয়। তারপরে আমরা একটি নতুন মডেল তৈরি এবং প্রস্তুত করার জন্য এই সমাধানটি স্বয়ংক্রিয়ভাবে চালিত পদক্ষেপগুলির গভীরে ডুব দিই। আমরা আপনাকে দেখাই যে কীভাবে এমএল মডেলগুলি স্থাপন, চালানো এবং নিরীক্ষণ শুরু করতে প্রান্ত ডিভাইসগুলি প্রস্তুত করতে হয় এবং আপনার ডিভাইসগুলির বহরে স্থাপন করা এমএল মডেলগুলি কীভাবে নিরীক্ষণ ও বজায় রাখতে হয় তা প্রদর্শন করি৷

সমাধান ওভারভিউ

মজবুত ML মডেলের উৎপাদনের জন্য নির্দিষ্ট ক্রিয়াকলাপ (MLOps) অনুসরণ করে একটি আধা-স্বয়ংক্রিয় অবকাঠামোর অধীনে একাধিক ব্যক্তি, যেমন ডেটা বিজ্ঞানী, এমএল ইঞ্জিনিয়ার, ডেটা ইঞ্জিনিয়ার এবং ব্যবসায়িক স্টেকহোল্ডারদের সহযোগিতা প্রয়োজন। এছাড়াও, পরিবেশের মডুলারাইজেশন গুরুত্বপূর্ণ এই সমস্ত ভিন্ন ব্যক্তিকে নমনীয়তা এবং তত্পরতা দেওয়ার জন্য (কর্মপ্রবাহ থেকে স্বাধীনভাবে) যে উপাদানটির জন্য তারা দায়ী তা বিকাশ বা উন্নত করার জন্য। এই ধরনের অবকাঠামোর একটি উদাহরণ একাধিক AWS অ্যাকাউন্ট নিয়ে গঠিত যা ক্লাউড এবং প্রান্ত ডিভাইস উভয় ক্ষেত্রেই এমএল মডেলের এই সহযোগিতা এবং উৎপাদন সক্ষম করে। নিম্নলিখিত রেফারেন্স আর্কিটেকচারে, আমরা দেখাই যে আমরা একাধিক অ্যাকাউন্ট এবং পরিষেবাগুলিকে কীভাবে সংগঠিত করেছি যেগুলি ML মডেলগুলি তৈরি এবং প্রান্তে স্থাপন করার জন্য এই এন্ড-টু-এন্ড MLOps প্ল্যাটফর্ম রচনা করে।

এই সমাধানটি নিম্নলিখিত অ্যাকাউন্টগুলি নিয়ে গঠিত:

• ডাটা লেক অ্যাকাউন্ট - ডেটা ইঞ্জিনিয়াররা অন-প্রিমিস ডেটাবেস এবং IoT ডিভাইস সহ একাধিক ডেটা উত্স থেকে ডেটা গ্রহণ করে, সঞ্চয় করে এবং প্রস্তুত করে৷
• টুলিং অ্যাকাউন্ট – আইটি অপারেটররা রিমোট এজ ডিভাইসগুলির জন্য প্রাক-প্রোডাকশন এবং প্রোডাকশন অ্যাকাউন্ট জুড়ে স্বয়ংক্রিয় ক্রমাগত ডেলিভারি এবং এমএল মডেল প্যাকেজ স্থাপনের জন্য CI/CD পাইপলাইনগুলি পরিচালনা করে এবং পরীক্ষা করে। CI/CD পাইপলাইনগুলির রানগুলি ব্যবহারের মাধ্যমে স্বয়ংক্রিয় হয় অ্যামাজন ইভেন্টব্রিজ, যা ML মডেল এবং লক্ষ্যগুলির পরিবর্তনের অবস্থা ইভেন্টগুলি নিরীক্ষণ করে AWS কোড পাইপলাইন.
• পরীক্ষা এবং উন্নয়ন অ্যাকাউন্ট - ডেটা বিজ্ঞানীরা ML-এর উপর ভিত্তি করে ব্যবসায়িক সমস্যাগুলি সমাধান করতে, ধারণা সমাধানের প্রমাণ তৈরি করতে একাধিক মডেলিং কৌশল এবং অ্যালগরিদমগুলির সাথে গবেষণা এবং পরীক্ষা পরিচালনা করতে পারেন। এমএল ইঞ্জিনিয়ার এবং ডেটা বিজ্ঞানীরা ধারণার প্রমাণ স্কেল করতে সহযোগিতা করে, ব্যবহার করে স্বয়ংক্রিয় কর্মপ্রবাহ তৈরি করে অ্যামাজন সেজমেকার পাইপলাইন ডেটা প্রস্তুত করতে এবং এমএল মডেল তৈরি, ট্রেন এবং প্যাকেজ করতে। পাইপলাইনগুলির স্থাপনা CI/CD পাইপলাইনের মাধ্যমে চালিত হয়, যখন মডেলগুলির সংস্করণ নিয়ন্ত্রণ ব্যবহার করে অর্জন করা হয় অ্যামাজন সেজমেকার মডেল রেজিস্ট্রি. ডেটা বিজ্ঞানীরা একাধিক মডেল সংস্করণের মেট্রিক্স মূল্যায়ন করেন এবং CI/CD পাইপলাইন ট্রিগার করে উৎপাদনে সেরা মডেলের প্রচারের অনুরোধ করেন।
• প্রি-প্রোডাকশন অ্যাকাউন্ট - মডেলটিকে উত্পাদন পরিবেশে প্রচার করার আগে, একটি সিমুলেশন পরিবেশে দৃঢ়তা নিশ্চিত করার জন্য মডেলটিকে পরীক্ষা করা দরকার। অতএব, প্রি-প্রোডাকশন এনভায়রনমেন্ট হল প্রোডাকশন এনভায়রনমেন্টের একটি সিমুলেটর, যেখানে সেজমেকার মডেল এন্ডপয়েন্টগুলি স্বয়ংক্রিয়ভাবে স্থাপন করা হয় এবং পরীক্ষা করা হয়। পরীক্ষার পদ্ধতিগুলির মধ্যে একটি ইন্টিগ্রেশন পরীক্ষা, স্ট্রেস পরীক্ষা, বা অনুমান ফলাফলের উপর এমএল-নির্দিষ্ট পরীক্ষা অন্তর্ভুক্ত থাকতে পারে। এই ক্ষেত্রে, উত্পাদন পরিবেশটি সেজমেকার মডেলের শেষ পয়েন্ট নয় বরং একটি প্রান্ত ডিভাইস। প্রি-প্রোডাকশনে একটি প্রান্ত ডিভাইস অনুকরণ করতে, দুটি পন্থা সম্ভব: একটি ব্যবহার করুন অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) একই হার্ডওয়্যার বৈশিষ্ট্য সহ উদাহরণ, বা প্রকৃত ডিভাইস সমন্বিত একটি ইন-ল্যাব টেস্টবেড ব্যবহার করুন। এই অবকাঠামোর সাহায্যে, CI/CD পাইপলাইন মডেলটিকে সংশ্লিষ্ট সিমুলেটরে স্থাপন করে এবং স্বয়ংক্রিয়ভাবে একাধিক পরীক্ষা পরিচালনা করে। পরীক্ষাগুলি সফলভাবে চালানোর পরে, CI/CD পাইপলাইনের জন্য ম্যানুয়াল অনুমোদনের প্রয়োজন হয় (উদাহরণস্বরূপ, IoT স্টেকহোল্ডার থেকে মডেলটিকে উৎপাদনে উন্নীত করার জন্য)।
• উত্পাদন অ্যাকাউন্ট – AWS ক্লাউডে মডেল হোস্ট করার ক্ষেত্রে, CI/CD পাইপলাইন প্রোডাকশন অ্যাকাউন্টে একটি SageMaker মডেল এন্ডপয়েন্ট স্থাপন করে। এই ক্ষেত্রে, উৎপাদন পরিবেশে একাধিক ফ্লিট এজ ডিভাইস থাকে। অতএব, CI/CD পাইপলাইন ডিভাইসের সংশ্লিষ্ট বহরে মডেলগুলি স্থাপন করতে এজ ম্যানেজার ব্যবহার করে।
• এজ ডিভাইস - রিমোট এজ ডিভাইস হল হার্ডওয়্যার ডিভাইস যা এজ ম্যানেজার ব্যবহার করে এমএল মডেল চালাতে পারে। এটি সেই ডিভাইসগুলিতে অ্যাপ্লিকেশনটিকে মডেলগুলি পরিচালনা করতে, মডেলগুলির বিরুদ্ধে অনুমান চালাতে এবং নিরাপদে ডেটা ক্যাপচার করতে দেয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)।

সেজমেকার প্রকল্প এই প্রতিটি অ্যাকাউন্টের মধ্যে সংস্থান সরবরাহের প্রক্রিয়া স্বয়ংক্রিয় করতে আপনাকে সাহায্য করে। আমরা এই বৈশিষ্ট্যটির গভীরে ডুব দিই না, তবে কীভাবে একটি সেজমেকার প্রজেক্ট টেমপ্লেট তৈরি করা যায় সে সম্পর্কে আরও জানতে যা অ্যাকাউন্ট জুড়ে এমএল মডেলগুলি স্থাপন করে, চেক আউট করুন অ্যামাজন সেজমেকার পাইপলাইনগুলির সাথে মাল্টি-অ্যাকাউন্ট মডেল স্থাপনা৷.

প্রি-প্রোডাকশন অ্যাকাউন্ট: ডিজিটাল টুইন

প্রশিক্ষণ প্রক্রিয়ার পরে, ফলাফল মডেল মূল্যায়ন করা প্রয়োজন। প্রি-প্রোডাকশন অ্যাকাউন্টে, আপনার কাছে একটি সিমুলেটেড এজ ডিভাইস আছে। এটা প্রতিনিধিত্ব করে ডিজিটাল যমজ প্রান্ত ডিভাইসের যেটিতে ML মডেলটি উৎপাদনে চলে। এই পরিবেশের দ্বৈত উদ্দেশ্য রয়েছে ক্লাসিক পরীক্ষা (যেমন ইউনিট, ইন্টিগ্রেশন এবং স্মোক) করা এবং উন্নয়ন দলের জন্য খেলার মাঠ হওয়া। এই ডিভাইসটি একটি EC2 উদাহরণ ব্যবহার করে সিমুলেট করা হয়েছে যেখানে ML মডেল পরিচালনা করার জন্য প্রয়োজনীয় সমস্ত উপাদান স্থাপন করা হয়েছিল।

জড়িত পরিষেবাগুলি নিম্নরূপ:

• এডাব্লুএস আইওটি কোর - আমরা ব্যাবহার করি এডাব্লুএস আইওটি কোর AWS IoT জিনিস বস্তু তৈরি করতে, একটি ডিভাইস ফ্লিট তৈরি করুন, ডিভাইস ফ্লিট নিবন্ধন করুন যাতে এটি ক্লাউডের সাথে যোগাযোগ করতে পারে, এজ ডিভাইসগুলিকে AWS IoT কোরে প্রমাণীকরণ করতে X.509 শংসাপত্র তৈরি করুন, AWS IoT কোরের সাথে ভূমিকা উপনাম যুক্ত করুন যেটি তৈরি হয়েছিল যখন বহর তৈরি করেছে, শংসাপত্র প্রদানকারীর জন্য একটি AWS অ্যাকাউন্ট-নির্দিষ্ট শেষ পয়েন্ট পান, একটি অফিসিয়াল Amazon Root CA ফাইল পান এবং Amazon CA ফাইলটি Amazon S3 এ আপলোড করুন৷
• আমাজন সেজমেকার নিও - সেজমেকার নিও নির্ভুলতার কোন ক্ষতি ছাড়াই দ্রুত চালানোর জন্য অনুমানের জন্য মেশিন লার্নিং মডেলগুলিকে স্বয়ংক্রিয়ভাবে অপ্টিমাইজ করে। এটি ইতিমধ্যেই DarkNet, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite, ONNX, বা XGBoost সহ নির্মিত মেশিন লার্নিং মডেলকে সমর্থন করে এবং Amazon SageMaker বা অন্য কোথাও প্রশিক্ষিত। তারপরে আপনি আপনার টার্গেট হার্ডওয়্যার প্ল্যাটফর্ম বেছে নিন, যা একটি সেজমেকার হোস্টিং উদাহরণ বা Ambarella, Apple, ARM, Intel, MediaTek, Nvidia, NXP, Qualcomm, RockChip, Texas Instruments, বা Xilinx-এর প্রসেসরের উপর ভিত্তি করে একটি প্রান্ত ডিভাইস হতে পারে।
• এজ ম্যানেজার - আমরা সেজমেকার ফ্লিটের মধ্যে এজ ডিভাইস নিবন্ধন ও পরিচালনা করতে এজ ম্যানেজার ব্যবহার করি। ফ্লিট হল যৌক্তিকভাবে গোষ্ঠীবদ্ধ ডিভাইসগুলির সংগ্রহ যা আপনি ডেটা সংগ্রহ এবং বিশ্লেষণ করতে ব্যবহার করতে পারেন। এছাড়াও, এজ ম্যানেজার প্যাকেজার, অপ্টিমাইজ করা মডেল প্যাকেজ করে এবং একটি AWS IoT Greengrass V2 উপাদান তৈরি করে যা সরাসরি স্থাপন করা যেতে পারে। আপনি স্মার্ট ক্যামেরা, স্মার্ট স্পিকার, রোবট এবং অন্যান্য সেজমেকার ডিভাইসের বহরে এমএল মডেলগুলি পরিচালনা করতে এজ ম্যানেজার ব্যবহার করতে পারেন।
• AWS IoT গ্রীনগ্রাস V2 - এডাব্লুএস আইওটি গ্রিনগ্রাস একটি EC2 দৃষ্টান্ত ব্যবহার করে সিমুলেটেড ডিভাইসে উপাদান স্থাপন করার অনুমতি দেয়। EC2 দৃষ্টান্তে AWS IoT Greengrass V2 এজেন্ট ব্যবহার করে, আমরা এজ ম্যানেজার এজেন্টের অ্যাক্সেস, ব্যবস্থাপনা এবং স্থাপনা এবং ডিভাইসের মডেলকে সহজ করতে পারি। AWS IoT Greengrass V2 ছাড়া, এজ ম্যানেজার ব্যবহার করার জন্য ডিভাইস এবং ফ্লিট সেট আপ করার জন্য আপনাকে S3 রিলিজ বালতি থেকে এজেন্টটিকে ম্যানুয়ালি কপি করতে হবে। AWS IoT Greengrass V2 এবং Edge Manager ইন্টিগ্রেশন সহ, AWS IoT Greengrass V2 উপাদানগুলি ব্যবহার করা সম্ভব৷ উপাদানগুলি হল পূর্ব-নির্মিত সফ্টওয়্যার মডিউল যা প্রান্ত ডিভাইসগুলিকে AWS পরিষেবা বা তৃতীয় পক্ষের পরিষেবাগুলির সাথে AWS IoT Greengrass এর মাধ্যমে সংযুক্ত করতে পারে৷
• এজ ম্যানেজার এজেন্ট – এজ ম্যানেজার এজেন্টকে EC2 দৃষ্টান্তে AWS IoT Greengrass V2 এর মাধ্যমে মোতায়েন করা হয়েছে। এজেন্ট এক সময়ে একাধিক মডেল লোড করতে পারে এবং প্রান্ত ডিভাইসে লোড করা মডেলের সাথে অনুমান করতে পারে। এজেন্ট কতগুলি মডেল লোড করতে পারে তা ডিভাইসে উপলব্ধ মেমরি দ্বারা নির্ধারিত হয়।
• আমাজন S3 - আমরা এজ ম্যানেজার এজেন্ট থেকে অনুমান ক্যাপচার করা ডেটা সংরক্ষণ করতে একটি S3 বালতি ব্যবহার করি।

আমরা বাস্তব প্রান্ত ডিভাইসে স্থানান্তর করার আগে এমএল মডেলগুলি পরীক্ষা করার জন্য একটি প্রাক-প্রোডাকশন অ্যাকাউন্টকে ডিজিটাল টুইন হিসাবে সংজ্ঞায়িত করতে পারি। এটি নিম্নলিখিত সুবিধাগুলি অফার করে:

• তত্পরতা এবং নমনীয়তা - ML মডেল এবং সংশ্লিষ্ট স্ক্রিপ্টগুলি (প্রিপ্রসেসিং এবং ইনফারেন্স স্ক্রিপ্ট) ডিভাইসের প্রান্তে কাজ করবে কিনা ডেটা বিজ্ঞানী এবং এমএল ইঞ্জিনিয়ারদের দ্রুত যাচাই করতে হবে। যাইহোক, বড় উদ্যোগে IoT এবং ডেটা সায়েন্স বিভাগগুলি বিভিন্ন সত্তা হতে পারে। একইভাবে ক্লাউডে প্রযুক্তির স্ট্যাকের প্রতিলিপি করে, ডেটা বিজ্ঞানী এবং এমএল প্রকৌশলীরা স্থাপনার আগে নিদর্শনগুলিকে পুনরাবৃত্তি এবং একীভূত করতে পারে।
• ত্বরান্বিত ঝুঁকি মূল্যায়ন এবং উত্পাদন সময় - প্রান্ত ডিভাইসে স্থাপন প্রক্রিয়ার চূড়ান্ত পর্যায়। আপনি একটি বিচ্ছিন্ন এবং স্বয়ংসম্পূর্ণ পরিবেশে সবকিছু যাচাই করার পরে, গুণমান, কর্মক্ষমতা এবং একীকরণের ক্ষেত্রে প্রান্তের দ্বারা প্রয়োজনীয় বৈশিষ্ট্যগুলির অনুগামী হওয়ার জন্য এটিকে সুরক্ষিত করুন। এটি আর্টিফ্যাক্ট সংস্করণগুলিকে ঠিক করতে এবং পুনরাবৃত্তি করতে IoT বিভাগের অন্যান্য ব্যক্তিদের আরও জড়িত হওয়া এড়াতে সহায়তা করে।
• উন্নত দলের সহযোগিতা এবং উন্নত গুণমান এবং কর্মক্ষমতা - ডেভেলপমেন্ট টিম অবিলম্বে প্রান্ত হার্ডওয়্যার মেট্রিক্স বিশ্লেষণ করে এবং তৃতীয় পক্ষের সরঞ্জামগুলির সাথে ইন্টারঅ্যাকশনের স্তর পরিমাপ করে (যেমন I/O হার) ML মডেলের প্রভাব মূল্যায়ন করতে পারে। তারপরে, IoT টিম শুধুমাত্র উৎপাদন পরিবেশে স্থাপনার জন্য দায়ী, এবং আত্মবিশ্বাসী হতে পারে যে শিল্পকর্মগুলি উৎপাদন পরিবেশের জন্য সঠিক।
• পরীক্ষার জন্য সমন্বিত খেলার মাঠ - ML মডেলগুলির লক্ষ্যমাত্রা দেওয়া, একটি প্রথাগত কর্মপ্রবাহে প্রাক-উৎপাদন পরিবেশকে ক্লাউড পরিবেশের বাইরে একটি প্রান্ত ডিভাইস দ্বারা প্রতিনিধিত্ব করা উচিত। এটি জটিলতার আরেকটি স্তরের পরিচয় দেয়। মেট্রিক্স এবং প্রতিক্রিয়া সংগ্রহ করতে ইন্টিগ্রেশন প্রয়োজন। পরিবর্তে, ডিজিটাল টুইন সিমুলেটেড পরিবেশ ব্যবহার করে, মিথস্ক্রিয়া হ্রাস করা হয় এবং বাজারের সময় সংক্ষিপ্ত করা হয়।

উত্পাদন অ্যাকাউন্ট এবং প্রান্ত পরিবেশ

পরীক্ষাগুলি সম্পূর্ণ হওয়ার পরে এবং আর্টিফ্যাক্ট স্থিতিশীলতা অর্জন করার পরে, আপনি পাইপলাইনের মাধ্যমে উত্পাদন স্থাপনে এগিয়ে যেতে পারেন। একটি অপারেটর আর্টিফ্যাক্ট অনুমোদন করার পরে আর্টিফ্যাক্ট স্থাপনা প্রোগ্রামগতভাবে ঘটে। যাইহোক, অ্যাক্সেস এডাব্লুএস ম্যানেজমেন্ট কনসোল ফ্লিটগুলির সাথে যুক্ত মেটাডেটা নিরীক্ষণ করতে সক্ষম হওয়ার জন্য শুধুমাত্র-পঠন মোডে অপারেটরদের মঞ্জুর করা হয় এবং সেইজন্য নিয়োজিত এমএল মডেলের সংস্করণ এবং জীবনচক্রের সাথে সম্পর্কিত অন্যান্য মেট্রিক্সের অন্তর্দৃষ্টি রয়েছে।

এজ ডিভাইস ফ্লিটগুলি AWS উত্পাদন অ্যাকাউন্টের অন্তর্গত। ক্লাউড এবং এজ ডিভাইসগুলির মধ্যে যোগাযোগের অনুমতি দেওয়ার জন্য এই অ্যাকাউন্টে নির্দিষ্ট নিরাপত্তা এবং নেটওয়ার্কিং কনফিগারেশন রয়েছে। প্রোডাকশন অ্যাকাউন্টে মোতায়েন করা প্রধান AWS পরিষেবাগুলি হল এজ ম্যানেজার, যেটি সমস্ত ডিভাইস ফ্লিট পরিচালনা, ডেটা সংগ্রহ এবং ML মডেলগুলি পরিচালনা করার জন্য দায়ী এবং AWS IoT Core, যা IoT জিনিস, শংসাপত্র, ভূমিকা উপনাম এবং শেষ পয়েন্টগুলি পরিচালনা করে৷

একই সময়ে, এমএল মডেলগুলি পরিচালনা করার জন্য আমাদের পরিষেবা এবং উপাদানগুলির সাথে একটি প্রান্ত ডিভাইস কনফিগার করতে হবে। প্রধান উপাদানগুলি নিম্নরূপ:

• AWS IoT গ্রীনগ্রাস V2
• একজন এজ ম্যানেজার এজেন্ট
• AWS IoT শংসাপত্র
• Application.py, যা অনুমান প্রক্রিয়াটি সাজানোর জন্য দায়ী (এজ ডেটা উত্স থেকে তথ্য পুনরুদ্ধার করা এবং এজ ম্যানেজার এজেন্ট এবং লোড করা এমএল মডেল ব্যবহার করে অনুমান সম্পাদন করা)
• আমাজন S3 এর সাথে একটি সংযোগ বা অনুমানকৃত ডেটা সঞ্চয় করার জন্য ডেটা লেক অ্যাকাউন্ট

স্বয়ংক্রিয় এমএল পাইপলাইন

এখন যেহেতু আপনি সংস্থা এবং রেফারেন্স আর্কিটেকচারের উপাদানগুলি সম্পর্কে আরও জানেন, আমরা ML পাইপলাইনের গভীরে যেতে পারি যা আমরা উন্নয়ন অ্যাকাউন্টের মধ্যে ML মডেল তৈরি, প্রশিক্ষণ এবং মূল্যায়ন করতে ব্যবহার করি।

একটি পাইপলাইন (ব্যবহার করে নির্মিত আমাজন সেজমেকার মডেল বিল্ডিং পাইপলাইন) হল আন্তঃসংযুক্ত পদক্ষেপগুলির একটি সিরিজ যা একটি JSON পাইপলাইন সংজ্ঞা দ্বারা সংজ্ঞায়িত করা হয়। এই পাইপলাইন সংজ্ঞা একটি নির্দেশিত অ্যাসাইক্লিক গ্রাফ (DAG) ব্যবহার করে একটি পাইপলাইনকে এনকোড করে। এই DAG আপনার পাইপলাইনের প্রতিটি ধাপের জন্য প্রয়োজনীয়তা এবং সম্পর্ক সম্পর্কে তথ্য দেয়। একটি পাইপলাইনের DAG এর গঠন ধাপের মধ্যে ডেটা নির্ভরতা দ্বারা নির্ধারিত হয়। এই ডেটা নির্ভরতাগুলি তৈরি হয় যখন একটি ধাপের আউটপুটের বৈশিষ্ট্যগুলি অন্য ধাপে ইনপুট হিসাবে পাস করা হয়।

ML মডেলগুলির নতুন সংস্করণগুলি সহজেই স্বয়ংক্রিয়ভাবে তৈরি করতে ডেটা সায়েন্স দলগুলিকে সক্ষম করতে, ML মডেলগুলিকে ক্রমাগত খাওয়ানো এবং উন্নত করার জন্য বৈধকরণের পদক্ষেপগুলি এবং স্বয়ংক্রিয় ডেটা প্রবর্তন করা গুরুত্বপূর্ণ, সেইসাথে পাইপলাইন ট্রিগারিং সক্ষম করার জন্য মডেল পর্যবেক্ষণ কৌশলগুলি। নিম্নলিখিত চিত্রটি একটি উদাহরণ পাইপলাইন দেখায়।

অটোমেশন এবং MLOps ক্ষমতা সক্ষম করার জন্য, পুনঃব্যবহারযোগ্য কোড আর্টিফ্যাক্ট তৈরি করার জন্য মডুলার উপাদান তৈরি করা গুরুত্বপূর্ণ যা বিভিন্ন ধাপ এবং ML ব্যবহারের ক্ষেত্রে ভাগ করা যায়। এটি আপনাকে দ্রুত রূপান্তর স্বয়ংক্রিয়ভাবে একটি পরীক্ষামূলক পর্যায়ে থেকে একটি উত্পাদন পর্যায়ে স্থানান্তর করতে সক্ষম করে।

ক্রমাগত প্রশিক্ষণ এবং ML মডেলগুলির সংস্করণ সক্ষম করার জন্য একটি ML পাইপলাইন সংজ্ঞায়িত করার পদক্ষেপগুলি নিম্নরূপ:

• প্রাক প্রসেসিং - এমএল অ্যালগরিদম প্রশিক্ষণের জন্য ডেটা পরিষ্কার, বৈশিষ্ট্য প্রকৌশল এবং ডেটাসেট তৈরির প্রক্রিয়া
• প্রশিক্ষণ - এমএল মডেল আর্টিফ্যাক্টের একটি নতুন সংস্করণ তৈরি করার জন্য উন্নত এমএল অ্যালগরিদম প্রশিক্ষণের প্রক্রিয়া
• মূল্যায়ন - প্রশিক্ষণ পর্বের সময় দেখা না যাওয়া নতুন ডেটাতে মডেল আচরণের সাথে সম্পর্কিত মূল মেট্রিক্স বের করার জন্য জেনারেট করা এমএল মডেলের মূল্যায়নের প্রক্রিয়া
• নিবন্ধন - উৎপন্ন আর্টিফ্যাক্টের সাথে এক্সট্র্যাক্ট করা মেট্রিক্স লিঙ্ক করে নতুন প্রশিক্ষিত এমএল মডেল আর্টিফ্যাক্টের সংস্করণ করার প্রক্রিয়া

আপনি নীচের একটি SageMaker পাইপলাইন কিভাবে নির্মাণ করতে আরও বিশদ দেখতে পারেন নোটবই.

ইভেন্টব্রিজ ব্যবহার করে CI/CD পাইপলাইন ট্রিগার করুন

আপনি মডেল নির্মাণ শেষ করার পরে, আপনি স্থাপন প্রক্রিয়া শুরু করতে পারেন। পূর্ববর্তী বিভাগে সংজ্ঞায়িত সেজমেকার পাইপলাইনের শেষ ধাপটি নির্দিষ্ট সেজমেকার মডেল রেজিস্ট্রি গ্রুপে মডেলের একটি নতুন সংস্করণ নিবন্ধন করে। এমএল মডেলের একটি নতুন সংস্করণের স্থাপনা মডেল রেজিস্ট্রি অবস্থা ব্যবহার করে পরিচালিত হয়। একটি ML মডেল সংস্করণকে ম্যানুয়ালি অনুমোদন বা প্রত্যাখ্যান করার মাধ্যমে, এই পদক্ষেপটি এমন একটি ইভেন্ট উত্থাপন করে যা ইভেন্টব্রিজ দ্বারা ক্যাপচার করা হয়। এই ইভেন্টটি তখন AWS IoT Greengrass কম্পোনেন্টের একটি নতুন সংস্করণ তৈরি করার জন্য একটি নতুন পাইপলাইন (এই সময় CI/CD) শুরু করতে পারে যা পরে প্রি-প্রোডাকশন এবং প্রোডাকশন অ্যাকাউন্টে স্থাপন করা হয়। নিম্নলিখিত স্ক্রিনশটটি আমাদের সংজ্ঞায়িত ইভেন্টব্রিজ নিয়ম দেখায়।

এই নিয়মটি স্ট্যাটাসে মডেল প্যাকেজের আপডেট খোঁজার মাধ্যমে SageMaker মডেল প্যাকেজ গোষ্ঠীকে পর্যবেক্ষণ করে Approved or Rejected.

ইভেন্টব্রিজ নিয়মটি কোডপাইপলাইনকে টার্গেট করার জন্য কনফিগার করা হয়, যা ব্যবহার করে একটি নতুন AWS IoT Greengrass উপাদান তৈরির কার্যপ্রবাহ শুরু করে অ্যামাজন সেজমেকার নিও এবং এজ ম্যানেজার।

টার্গেট আর্কিটেকচারের জন্য এমএল মডেল অপ্টিমাইজ করুন

Neo আপনাকে প্রান্ত ডিভাইসে (এবং ক্লাউডে) অনুমান করার জন্য এমএল মডেলগুলিকে অপ্টিমাইজ করার অনুমতি দেয়। টার্গেট আর্কিটেকচারের উপর ভিত্তি করে ভাল পারফরম্যান্সের জন্য এটি স্বয়ংক্রিয়ভাবে এমএল মডেলগুলিকে অপ্টিমাইজ করে এবং মডেলটিকে মূল কাঠামো থেকে ডিকপল করে, আপনাকে এটিকে হালকা রানটাইমে চালানোর অনুমতি দেয়।

নিম্নলিখিত উল্লেখ করুন নোটবই কিভাবে নিও ব্যবহার করে একটি PyTorch Resnet18 মডেল কম্পাইল করতে হয় তার একটি উদাহরণের জন্য।

AWS IoT Greengrass উপাদান অন্তর্ভুক্ত করে স্থাপনার প্যাকেজ তৈরি করুন

এজ ম্যানেজার আপনাকে এজ ডিভাইসগুলির একটি বহরে মডেলগুলি পরিচালনা, সুরক্ষিত, স্থাপন এবং নিরীক্ষণ করতে দেয়। নিম্নলিখিত নোটবই, আপনি কীভাবে এজ ডিভাইসগুলির একটি ন্যূনতম বহর তৈরি করবেন এবং এই বৈশিষ্ট্যটির সাথে কিছু পরীক্ষা চালাবেন তার আরও বিশদ বিবরণ দেখতে পারেন।

আপনি ফ্লিট কনফিগার করার পরে এবং মডেলটি কম্পাইল করার পরে, আপনাকে একটি এজ ম্যানেজার প্যাকেজিং কাজ চালাতে হবে, যা মডেলটিকে ফ্লিটে স্থাপনের জন্য প্রস্তুত করে। আপনি Boto3 SDK ব্যবহার করে একটি প্যাকেজিং কাজ শুরু করতে পারেন। আমাদের পরামিতিগুলির জন্য, আমরা অপ্টিমাইজ করা মডেল এবং মডেল মেটাডেটা ব্যবহার করি। নিম্নলিখিত পরামিতি যোগ করে OutputConfig, চাকরিটি মডেলের সাথে একটি AWS IoT Greengrass V2 উপাদান প্রস্তুত করে:

• PresetDeploymentType
• PresetDeploymentConfig

নিম্নলিখিত কোডটি দেখুন:

import boto3
import time

SageMaker_client = boto3.client('SageMaker')

SageMaker_client.create_edge_packaging_job(
    EdgePackagingJobName="mlops-edge-packaging-{}".format(int(time.time()*1000)),
    CompilationJobName=compilation_job_name,
    ModelName="PytorchMLOpsEdgeModel",
    ModelVersion="1.0.0",
    RoleArn=role,
    OutputConfig={
        'S3OutputLocation': 's3://{}/model/'.format(bucket_name),
        "PresetDeploymentType": "GreengrassV2Component",
        "PresetDeploymentConfig": json.dumps(
            {"ComponentName": component_name, "ComponentVersion": component_version}
        ),
    }
)

স্কেলে প্রান্তে এমএল মডেল স্থাপন করুন

এখন আপনার প্রান্ত ডিভাইসের বহরে মডেলটি স্থাপন করার সময়। প্রথমত, আমাদের নিশ্চিত করতে হবে যে আমাদের প্রয়োজনীয়তা রয়েছে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (আমি) অনুমতি আমাদের IoT ডিভাইসের ব্যবস্থা করতে এবং এতে উপাদান স্থাপন করতে সক্ষম। আমাদের IoT প্ল্যাটফর্মে অনবোর্ডিং ডিভাইস শুরু করার জন্য আমাদের দুটি মৌলিক উপাদানের প্রয়োজন:

• আইএএম নীতি - এই নীতি ব্যবহারকারীর সাথে সংযুক্ত এই ধরনের ডিভাইসগুলির স্বয়ংক্রিয় বিধানের অনুমতি দেয় বা বিধান সম্পাদনকারী ভূমিকা পালন করে৷ আইওটি জিনিস এবং গোষ্ঠী তৈরি করার পাশাপাশি ডিভাইসে প্রয়োজনীয় নীতিগুলি সংযুক্ত করার জন্য এটিতে আইওটি লেখার অনুমতি থাকা উচিত। আরো তথ্যের জন্য, পড়ুন সংস্থান সংস্থান ইনস্টলারের জন্য ন্যূনতম IAM নীতি.
• আইএএম ভূমিকা - এই ভূমিকাটি আমরা যে আইওটি জিনিস এবং গোষ্ঠী তৈরি করি তার সাথে সংযুক্ত। আপনি মৌলিক অনুমতিগুলির সাথে প্রভিশনিং সময়ে এই ভূমিকাটি তৈরি করতে পারেন, তবে এতে অ্যামাজন S3 বা অ্যাক্সেসের মতো বৈশিষ্ট্যগুলির অভাব থাকবে। AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS) যা পরে প্রয়োজন হতে পারে। আপনি এই ভূমিকাটি আগেই তৈরি করতে পারেন এবং আমরা যখন ডিভাইসের ব্যবস্থা করি তখন এটি পুনরায় ব্যবহার করতে পারেন। আরো তথ্যের জন্য, পড়ুন AWS-এর সাথে ইন্টারঅ্যাক্ট করার জন্য মূল ডিভাইসগুলিকে অনুমোদন করুন.

AWS IoT গ্রীনগ্রাস ইনস্টলেশন এবং প্রভিশনিং

আমরা IAM নীতি এবং ভূমিকা পালন করার পরে, আমরা প্রস্তুত স্বয়ংক্রিয় রিসোর্স প্রভিশনিং সহ AWS IoT Greengrass Core সফ্টওয়্যার ইনস্টল করুন. যদিও ম্যানুয়াল পদক্ষেপগুলি অনুসরণ করে IoT সংস্থানগুলি সরবরাহ করা সম্ভব, তবে AWS IoT Greengrass v2 নিউক্লিয়াস ইনস্টল করার সময় এই সংস্থানগুলি স্বয়ংক্রিয়ভাবে সরবরাহ করার সুবিধাজনক পদ্ধতি রয়েছে। প্ল্যাটফর্মে নতুন ডিভাইসগুলিকে দ্রুত অনবোর্ড করার জন্য এটি পছন্দের বিকল্প। এছাড়া default-jdk, অন্যান্য প্যাকেজ ইনস্টল করা প্রয়োজন, যেমন curl, unzip, এবং python3.

যখন আমরা আমাদের ডিভাইসের ব্যবস্থা করি, তখন আইওটি জিনিসের নামটি এজ ম্যানেজারে সংজ্ঞায়িত প্রান্ত ডিভাইসের মতোই হতে হবে, অন্যথায় ডেটা গন্তব্য S3 বালতিতে ক্যাপচার করা হবে না।

ইনস্টলারটি ইনস্টলেশনের সময় AWS IoT Greengrass ভূমিকা এবং উপনাম তৈরি করতে পারে যদি সেগুলি বিদ্যমান না থাকে। যাইহোক, এগুলি ন্যূনতম অনুমতিগুলির সাথে তৈরি করা হবে এবং অন্যান্য পরিষেবা যেমন Amazon S3 এর সাথে ইন্টারঅ্যাক্ট করতে ম্যানুয়ালি আরও নীতি যোগ করতে হবে৷ আমরা এই IAM সংস্থানগুলি আগে থেকে তৈরি করার পরামর্শ দিই যেমনটি আগে দেখানো হয়েছে, এবং তারপরে অ্যাকাউন্টে নতুন ডিভাইসে প্রবেশ করার সময় সেগুলি পুনরায় ব্যবহার করুন৷

মডেল এবং অনুমান উপাদান প্যাকেজিং

আমাদের কোড তৈরি হওয়ার পর, আমরা আমাদের ডিভাইসে উপাদান হিসেবে কোড (অনুমানের জন্য) এবং আমাদের ML মডেল উভয়ই স্থাপন করতে পারি।

সেজমেকারে এমএল মডেল প্রশিক্ষিত হওয়ার পরে, আপনি সেজমেকার সংকলন কাজ ব্যবহার করে নিও-এর সাথে মডেলটিকে অপ্টিমাইজ করতে পারেন। ফলস্বরূপ কম্পাইল করা মডেল আর্টিফ্যাক্ট, তারপর এজ ম্যানেজার প্যাকেজার ব্যবহার করে একটি GreenGrass V2 উপাদানে প্যাকেজ করা যেতে পারে। তারপর, এটি একটি কাস্টম উপাদান হিসাবে নিবন্ধিত করা যেতে পারে আমার উপাদান AWS IoT Greengrass কনসোলে বিভাগ। এই উপাদানটিতে ইতিমধ্যেই আমাদের ডিভাইসে মডেল আর্টিফ্যাক্ট ডাউনলোড এবং ডিকম্প্রেস করার জন্য প্রয়োজনীয় লাইফসাইকেল কমান্ড রয়েছে, যাতে ইনফারেন্স কোড এটির মাধ্যমে ক্যাপচার করা ছবি পাঠাতে এটিকে লোড করতে পারে।

ইনফারেন্স কোড সম্পর্কে, আমরা কনসোল ব্যবহার করে একটি উপাদান তৈরি করতে হবে বা এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI)। প্রথমত, আমরা আমাদের সোর্স ইনফারেন্স কোড এবং প্রয়োজনীয় নির্ভরতাকে Amazon S3 এ প্যাক করি। আমরা কোড আপলোড করার পরে, আমরা নিম্নলিখিত উদাহরণের মতো .yaml বা JSON-এ একটি রেসিপি ব্যবহার করে আমাদের উপাদান তৈরি করতে পারি:

---
RecipeFormatVersion: 2020-01-25
ComponentName: dummymodel.inference
ComponentVersion: 0.0.1
ComponentDescription: Deploys inference code to a client
ComponentPublisher: Amazon Web Services, Inc.
ComponentDependencies:
  aws.GreenGrass.TokenExchangeService:
    VersionRequirement: '>=0.0.0'
    DependencyType: HARD
  dummymodel:
    VersionRequirement: '>=0.0.0'
    DependencyType: HARD
Manifests:
  - Platform:
      os: linux
      architecture: "*"
    Lifecycle:
      install: |-
        apt-get install python3-pip
        pip3 install numpy
        pip3 install sysv_ipc
        pip3 install boto3
        pip3 install grpcio-tools
        pip3 install grpcio
        pip3 install protobuf
        pip3 install SageMaker
        tar xf {artifacts:path}/sourcedir.tar.gz
      run:
        script: |-
          sleep 5 && sudo python3 {work:path}/inference.py 
    Artifacts:
      - URI: s3://BUCKET-NAME/path/to/inference/sourcedir.tar.gz
        Permission:
          Execute: OWNER

এই উদাহরণ রেসিপিটি আমাদের কম্পোনেন্টের নাম এবং বিবরণ দেখায়, সেইসাথে আমাদের রান স্ক্রিপ্ট কমান্ডের আগে প্রয়োজনীয় পূর্বশর্তগুলি দেখায়। রেসিপিটি ডিভাইসে একটি কাজের ফোল্ডার পরিবেশে আর্টিফ্যাক্টটিকে আনপ্যাক করে এবং আমরা আমাদের অনুমান কোড চালানোর জন্য সেই পথটি ব্যবহার করি। এই ধরনের রেসিপি তৈরি করার জন্য AWS CLI কমান্ড হল:

aws greengrassv2 create-component-version --region $REGION 
                                          --inline-recipe fileb://path/to/recipe.yaml

আপনি এখন AWS IoT Greengrass কনসোলে তৈরি এই উপাদানটি দেখতে পারেন।

উপাদান সংস্করণ গুরুত্বপূর্ণ যে সতর্ক থাকুন, এবং এটি রেসিপি ফাইলে নির্দিষ্ট করা আবশ্যক। একই সংস্করণ নম্বর পুনরাবৃত্তি একটি ত্রুটি ফিরে আসবে.

আমাদের মডেল এবং অনুমান কোড উপাদান হিসাবে সেট আপ করার পরে, আমরা সেগুলি স্থাপন করতে প্রস্তুত।

AWS IoT Greengrass ব্যবহার করে অ্যাপ্লিকেশন এবং মডেল স্থাপন করুন

পূর্ববর্তী বিভাগগুলিতে, আপনি কীভাবে অনুমান কোড এবং ML মডেলগুলি প্যাকেজ করতে হয় তা শিখেছেন। এখন আমরা একাধিক উপাদানের সাথে একটি স্থাপনা তৈরি করতে পারি যাতে এজ ডিভাইসের মডেলের সাথে যোগাযোগ করার জন্য আমাদের অনুমান কোডের জন্য প্রয়োজনীয় উপাদান এবং কনফিগারেশন উভয়ই অন্তর্ভুক্ত থাকে।

এজ ম্যানেজার এজেন্ট হল সেই উপাদান যা প্রতিটি প্রান্ত ডিভাইসে ইনস্টল করা উচিত যাতে সমস্ত এজ ম্যানেজার ক্ষমতা সক্ষম হয়। সেজমেকার কনসোলে, আমাদের কাছে একটি ডিভাইসের ফ্লিট সংজ্ঞায়িত করা হয়েছে, যার একটি সম্পর্কিত S3 বালতি রয়েছে। বহরের সাথে যুক্ত সমস্ত প্রান্ত ডিভাইস এই S3 পাথে তাদের ডেটা ক্যাপচার করবে এবং রিপোর্ট করবে। এজেন্টটিকে AWS IoT Greengrass v2-এ একটি উপাদান হিসাবে স্থাপন করা যেতে পারে, যা এজেন্টটিকে স্বতন্ত্র মোডে মোতায়েন করার চেয়ে ইনস্টল এবং কনফিগার করা সহজ করে তোলে। একটি উপাদান হিসাবে এজেন্ট স্থাপন করার সময়, আমাদের এটির কনফিগারেশন পরামিতিগুলি নির্দিষ্ট করতে হবে, যেমন ডিভাইস ফ্লিট এবং S3 পাথ৷

আমরা এইমাত্র তৈরি করা মডেল এবং কোডের জন্য কাস্টম উপাদানগুলির সাথে একটি স্থাপনার কনফিগারেশন তৈরি করি। এই সেটআপটি একটি JSON ফাইলে সংজ্ঞায়িত করা হয়েছে যা স্থাপনার নাম এবং লক্ষ্য তালিকার পাশাপাশি স্থাপনার উপাদানগুলিকে তালিকাভুক্ত করে৷ আমরা প্রতিটি কম্পোনেন্টের কনফিগারেশন প্যারামিটার যোগ এবং আপডেট করতে পারি, যেমন এজ ম্যানেজার এজেন্টে, যেখানে আমরা ফ্লিটের নাম এবং বালতি নির্দিষ্ট করি।

{
    "targetArn": "targetArn",
    "deploymentName": "dummy-deployment",
    "components": {
        "aws.GreenGrass.Nucleus": {
            "version": "2.5.3",
        },
        "aws.GreenGrass.Cli": {
            "version": "2.5.3"
        },
        "aws.GreenGrass.SageMakerEdgeManager": {
            "version": 1.1.0,
            "configurationUpdate": {
                "merge": {
                "DeviceFleetName": "FLEET-NAME",
                "BucketName": "BUCKET-NAME-URI"
                }
            }
        },
        "dummymodel.inference": {
            "version": "0.0.1"
        },
        "dummymodel": {
            "version": "0.0.1"
        }
    }
}

এটা লক্ষণীয় যে আমরা শুধুমাত্র মডেল, অনুমান উপাদান এবং এজেন্টই নয়, উপাদান হিসেবে AWS IoT Greengrass CLI এবং নিউক্লিয়াসও যোগ করেছি। পূর্ববর্তী ডিভাইসে স্থানীয়ভাবে কিছু স্থাপনা ডিবাগ করতে সাহায্য করতে পারে। প্রয়োজনে ডিভাইস থেকে প্রয়োজনীয় নেটওয়ার্ক অ্যাক্সেস কনফিগার করার জন্য পরবর্তীটি যোগ করা হয় (উদাহরণস্বরূপ, প্রক্সি সেটিংস), এবং এছাড়াও আপনি যদি AWS IoT Greengrass v2 নিউক্লিয়াসের একটি OTA আপগ্রেড করতে চান। নিউক্লিয়াসটি স্থাপন করা হয় না কারণ এটি ডিভাইসে ইনস্টল করা আছে এবং শুধুমাত্র কনফিগারেশন আপডেট প্রয়োগ করা হবে (যদি না একটি আপগ্রেড করা হয়)। স্থাপন করার জন্য, আমাদের কেবল পূর্ববর্তী কনফিগারেশনের উপর নিম্নলিখিত কমান্ডটি চালাতে হবে। লক্ষ্য ARN সেট আপ করতে মনে রাখবেন যেখানে স্থাপনার প্রয়োগ করা হবে (একটি IoT জিনিস বা IoT গ্রুপ)। আমরা কনসোল থেকে এই উপাদানগুলি স্থাপন করতে পারি।

aws greengrassv2 create-deployment --region $REGION 
                                   --cli-input-json file://path/to/deployment.json

প্রান্তে স্থাপন করা এমএল মডেলগুলি নিরীক্ষণ এবং পরিচালনা করুন

এখন যেহেতু আপনার অ্যাপ্লিকেশানটি এজ ডিভাইসে চলছে, তাই শাসন, রক্ষণাবেক্ষণ এবং দৃশ্যমানতা উন্নত করতে কীভাবে বহরের নিরীক্ষণ করা যায় তা বোঝার সময় এসেছে৷ সেজমেকার কনসোলে, নির্বাচন করুন এজ ম্যানেজার নেভিগেশন ফলকে, তারপর নির্বাচন করুন এজ ডিভাইস বহর. এখান থেকে, আপনার বহর চয়ন করুন.

ফ্লিটের বিশদ পৃষ্ঠায়, আপনি মডেলগুলির কিছু মেটাডেটা দেখতে পাবেন যা আপনার বহরের প্রতিটি ডিভাইসে চলছে৷ ফ্লিট রিপোর্ট প্রতি 24 ঘন্টা তৈরি করা হয়।

এজ এজেন্টের মাধ্যমে প্রতিটি ডিভাইস দ্বারা ক্যাপচার করা ডেটা json লাইন ফরম্যাটে (JSONL) একটি S3 বালতিতে পাঠানো হয়। ক্যাপচার করা ডেটা পাঠানোর প্রক্রিয়াটি একটি অ্যাপ্লিকেশনের দৃষ্টিকোণ থেকে পরিচালিত হয়। তাই আপনি এই ডেটা পাঠাবেন কিনা, কিভাবে এবং কত ঘন ঘন সিদ্ধান্ত নিতে পারবেন।

আপনি অনেক কিছুর জন্য এই ডেটা ব্যবহার করতে পারেন, যেমন ডেটা ড্রিফ্ট এবং মডেলের গুণমান পর্যবেক্ষণ করা, একটি নতুন ডেটাসেট তৈরি করা, ডেটা লেক সমৃদ্ধ করা এবং আরও অনেক কিছু৷ এই ডেটা কীভাবে ব্যবহার করা যায় তার একটি সাধারণ উদাহরণ হল যখন আপনি ব্যবহারকারীরা আপনার অ্যাপ্লিকেশনের সাথে যেভাবে ইন্টারঅ্যাক্ট করছেন তাতে কিছু ডেটা ড্রিফ্ট শনাক্ত করেন এবং আপনাকে একটি নতুন মডেল প্রশিক্ষণ দিতে হবে। তারপরে আপনি ক্যাপচার করা ডেটা দিয়ে একটি নতুন ডেটাসেট তৈরি করুন এবং এটি ডেভেলপমেন্ট অ্যাকাউন্টে আবার কপি করুন। এটি স্বয়ংক্রিয়ভাবে আপনার পরিবেশের একটি নতুন চালনা শুরু করতে পারে যা একটি নতুন মডেল তৈরি করে এবং স্থাপন করা সমাধানের কার্যকারিতা বজায় রাখতে এটিকে পুরো ফ্লিটে পুনরায় স্থাপন করে।

উপসংহার

এই পোস্টে, আপনি AWS পরিষেবাগুলি ব্যবহার করে MLOps এবং ML@Edge কে একত্রিত করে একটি সম্পূর্ণ সমাধান তৈরি করতে শিখেছেন৷ এই জাতীয় সমাধান তৈরি করা তুচ্ছ নয়, তবে আমরা আশা করি এই পোস্টে উপস্থাপিত রেফারেন্স আর্কিটেকচার আপনাকে অনুপ্রাণিত করতে পারে এবং আপনার নিজের ব্যবসায়িক চ্যালেঞ্জগুলির জন্য একটি শক্ত আর্কিটেকচার তৈরি করতে সহায়তা করতে পারে। আপনি এই আর্কিটেকচারের শুধুমাত্র অংশ বা মডিউলগুলিও ব্যবহার করতে পারেন যা আপনার বিদ্যমান MLOps পরিবেশের সাথে একীভূত হয়। একবারে একটি একক মডিউল প্রোটোটাইপ করে এবং এই চ্যালেঞ্জের প্রতিটি অংশকে মোকাবেলা করার জন্য উপযুক্ত AWS পরিষেবাগুলি ব্যবহার করে, আপনি শিখতে পারেন কীভাবে একটি শক্তিশালী MLOps পরিবেশ তৈরি করা যায় এবং চূড়ান্ত স্থাপত্যটিকে আরও সরল করা যায়।

পরবর্তী পদক্ষেপ হিসাবে, আমরা আপনাকে এজ লাইফসাইকেলে আপনার এমএল পরিচালনা করতে সেজমেকার এজ ম্যানেজার ব্যবহার করে দেখতে উত্সাহিত করি। এজ ম্যানেজার কীভাবে কাজ করে সে সম্পর্কে আরও তথ্যের জন্য, দেখুন SageMaker এজ ম্যানেজারের সাথে প্রান্তে মডেল স্থাপন করুন .

লেখক সম্পর্কে

ব্রুনো পিস্টোন মিলান ভিত্তিক AWS-এর জন্য একজন AI/ML বিশেষজ্ঞ সমাধান স্থপতি৷ তিনি যেকোন আকারের গ্রাহকদের সাথে তাদের প্রযুক্তিগত চাহিদাগুলি গভীরভাবে বুঝতে এবং AI এবং মেশিন লার্নিং সমাধানগুলি ডিজাইন করতে সাহায্য করার জন্য কাজ করেন যা AWS ক্লাউড এবং Amazon মেশিন লার্নিং স্ট্যাকের সর্বোত্তম ব্যবহার করে৷ তার দক্ষতার ক্ষেত্র হল মেশিন লার্নিং এন্ড টু এন্ড, মেশিন লার্নিং ইন্ডাস্ট্রিয়ালাইজেশন এবং MLOps। তিনি তার বন্ধুদের সাথে সময় কাটাতে এবং নতুন জায়গা অন্বেষণের পাশাপাশি নতুন গন্তব্যে ভ্রমণ উপভোগ করেন।

ম্যাটিও ক্যালাব্রেস AWS প্রফেশনাল সার্ভিসেস টিমের একজন AI/ML কাস্টমার ডেলিভারি আর্কিটেক্ট। তিনি এআই/এমএল প্রকল্পগুলিতে EMEA বড় উদ্যোগগুলির সাথে কাজ করেন, তাদের প্রস্তাব, নকশা, বিতরণ, স্কেল এবং এমএল উত্পাদন কাজের লোড অপ্টিমাইজ করতে সহায়তা করে৷ তার প্রধান দক্ষতা হল ML Operation (MLOps) এবং এজ এ মেশিন লার্নিং। তার লক্ষ্য হল AWS সর্বোত্তম অনুশীলন প্রদান করে ব্যবসায়িক ফলাফলের মূল্যায়ন এবং ত্বরান্বিত করার জন্য তাদের সময় কমানো। তার অবসর সময়ে, তিনি হাইকিং এবং ভ্রমণ উপভোগ করেন।

রাউল দিয়াজ গার্সিয়া AWS প্রফেশনাল সার্ভিসেস টিমের একজন সিনিয়র ডেটা সায়েন্টিস্ট। তিনি EMEA জুড়ে বৃহৎ এন্টারপ্রাইজ গ্রাহকদের সাথে কাজ করেন, যেখানে তিনি তাদের IoT স্পেসে কম্পিউটার ভিশন এবং মেশিন লার্নিং সম্পর্কিত সমাধানগুলি সক্ষম করতে সহায়তা করেন।

সোকরতিস কার্তকিস অ্যামাজন ওয়েব পরিষেবাগুলির জন্য একজন সিনিয়র মেশিন লার্নিং স্পেশালিস্ট সলিউশন আর্কিটেক্ট৷ Sokratis এন্টারপ্রাইজ গ্রাহকদের AWS পরিষেবাগুলিকে কাজে লাগিয়ে এবং তাদের অপারেটিং মডেলকে, যেমন MLOps ফাউন্ডেশন, এবং সর্বোত্তম উন্নয়ন অনুশীলনগুলিকে কাজে লাগিয়ে রূপান্তর রোডম্যাপ গঠনের মাধ্যমে তাদের মেশিন লার্নিং (ML) সমাধানগুলিকে শিল্পায়ন করতে সক্ষম করার উপর দৃষ্টি নিবদ্ধ করে৷ তিনি জ্বালানি, খুচরা, স্বাস্থ্য, ফিনান্স/ব্যাংকিং, মোটরস্পোর্টস ইত্যাদি ক্ষেত্রে উদ্ভাবনী এন্ড-টু-এন্ড প্রোডাকশন-লেভেল এমএল এবং ইন্টারনেট অফ থিংস (IoT) সমাধান উদ্ভাবন, ডিজাইন, নেতৃত্ব এবং বাস্তবায়নে 15+ বছর অতিবাহিত করেছেন। সোক্রটিস তার অবসর সময় পরিবার এবং বন্ধুদের সাথে কাটাতে বা মোটরবাইক চালাতে পছন্দ করে।

সমীর আরাজ্জো এডাব্লুএসে একটি এআই / এমএল সলিউশন আর্কিটেক্ট। তিনি এআই / এমএল সমাধান তৈরি করতে গ্রাহকদের সহায়তা করেন যা এডাব্লুএস ব্যবহার করে তাদের ব্যবসায়ের চ্যালেঞ্জগুলি সমাধান করে। তিনি কম্পিউটার ভিশন, প্রাকৃতিক ভাষা প্রক্রিয়াজাতকরণ, পূর্বাভাস, এমএল প্রান্তে এবং আরও অনেকগুলি সম্পর্কিত বেশ কয়েকটি এআই / এমএল প্রকল্পগুলিতে কাজ করছেন। তিনি তার ফ্রি সময়ে হার্ডওয়্যার এবং অটোমেশন প্রকল্পগুলির সাথে খেলতে পছন্দ করেন এবং রোবোটিকের প্রতি তাঁর বিশেষ আগ্রহ রয়েছে।