AWS Lambda-এ একটি মেশিন লার্নিং ইনফারেন্স ডেটা ক্যাপচার সমাধান স্থাপন করুন

মনিটরিং মেশিন লার্নিং (ML) পূর্বাভাস স্থাপন করা মডেলের গুণমান উন্নত করতে সাহায্য করতে পারে। উত্পাদনে তৈরি অনুমান থেকে ডেটা ক্যাপচার করা আপনাকে আপনার স্থাপন করা মডেলগুলি নিরীক্ষণ করতে এবং মডেলের মানের বিচ্যুতি সনাক্ত করতে সক্ষম করে। এই বিচ্যুতিগুলির প্রাথমিক এবং সক্রিয় সনাক্তকরণ আপনাকে সংশোধনমূলক পদক্ষেপ নিতে সক্ষম করে, যেমন মডেলগুলিকে পুনরায় প্রশিক্ষণ দেওয়া, আপস্ট্রিম সিস্টেমের অডিট করা বা গুণমানের সমস্যাগুলি সমাধান করা।

এডাব্লুএস ল্যাম্বদা একটি সার্ভারহীন কম্পিউট পরিষেবা যা স্কেলে রিয়েল-টাইম এমএল ইনফারেন্স প্রদান করতে পারে। এই পোস্টে, আমরা একটি নমুনা ডেটা ক্যাপচার বৈশিষ্ট্য প্রদর্শন করি যা একটি Lambda ML অনুমান কাজের চাপে স্থাপন করা যেতে পারে।

2020 সালের ডিসেম্বরে, ল্যাম্বদা প্যাকেজিং ফর্ম্যাট হিসাবে কন্টেইনার চিত্রগুলির জন্য সমর্থন চালু করেছিল। এই বৈশিষ্ট্যটি স্থাপনার প্যাকেজ আকারের সীমা 500 MB থেকে বাড়িয়ে 10 GB করেছে৷ এই বৈশিষ্ট্যটি লঞ্চের আগে, প্যাকেজ আকারের সীমাবদ্ধতার কারণে টেনসরফ্লো বা পাইটর্চের মতো এমএল ফ্রেমওয়ার্কগুলি ল্যাম্বডা ফাংশনগুলিতে স্থাপন করা কঠিন হয়ে পড়েছিল। লঞ্চের পরে, বর্ধিত প্যাকেজ আকারের সীমা ML-কে ল্যাম্বডায় স্থাপনের জন্য একটি কার্যকর এবং আকর্ষণীয় কাজের চাপ তৈরি করেছে। 2021 সালে, ML অনুমান Lambda পরিষেবাতে দ্রুততম বর্ধনশীল কাজের চাপের ধরনগুলির মধ্যে একটি।

আমাজন সেজমেকার, Amazon এর সম্পূর্ণরূপে পরিচালিত ML পরিষেবা, এর নিজস্ব মডেল পর্যবেক্ষণ বৈশিষ্ট্য রয়েছে৷ যাইহোক, এই পোস্টের নমুনা প্রকল্পটি দেখায় যে কীভাবে এমএল অনুমানের জন্য ল্যাম্বডা ব্যবহার করে এমন গ্রাহকদের মডেল পর্যবেক্ষণে ব্যবহারের জন্য ডেটা ক্যাপচার করতে হয়। অনুমান ফাংশনের কার্যকারিতা এবং বিলম্বিততার উপর প্রভাব কমানোর জন্য অনুমান ডেটা ক্যাপচার করতে প্রকল্পটি ল্যাম্বডা এক্সটেনশন ব্যবহার করে। ল্যাম্বডা এক্সটেনশন ব্যবহার করা ফাংশন ডেভেলপারদের উপর প্রভাব কমিয়ে দেয়। একটি এক্সটেনশনের মাধ্যমে একীভূত করে, পর্যবেক্ষণ বৈশিষ্ট্যটি একাধিক ফাংশনে প্রয়োগ করা যেতে পারে এবং একটি কেন্দ্রীভূত দল দ্বারা রক্ষণাবেক্ষণ করা যেতে পারে।

সমাধান ওভারভিউ

এই প্রকল্পে একটি সার্ভারবিহীন অ্যাপ্লিকেশনের জন্য সোর্স কোড এবং সমর্থনকারী ফাইল রয়েছে যা একটি ডিস্টিলবার্ট-বেস, পূর্বপ্রশিক্ষিত প্রশ্নের উত্তর মডেল ব্যবহার করে রিয়েল-টাইম ইনফারেন্সিং প্রদান করে। প্রকল্পটি আলিঙ্গন মুখ প্রশ্ন এবং উত্তর প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) মডেল ব্যবহার করে পাইটর্চ প্রাকৃতিক ভাষা অনুমান কাজ সম্পাদন করতে. মডেল ভবিষ্যদ্বাণীগুলির জন্য অনুমান ডেটা ক্যাপচার করার জন্য প্রকল্পটিতে একটি সমাধান রয়েছে। Lambda ফাংশন লেখক অনুমান অনুরোধ ইনপুট থেকে ঠিক কোন ডেটা এবং পূর্বাভাস ফলাফল এক্সটেনশনে পাঠাতে হবে তা নির্ধারণ করতে পারে। এই সমাধানে, আমরা মডেল থেকে এক্সটেনশনে ইনপুট এবং উত্তর পাঠাই। এক্সটেনশনটি পর্যায়ক্রমে একটি ডেটা পাঠায় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি। আমরা a ব্যবহার করে একটি কন্টেইনার ইমেজ হিসাবে ডেটা ক্যাপচার এক্সটেনশন তৈরি করি makefile. তারপরে আমরা একটি কন্টেইনার ইমেজ হিসাবে ল্যাম্বডা ইনফারেন্স ফাংশন তৈরি করি এবং একটি কন্টেইনার ইমেজ লেয়ার হিসাবে এক্সটেনশন কন্টেইনার ইমেজ যোগ করি। নিম্নলিখিত চিত্রটি স্থাপত্যের একটি ওভারভিউ দেখায়।

Lambda এক্সটেনশন হল Lambda ফাংশন বাড়ানোর একটি উপায়। এই প্রকল্পে, আমরা অনুমানের অনুরোধ এবং অনুমান থেকে পূর্বাভাস লগ করার জন্য একটি বহিরাগত Lambda এক্সটেনশন ব্যবহার করি। বাহ্যিক এক্সটেনশন ল্যাম্বডা রানটাইম পরিবেশে একটি পৃথক প্রক্রিয়া হিসাবে চলে, যা অনুমান ফাংশনের উপর প্রভাব হ্রাস করে। যাইহোক, ফাংশনটি ল্যাম্বডা ফাংশনের সাথে সিপিইউ, মেমরি এবং স্টোরেজের মতো সম্পদ ভাগ করে। আমরা সর্বোত্তম সম্পদ প্রাপ্যতা নিশ্চিত করতে Lambda ফাংশনে পর্যাপ্ত মেমরি বরাদ্দ করার পরামর্শ দিই। (আমাদের পরীক্ষায়, আমরা অনুমান Lambda ফাংশনে 5 GB মেমরি বরাদ্দ করেছি এবং সর্বোত্তম সম্পদের প্রাপ্যতা এবং অনুমান লেটেন্সি দেখেছি)। যখন একটি অনুমান সম্পূর্ণ হয়, তখন Lambda পরিষেবা অবিলম্বে প্রতিক্রিয়া প্রদান করে এবং S3 বালতিতে অনুরোধ এবং প্রতিক্রিয়া লগিং শেষ করার জন্য এক্সটেনশনের জন্য অপেক্ষা করে না। এই প্যাটার্নের সাথে, নিরীক্ষণের এক্সটেনশন অনুমানের বিলম্বকে প্রভাবিত করে না। ল্যাম্বডা এক্সটেনশন সম্পর্কে আরও জানতে এই ভিডিও সিরিজ দেখুন.

প্রকল্পের বিষয়বস্তু

এই প্রকল্পটি ব্যবহার করে এডাব্লুএস সার্ভারলেস অ্যাপ্লিকেশন মডেল (AWS SAM) কমান্ড লাইন ইন্টারফেস (CLI)। এই কমান্ড-লাইন টুল ডেভেলপারদের অ্যাপ্লিকেশন শুরু এবং কনফিগার করার অনুমতি দেয়; প্যাকেজ, নির্মাণ, এবং স্থানীয়ভাবে পরীক্ষা; এবং AWS ক্লাউডে স্থাপন করুন।

আপনি থেকে এই প্রকল্পের জন্য সোর্স কোড ডাউনলোড করতে পারেন GitHub সংগ্রহস্থল.

এই প্রকল্পে নিম্নলিখিত ফাইল এবং ফোল্ডার রয়েছে:

• app/app.py - এমএল ইনফারেন্সিংয়ের কোড সহ অ্যাপ্লিকেশনের ল্যাম্বডা ফাংশনের জন্য কোড।
• অ্যাপ/ডকারফাইল - কনটেইনার ইমেজ তৈরি করার জন্য ডকারফাইল যা ইনফারেন্স ফাংশন প্যাকেজ করে, হাগিং ফেস থেকে ডাউনলোড করা মডেল এবং লেয়ার হিসেবে তৈরি ল্যাম্বডা এক্সটেনশন। .zip ফাংশনের বিপরীতে, ফাংশন তৈরির সময় কন্টেইনার-প্যাকেজ করা ল্যাম্বডা ফাংশনের সাথে স্তরগুলি সংযুক্ত করা যাবে না। পরিবর্তে, আমরা স্তরটি তৈরি করি এবং এর বিষয়বস্তু কন্টেইনার ছবিতে অনুলিপি করি।
• এক্সটেনশানগুলি - মডেল মনিটর এক্সটেনশন ফাইল. এই Lambda এক্সটেনশনটি ইনফারেন্স ফাংশনে ইনপুট লগ করতে এবং একটি S3 বালতির সাথে সম্পর্কিত ভবিষ্যদ্বাণী করতে ব্যবহৃত হয়।
• অ্যাপ/মডেল - হাগিং ফেস থেকে ডাউনলোড করা মডেল।
• app/requirements.txt - পাইথন নির্ভরতা পাত্রে ইনস্টল করা হবে।
• ঘটনাবলী - আমন্ত্রণ ইভেন্ট যা আপনি ফাংশন পরীক্ষা করতে ব্যবহার করতে পারেন।
• template.yaml - একটি বর্ণনাকারী ফাইল যা অ্যাপ্লিকেশনের AWS সংস্থানগুলিকে সংজ্ঞায়িত করে৷

অ্যাপ্লিকেশনটি ল্যাম্বডা ফাংশন এবং একটি সহ বেশ কয়েকটি AWS সংস্থান ব্যবহার করে অ্যামাজন এপিআই গেটওয়ে API এই সম্পদ সংজ্ঞায়িত করা হয় template.yaml এই প্রকল্পে ফাইল। আপনি একই স্থাপনার প্রক্রিয়ার মাধ্যমে AWS সংস্থান যোগ করতে টেমপ্লেট আপডেট করতে পারেন যা আপনার অ্যাপ্লিকেশন কোড আপডেট করে।

পূর্বশর্ত

এই ওয়াকথ্রুটির জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলি থাকা উচিত:

নমুনা অ্যাপ্লিকেশন স্থাপন

প্রথমবারের জন্য আপনার আবেদন তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

• আপনার শেলে নিম্নলিখিত কোডটি চালান। (এটি পাশাপাশি এক্সটেনশন তৈরি করবে):

• মডেল মনিটর অ্যাপ্লিকেশনের একটি ডকার ইমেজ তৈরি করুন। বিল্ড বিষয়বস্তু মধ্যে বসবাস .aws-sam ডিরেক্টরি

docker build -t serverless-ml-model-monitor:latest .

docker tag serverless-ml-model-monitor:latest .dkr.ecr.us-east-1.amazonaws.com/serverless-ml-model-monitor:latest

• অ্যামাজন ইসিআর-এ লগইন করুন:

aws ecr get-login-password --region us-east-1 docker login --username AWS --password-stdin .dkr.ecr.us-east-1.amazonaws.com

• অ্যামাজন ইসিআর-এ একটি সংগ্রহস্থল তৈরি করুন:

aws ecr create-repositoryrepository-name serverless-ml-model-monitor--image-scanning-configuration scanOnPush=true--region us-east-1

• অ্যামাজন ইসিআর-এ ধারক চিত্রটি পুশ করুন:

docker push .dkr.ecr.us-east-1.amazonaws.com/serverless-ml-model-monitor:latest

• আনকমেন্ট লাইন #1 ইন অ্যাপ/ডকারফাইল এবং সঠিক ইসিআর রিপোজিটরি চিত্রের দিকে নির্দেশ করতে এটি সম্পাদনা করুন, তারপর লাইন #6 এবং #7 ইঞ্চি আনকমেন্ট করুন অ্যাপ/ডকারফাইল:

WORKDIR /opt
COPY --from=layer /opt/ .

• আবার অ্যাপ্লিকেশন তৈরি করুন:

আমরা আবার তৈরি করি কারণ ল্যাম্বডা কন্টেইনার ইমেজ প্যাকেজিং টাইপের জন্য সরাসরি Lambda লেয়ার সমর্থন করে না। আমাদের প্রথমে একটি কন্টেইনার ইমেজ হিসাবে মডেল মনিটরিং কম্পোনেন্ট তৈরি করতে হবে, এটি অ্যামাজন ইসিআর-এ আপলোড করতে হবে, এবং তারপর সেই ইমেজটিকে মডেল মনিটরিং অ্যাপ্লিকেশনে একটি ধারক স্তর হিসাবে ব্যবহার করতে হবে।

• অবশেষে, Lambda ফাংশন, API গেটওয়ে এবং এক্সটেনশন স্থাপন করুন:

sam deploy --guided

এই কমান্ডটি প্রম্পটের একটি সিরিজের সাথে আপনার অ্যাপ্লিকেশনকে প্যাকেজ করে এবং AWS এ স্থাপন করে:

• স্ট্যাকের নাম : নিয়োজিতদের নাম এডাব্লুএস ক্লাউডফর্মেশন স্ট্যাক এটি আপনার অ্যাকাউন্ট এবং অঞ্চলের জন্য অনন্য হওয়া উচিত এবং একটি ভাল সূচনা বিন্দু হবে আপনার প্রকল্পের নামের সাথে মিলে যাওয়া কিছু।
• AWS অঞ্চল : AWS অঞ্চল যেখানে আপনি আপনার আবেদন স্থাপন করেন।
• স্থাপন করার আগে পরিবর্তন নিশ্চিত করুন : যদি সেট করা হয় yes, ম্যানুয়াল পর্যালোচনার জন্য দৌড়ানোর আগে যেকোনো পরিবর্তন সেট আপনাকে দেখানো হয়। যদি না সেট করা হয়, AWS SAM CLI স্বয়ংক্রিয়ভাবে অ্যাপ্লিকেশন পরিবর্তনগুলি স্থাপন করে।
• AWS SAM CLI IAM ভূমিকা তৈরি করার অনুমতি দিন : এই উদাহরণ সহ অনেক AWS SAM টেমপ্লেট তৈরি করে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট AWS পরিষেবাগুলি অ্যাক্সেস করার জন্য অন্তর্ভুক্ত Lambda ফাংশন(গুলি) এর জন্য প্রয়োজনীয় (IAM) ভূমিকা। ডিফল্টরূপে, এগুলি ন্যূনতম প্রয়োজনীয় অনুমতিগুলির মধ্যে সীমাবদ্ধ। একটি ক্লাউডফর্মেশন স্ট্যাক স্থাপন করতে যা IAM ভূমিকা তৈরি বা সংশোধন করে, CAPABILITY_IAM মান capabilities প্রদান করা আবশ্যক। যদি এই প্রম্পটের মাধ্যমে অনুমতি প্রদান না করা হয়, এই উদাহরণটি স্থাপন করার জন্য আপনাকে অবশ্যই স্পষ্টভাবে পাস করতে হবে --capabilities CAPABILITY_IAM থেকে sam deploy কমান্ড।
• samconfig.toml-এ আর্গুমেন্ট সেভ করুন : যদি সেট করা হয় yes, আপনার পছন্দগুলি প্রকল্পের ভিতরে একটি কনফিগারেশন ফাইলে সংরক্ষিত হয় যাতে ভবিষ্যতে, আপনি কেবল চালাতে পারেন sam deploy আপনার অ্যাপ্লিকেশনে পরিবর্তন স্থাপন করার জন্য পরামিতি ছাড়াই।

আপনি স্থাপনের পরে প্রদর্শিত আউটপুট মানগুলিতে আপনার API গেটওয়ে এন্ডপয়েন্ট URL খুঁজে পেতে পারেন।

আবেদন পরীক্ষা করুন

অ্যাপ্লিকেশন পরীক্ষা করতে, API গেটওয়ে এন্ডপয়েন্টে একটি অনুরোধ পাঠাতে পোস্টম্যান বা কার্ল ব্যবহার করুন। উদাহরণ স্বরূপ:

curl -X POST -H "Content-Type: text/plain" https://.execute-api.us-east-1.amazonaws.com/Prod/nlp-qa -d '{"question": "Where do you live?", "context": "My name is Clara and I live in Berkeley."}'

আপনি নিম্নলিখিত কোড মত আউটপুট দেখতে হবে. এমএল মডেলটি প্রসঙ্গ থেকে অনুমান করেছে এবং আমাদের প্রশ্নের উত্তর ফিরিয়ে দিয়েছে।

{
    "Question": "Where do you live?",
    "Answer": "Berkeley",
    "score": 0.9113729596138
}

কয়েক মিনিট পর, আপনি S3 বালতিতে একটি ফাইল দেখতে পাবেন nlp-qamodel-model-monitoring-modelmonitorbucket- ইনপুট এবং অনুমান লগ করা সহ।

পরিষ্কার কর

আপনার তৈরি নমুনা অ্যাপ্লিকেশন মুছে ফেলতে, AWS CLI ব্যবহার করুন:

aws cloudformation delete-stack --stack-name 

উপসংহার

এই পোস্টে, আমরা একটি Lambda এক্সটেনশন হিসাবে একটি মডেল পর্যবেক্ষণ বৈশিষ্ট্য প্রয়োগ করেছি এবং এটি একটি Lambda ML অনুমান কাজের চাপে স্থাপন করেছি। আমরা দেখিয়েছি কিভাবে আপনার নিজের AWS অ্যাকাউন্টে এই সমাধানটি তৈরি এবং স্থাপন করতে হয়। অবশেষে, আমরা দেখিয়েছি কিভাবে মনিটরের কার্যকারিতা যাচাই করতে একটি পরীক্ষা চালাতে হয়।

মন্তব্য বিভাগে কোন চিন্তা বা প্রশ্ন প্রদান করুন. আরও সার্ভারহীন শিক্ষার সংস্থানগুলির জন্য, দেখুন সার্ভারহীন জমি.

লেখক সম্পর্কে

ড্যান ফক্স সার্ভারহীনের জন্য বিশ্বব্যাপী বিশেষজ্ঞ সংস্থার একজন প্রধান বিশেষজ্ঞ সমাধান স্থপতি। স্কেলযোগ্য, ত্রুটি-সহনশীল, উচ্চ-পারফর্মিং, খরচ-কার্যকর অ্যাপ্লিকেশন তৈরি করতে সার্ভারবিহীন পরিষেবাগুলিকে সাহায্য করার জন্য ড্যান গ্রাহকদের সাথে কাজ করে। ড্যান সুন্দর বোল্ডার, কলোরাডোতে বসবাস করতে এবং কাজ করতে সক্ষম হওয়ার জন্য কৃতজ্ঞ।

নিউটন জৈন AWS Lambda-এ মেশিন লার্নিং, হাই পারফরম্যান্স কম্পিউটিং (HPC) এবং মিডিয়া প্রসেসিং গ্রাহকদের জন্য নতুন অভিজ্ঞতা তৈরির জন্য দায়ী একজন সিনিয়র প্রোডাক্ট ম্যানেজার। তিনি কর্মক্ষমতা বাড়াতে, বিলম্ব কমাতে, স্কেলেবিলিটি উন্নত করতে, নির্ভরযোগ্যতা বাড়াতে এবং খরচ কমাতে নতুন ক্ষমতার বিকাশে নেতৃত্ব দেন। তিনি AWS গ্রাহকদের তাদের গণনা-নিবিড় অ্যাপ্লিকেশনের জন্য একটি কার্যকর সার্ভারহীন কৌশল নির্ধারণে সহায়তা করেন।

দীক্ষা শর্মা একজন সলিউশন আর্কিটেক্ট এবং AWS-এর একজন মেশিন লার্নিং বিশেষজ্ঞ। তিনি গ্রাহকদের তাদের ক্লাউড গ্রহণকে ত্বরান্বিত করতে সাহায্য করেন, বিশেষ করে মেশিন লার্নিং এবং সার্ভারহীন প্রযুক্তির ক্ষেত্রে। Diksha ধারণার কাস্টমাইজড প্রমাণ স্থাপন করে যা গ্রাহকদের তাদের ব্যবসা এবং আইটি চ্যালেঞ্জ মোকাবেলায় AWS-এর মূল্য দেখায়। তিনি গ্রাহকদের AWS সম্পর্কে তাদের জ্ঞানে সক্ষম করে এবং গ্রাহকদের সাথে তাদের পছন্দসই সমাধান তৈরি করতে কাজ করে।

বেদ রমন মেরিল্যান্ড ভিত্তিক মেশিন লার্নিংয়ের জন্য একজন সিনিয়র স্পেশালিস্ট সলিউশন আর্কিটেক্ট। Veda গ্রাহকদের দক্ষ, সুরক্ষিত এবং মাপযোগ্য মেশিন লার্নিং অ্যাপ্লিকেশনগুলিকে আর্কিটেক্ট করতে সাহায্য করার জন্য তাদের সাথে কাজ করে। Veda গ্রাহকদের মেশিন লার্নিংয়ের জন্য সার্ভারহীন প্রযুক্তির সুবিধা নিতে সাহায্য করতে আগ্রহী।

জোশ কান সার্ভারহীনের জন্য বিশ্বব্যাপী প্রযুক্তি নেতা এবং একজন প্রধান সমাধান স্থপতি। তিনি AWS-এ সার্ভারহীন বিশেষজ্ঞদের একটি বিশ্বব্যাপী সম্প্রদায়ের নেতৃত্ব দেন যারা সমস্ত আকারের গ্রাহকদের, স্টার্ট-আপ থেকে শুরু করে বিশ্বের বৃহত্তম উদ্যোগ পর্যন্ত, কার্যকরভাবে AWS সার্ভারহীন প্রযুক্তি ব্যবহার করতে সহায়তা করে।