আমাজন সেজমেকার একটি সম্পূর্ণরূপে পরিচালিত মেশিন লার্নিং (ML) প্ল্যাটফর্ম যা একটি বিস্তৃত পরিষেবা সরবরাহ করে যা শেষ-থেকে-এন্ড এমএল ওয়ার্কলোডগুলি পরিবেশন করে৷ হিসাবে একটি সেরা অনুশীলন হিসাবে AWS দ্বারা সুপারিশ করা হয়েছে, গ্রাহকরা ব্যবহারকারীদের জন্য নীতি পরিচালনাকে সহজ করতে এবং কাজের চাপ এবং অ্যাকাউন্ট দ্বারা সংস্থানগুলিকে আলাদা করতে পৃথক অ্যাকাউন্ট ব্যবহার করেছেন। যাইহোক, যখন আরও ব্যবহারকারী এবং দল ক্লাউডে ML প্ল্যাটফর্ম ব্যবহার করে, তখন একটি স্কেলিং মাল্টি-অ্যাকাউন্ট পরিবেশে বৃহৎ ML ওয়ার্কলোডগুলি পর্যবেক্ষণ করা আরও চ্যালেঞ্জিং হয়ে ওঠে। আরও ভাল পর্যবেক্ষণের জন্য, গ্রাহকরা ক্রস-অ্যাকাউন্ট রিসোর্স ব্যবহার এবং ট্র্যাক কার্যকলাপগুলি নিরীক্ষণ করার জন্য সমাধান খুঁজছেন, যেমন চাকরির প্রবর্তন এবং চলমান অবস্থা, যা তাদের এমএল গভর্নেন্স এবং পরিচালনার প্রয়োজনীয়তার জন্য অপরিহার্য।
সেজমেকার পরিষেবাগুলি, যেমন প্রক্রিয়াকরণ, প্রশিক্ষণ এবং হোস্টিং, চলমান উদাহরণগুলি থেকে মেট্রিক্স এবং লগ সংগ্রহ করে এবং সেগুলিকে ব্যবহারকারীদের কাছে ঠেলে দেয় অ্যামাজন ক্লাউডওয়াচ হিসাব বিভিন্ন অ্যাকাউন্টে এই চাকরির বিশদ বিবরণ দেখতে, আপনাকে প্রতিটি অ্যাকাউন্টে লগ ইন করতে হবে, সংশ্লিষ্ট চাকরিগুলি খুঁজে বের করতে হবে এবং স্থিতি দেখতে হবে। কাচের কোন একক ফলক নেই যা সহজেই এই ক্রস-অ্যাকাউন্ট এবং বহু-চাকরীর তথ্য দেখাতে পারে। উপরন্তু, ক্লাউড অ্যাডমিন টিমকে বিভিন্ন সেজমেকার ওয়ার্কলোড অ্যাকাউন্টে ব্যক্তিদের অ্যাক্সেস প্রদান করতে হবে, যা ক্লাউড প্ল্যাটফর্ম টিমের জন্য অতিরিক্ত ব্যবস্থাপনা ওভারহেড যোগ করে।
এই পোস্টে, আমরা একটি ক্রস-অ্যাকাউন্ট অবজারবিবিলিটি ড্যাশবোর্ড উপস্থাপন করি যা একাধিক অ্যাকাউন্ট জুড়ে SageMaker ব্যবহারকারীর ক্রিয়াকলাপ এবং সংস্থান নিরীক্ষণের জন্য একটি কেন্দ্রীভূত দৃশ্য প্রদান করে। এটি শেষ-ব্যবহারকারী এবং ক্লাউড ম্যানেজমেন্ট টিমকে এমএল ওয়ার্কলোডগুলি কী চলছে তা দক্ষতার সাথে নিরীক্ষণ করতে, এই কাজের লোডগুলির স্থিতি দেখতে এবং নির্দিষ্ট সময়ে বিভিন্ন অ্যাকাউন্টের কার্যকলাপগুলিকে ট্রেস করার অনুমতি দেয়৷ এই ড্যাশবোর্ডের সাহায্যে, আপনাকে SageMaker কনসোল থেকে নেভিগেট করতে হবে না এবং কাজের লগের বিশদ বিবরণ খুঁজতে প্রতিটি কাজের মধ্যে ক্লিক করতে হবে। পরিবর্তে, আপনি সহজেই চলমান চাকরি এবং কাজের স্থিতি দেখতে পারেন, কাজের সমস্যাগুলি সমাধান করতে পারেন এবং যখন ভাগ করা অ্যাকাউন্টগুলিতে সমস্যাগুলি চিহ্নিত করা হয়, যেমন চাকরির ব্যর্থতা, কম ব্যবহার করা সংস্থান এবং আরও অনেক কিছুতে সতর্কতা সেট আপ করতে পারেন৷ এছাড়াও আপনি এই কেন্দ্রীভূত মনিটরিং ড্যাশবোর্ডে অ্যাক্সেস নিয়ন্ত্রণ করতে পারেন বা অডিটিং এবং পরিচালনার প্রয়োজনীয়তার জন্য প্রাসঙ্গিক কর্তৃপক্ষের সাথে ড্যাশবোর্ড ভাগ করতে পারেন।
সমাধান ওভারভিউ
এই সমাধানটি একটি মাল্টি-অ্যাকাউন্ট পরিবেশ জুড়ে সেজমেকার চাকরি এবং ক্রিয়াকলাপগুলির কেন্দ্রীভূত পর্যবেক্ষণ সক্ষম করার জন্য ডিজাইন করা হয়েছে। সমাধান কোন নির্ভরতা আছে ডিজাইন করা হয়েছে এডব্লিউএস সংস্থা, কিন্তু একটি সংস্থায় সহজেই গ্রহণ করা যেতে পারে বা এডাব্লুএস কন্ট্রোল টাওয়ার পরিবেশ এই সমাধানটি অপারেশন টিমকে কাচের একটি একক ফলক থেকে একাধিক ওয়ার্কলোড অ্যাকাউন্টে ছড়িয়ে থাকা সমস্ত সেজমেকার ওয়ার্কলোডগুলির একটি উচ্চ-স্তরের দৃশ্য দেখতে সাহায্য করতে পারে। এটি সক্ষম করার বিকল্পও রয়েছে CloudWatch ক্রস-অ্যাকাউন্ট পর্যবেক্ষণযোগ্যতা সেজমেকার ওয়ার্কলোড অ্যাকাউন্ট জুড়ে কেন্দ্রীভূত মনিটরিং অ্যাকাউন্ট থেকে মেট্রিক্স, লগ এবং ট্রেসের মতো নিরীক্ষণ টেলিমেট্রিগুলিতে অ্যাক্সেস সরবরাহ করতে। একটি উদাহরণ ড্যাশবোর্ড নিম্নলিখিত স্ক্রিনশট দেখানো হয়েছে.
নিম্নলিখিত চিত্রটি এই কেন্দ্রীভূত ড্যাশবোর্ড সমাধানটির আর্কিটেকচার দেখায়।
SageMaker এর সাথে নেটিভ ইন্টিগ্রেশন আছে অ্যামাজন ইভেন্টব্রিজ, যা SageMaker-এ স্থিতি পরিবর্তন ইভেন্টগুলি নিরীক্ষণ করে। ইভেন্টব্রিজ আপনাকে সেজমেকারকে স্বয়ংক্রিয় করতে এবং প্রশিক্ষণের কাজের স্থিতি পরিবর্তন বা শেষ পয়েন্টের স্থিতি পরিবর্তনের মতো ইভেন্টগুলিতে স্বয়ংক্রিয়ভাবে প্রতিক্রিয়া জানাতে সক্ষম করে। SageMaker থেকে ইভেন্টগুলি ইভেন্টব্রিজে ডেলিভার করা হয় কাছাকাছি-রিয়েল টাইমে৷ ইভেন্টব্রিজ দ্বারা পর্যবেক্ষণ করা সেজমেকার ইভেন্টগুলি সম্পর্কে আরও তথ্যের জন্য, পড়ুন অ্যামাজন ইভেন্টব্রিজের সাথে স্বয়ংক্রিয় অ্যামাজন সেজমেকার. সেজমেকার নেটিভ ইভেন্টগুলি ছাড়াও, AWS CloudTrail আপনি যখন API কল করেন তখন ইভেন্টগুলি প্রকাশ করে, যা ইভেন্টব্রিজেও স্ট্রিম করে যাতে এটি অনেক ডাউনস্ট্রিম অটোমেশন বা পর্যবেক্ষণ ব্যবহারের ক্ষেত্রে ব্যবহার করা যেতে পারে। আমাদের সমাধানে, আমরা সেজমেকার পরিষেবা ইভেন্টগুলি এবং এপিআই ইভেন্টগুলিকে কেন্দ্রীভূত পর্যবেক্ষণের জন্য মনিটরিং অ্যাকাউন্টের ইভেন্ট বাসে স্ট্রিম করতে ওয়ার্কলোড অ্যাকাউন্টগুলিতে ইভেন্টব্রিজ নিয়মগুলি ব্যবহার করি।
কেন্দ্রীভূত মনিটরিং অ্যাকাউন্টে, ইভেন্টগুলি একটি ইভেন্টব্রিজ নিয়ম দ্বারা ক্যাপচার করা হয় এবং আরও বিভিন্ন লক্ষ্যে প্রক্রিয়া করা হয়:
- একটি CloudWatch লগ গ্রুপ, নিম্নলিখিত জন্য ব্যবহার করতে:
- অডিটিং এবং সংরক্ষণাগার উদ্দেশ্য. আরো তথ্যের জন্য, পড়ুন আমাজন ক্লাউডওয়াচ লগ ইউজার গাইড.
- সাথে লগ ডেটা বিশ্লেষণ করা হচ্ছে CloudWatch লগ অন্তর্দৃষ্টি প্রশ্ন CloudWatch লগ ইনসাইট আপনাকে ক্লাউডওয়াচ লগগুলিতে আপনার লগ ডেটা ইন্টারেক্টিভভাবে অনুসন্ধান এবং বিশ্লেষণ করতে সক্ষম করে। অপারেশনাল সমস্যাগুলির জন্য আপনাকে আরও দক্ষতার সাথে এবং কার্যকরভাবে প্রতিক্রিয়া জানাতে সাহায্য করার জন্য আপনি প্রশ্নগুলি সম্পাদন করতে পারেন। যদি একটি সমস্যা দেখা দেয়, আপনি সম্ভাব্য কারণগুলি সনাক্ত করতে এবং স্থাপন করা সংশোধনগুলি যাচাই করতে CloudWatch লগ ইনসাইট ব্যবহার করতে পারেন৷
- ক্লাউডওয়াচ ড্যাশবোর্ডে উচ্চ-স্তরের ক্রিয়াকলাপের জন্য ক্লাউডওয়াচ মেট্রিক্স ইনসাইটস ক্যোয়ারী উইজেটের জন্য সমর্থন, ড্যাশবোর্ডে ক্লাউডওয়াচ ইনসাইট কোয়েরি যোগ করা এবং ক্যোয়ারী ফলাফল রপ্তানি করা।
- An এডাব্লুএস ল্যাম্বদা নিম্নলিখিত কাজগুলি সম্পূর্ণ করার জন্য ফাংশন:
- SageMaker পরিষেবা ইভেন্ট বাড়ানোর জন্য কাস্টম যুক্তি সম্পাদন করুন। একটি উদাহরণ হল SageMaker জব হোস্টের ইউটিলাইজেশন মেট্রিক্সের উপর একটি মেট্রিক কোয়েরি করা যখন একটি কাজ সমাপ্তি ইভেন্ট পাওয়া যায়।
- নির্দিষ্ট লগ ফরম্যাটে ইভেন্ট তথ্যকে মেট্রিক্সে কনভার্ট করুন EMF লগ আরো তথ্যের জন্য, পড়ুন লগের মধ্যে মেট্রিক্স এম্বেড করা.
এই পোস্টে উদাহরণ নেটিভ দ্বারা সমর্থিত CloudWatch ক্রস-অ্যাকাউন্ট পর্যবেক্ষণযোগ্যতা ক্রস-অ্যাকাউন্ট মেট্রিক্স, লগ, এবং ট্রেস অ্যাক্সেস অর্জনের বৈশিষ্ট্য। আর্কিটেকচার ডায়াগ্রামের নীচে দেখানো হিসাবে, এটি ক্রস-অ্যাকাউন্ট মেট্রিক্স এবং লগগুলি সক্ষম করতে এই বৈশিষ্ট্যটির সাথে একীভূত হয়৷ এটি সক্ষম করার জন্য, মনিটরিং অ্যাকাউন্ট এবং সোর্স ওয়ার্কলোড অ্যাকাউন্ট উভয়েই প্রয়োজনীয় অনুমতি এবং সংস্থান তৈরি করতে হবে।
আপনি সংস্থাগুলি দ্বারা পরিচালিত AWS অ্যাকাউন্ট বা স্বতন্ত্র অ্যাকাউন্টগুলির জন্য এই সমাধানটি ব্যবহার করতে পারেন৷ নিম্নলিখিত বিভাগগুলি প্রতিটি দৃশ্যের জন্য পদক্ষেপগুলি ব্যাখ্যা করে। মনে রাখবেন যে প্রতিটি দৃশ্যের মধ্যে, ধাপগুলি বিভিন্ন AWS অ্যাকাউন্টে সঞ্চালিত হয়। আপনার সুবিধার জন্য, ধাপটি সম্পাদন করার জন্য অ্যাকাউন্টের ধরন প্রতিটি ধাপের শুরুতে হাইলাইট করা হয়েছে।
পূর্বশর্ত
এই পদ্ধতিটি শুরু করার আগে, থেকে আমাদের সোর্স কোড ক্লোন করুন গিটহুব রেপো আপনার স্থানীয় পরিবেশে বা এডাব্লুএস ক্লাউড 9. উপরন্তু, আপনি নিম্নলিখিত প্রয়োজন:
একটি সংস্থার পরিবেশে সমাধান স্থাপন করুন
যদি মনিটরিং অ্যাকাউন্ট এবং সমস্ত সেজমেকার ওয়ার্কলোড অ্যাকাউন্টগুলি একই সংস্থায় থাকে, তাহলে সোর্স ওয়ার্কলোড অ্যাকাউন্টগুলির প্রয়োজনীয় পরিকাঠামো একটি স্বয়ংক্রিয়ভাবে তৈরি হয় এডাব্লুএস ক্লাউডফর্মেশন প্রতিষ্ঠানের ব্যবস্থাপনা অ্যাকাউন্ট থেকে স্ট্যাকসেট। অতএব, সোর্স ওয়ার্কলোড অ্যাকাউন্টগুলিতে কোনও ম্যানুয়াল অবকাঠামো স্থাপনের প্রয়োজন নেই। যখন একটি নতুন অ্যাকাউন্ট তৈরি করা হয় বা একটি বিদ্যমান অ্যাকাউন্ট একটি টার্গেট সাংগঠনিক ইউনিটে (OU) স্থানান্তরিত হয়, তখন সোর্স ওয়ার্কলোড অবকাঠামো স্ট্যাক স্বয়ংক্রিয়ভাবে স্থাপন করা হবে এবং কেন্দ্রীভূত পর্যবেক্ষণের সুযোগে অন্তর্ভুক্ত করা হবে।
নিরীক্ষণ অ্যাকাউন্ট সম্পদ সেট আপ করুন
মনিটরিং অ্যাকাউন্ট রিসোর্স সেট আপ করতে আমাদের নিম্নলিখিত AWS অ্যাকাউন্ট তথ্য সংগ্রহ করতে হবে, যা আমরা পরে সেটআপ স্ক্রিপ্টের জন্য ইনপুট হিসাবে ব্যবহার করি।
ইনপুট | বিবরণ | উদাহরণ |
হোম অঞ্চল | যে অঞ্চলে কাজের চাপ চলে। | ap-southeast-2 |
পর্যবেক্ষণ অ্যাকাউন্ট AWS CLI প্রোফাইল নাম | আপনি থেকে প্রোফাইল নাম খুঁজে পেতে পারেন ~/.aws/config . এটি ঐচ্ছিক। প্রদান না করা হলে, এটি চেইন থেকে ডিফল্ট AWS শংসাপত্র ব্যবহার করে। |
. |
SageMaker কাজের চাপ OU পথ | OU পাথ যেটিতে SageMaker ওয়ার্কলোড অ্যাকাউন্ট রয়েছে৷ রাখা / পথের শেষে |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
OU পাথ পুনরুদ্ধার করতে, আপনি সংগঠন কনসোলে যেতে পারেন, এবং নীচে এডাব্লুএস অ্যাকাউন্ট, OU পাথ নির্মাণের জন্য তথ্য খুঁজুন। নিম্নলিখিত উদাহরণের জন্য, সংশ্লিষ্ট OU পাথ হল o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
আপনি এই তথ্য পুনরুদ্ধার করার পরে, পর্যবেক্ষণ অ্যাকাউন্টে প্রয়োজনীয় সংস্থান স্থাপন করতে নিম্নলিখিত কমান্ডটি চালান:
আপনি স্থাপনা থেকে নিম্নলিখিত আউটপুট পেতে পারেন. ম্যানেজমেন্ট অ্যাকাউন্ট স্ট্যাক স্থাপন করার সময় পরবর্তী ধাপে ব্যবহার করার জন্য আউটপুটগুলির একটি নোট রাখুন।
ব্যবস্থাপনা অ্যাকাউন্ট সম্পদ সেট আপ করুন
ম্যানেজমেন্ট অ্যাকাউন্ট রিসোর্স সেট আপ করতে আমাদের নিম্নলিখিত AWS অ্যাকাউন্ট তথ্য সংগ্রহ করতে হবে, যা আমরা পরে সেটআপ স্ক্রিপ্টের জন্য ইনপুট হিসাবে ব্যবহার করি।
ইনপুট | বিবরণ | উদাহরণ |
হোম অঞ্চল | যে অঞ্চলে কাজের চাপ চলে। এটি পর্যবেক্ষণ স্ট্যাকের মতোই হওয়া উচিত। | ap-southeast-2 |
ম্যানেজমেন্ট অ্যাকাউন্ট AWS CLI প্রোফাইল নাম | আপনি থেকে প্রোফাইল নাম খুঁজে পেতে পারেন ~/.aws/config . এটি ঐচ্ছিক। প্রদান না করা হলে, এটি চেইন থেকে ডিফল্ট AWS শংসাপত্র ব্যবহার করে। |
. |
সেজমেকার ওয়ার্কলোড OU আইডি | এখানে আমরা শুধু OU ID ব্যবহার করি, পাথ নয়। | ou-saaa-1a2b3c4d |
নিরীক্ষণ অ্যাকাউন্ট আইডি | অ্যাকাউন্ট আইডি যেখানে মনিটরিং স্ট্যাক স্থাপন করা হয়। | . |
নিরীক্ষণ অ্যাকাউন্ট ভূমিকা নাম | জন্য আউটপুট MonitoringAccountRoleName আগের ধাপ থেকে। |
. |
নিরীক্ষণ অ্যাকাউন্ট ইভেন্ট বাস ARN | জন্য আউটপুট MonitoringAccountEventbusARN আগের ধাপ থেকে। |
. |
নিরীক্ষণ অ্যাকাউন্ট সিঙ্ক শনাক্তকারী | থেকে আউটপুট MonitoringAccountSinkIdentifier আগের ধাপ থেকে। |
. |
আপনি নিম্নলিখিত কমান্ডটি চালিয়ে ব্যবস্থাপনা অ্যাকাউন্ট সংস্থান স্থাপন করতে পারেন:
একটি অ-সংস্থা পরিবেশে সমাধান স্থাপন করুন
যদি আপনার পরিবেশ সংস্থাগুলি ব্যবহার না করে, তবে নিরীক্ষণ অ্যাকাউন্ট পরিকাঠামো স্ট্যাক একই পদ্ধতিতে স্থাপন করা হয় তবে কয়েকটি পরিবর্তনের সাথে। যাইহোক, ওয়ার্কলোড ইনফ্রাস্ট্রাকচার স্ট্যাক প্রতিটি ওয়ার্কলোড অ্যাকাউন্টে ম্যানুয়ালি স্থাপন করা প্রয়োজন। অতএব, এই পদ্ধতিটি সীমিত সংখ্যক অ্যাকাউন্ট সহ পরিবেশের জন্য উপযুক্ত। একটি বড় পরিবেশের জন্য, সংস্থাগুলি ব্যবহার করার কথা বিবেচনা করার পরামর্শ দেওয়া হয়৷
নিরীক্ষণ অ্যাকাউন্ট সম্পদ সেট আপ করুন
মনিটরিং অ্যাকাউন্ট রিসোর্স সেট আপ করতে আমাদের নিম্নলিখিত AWS অ্যাকাউন্ট তথ্য সংগ্রহ করতে হবে, যা আমরা পরে সেটআপ স্ক্রিপ্টের জন্য ইনপুট হিসাবে ব্যবহার করি।
ইনপুট | বিবরণ | উদাহরণ |
হোম অঞ্চল | যে অঞ্চলে কাজের চাপ চলে। | ap-southeast-2 |
সেজমেকার ওয়ার্কলোড অ্যাকাউন্ট তালিকা | কমা দ্বারা পৃথক করা সেজমেকার ওয়ার্কলোড এবং স্ট্রিম ইভেন্টগুলিকে পর্যবেক্ষণ অ্যাকাউন্টে চালায় এমন অ্যাকাউন্টগুলির একটি তালিকা। | 111111111111,222222222222 |
পর্যবেক্ষণ অ্যাকাউন্ট AWS CLI প্রোফাইল নাম | আপনি থেকে প্রোফাইল নাম খুঁজে পেতে পারেন ~/.aws/config . এটি ঐচ্ছিক। প্রদান না করা হলে, এটি চেইন থেকে ডিফল্ট AWS শংসাপত্র ব্যবহার করে। |
. |
আপনি প্রয়োজনীয় তথ্য সংগ্রহ করার পরে আমরা নিম্নলিখিত কমান্ডটি চালিয়ে পর্যবেক্ষণ অ্যাকাউন্ট সংস্থানগুলি স্থাপন করতে পারি:
স্থাপনা সম্পূর্ণ হলে আমরা নিম্নলিখিত আউটপুটগুলি পাই। ম্যানেজমেন্ট অ্যাকাউন্ট স্ট্যাক স্থাপন করার সময় পরবর্তী ধাপে ব্যবহার করার জন্য আউটপুটগুলির একটি নোট রাখুন।
কাজের চাপ অ্যাকাউন্ট পর্যবেক্ষণ পরিকাঠামো সেট আপ করুন
ওয়ার্কলোড অ্যাকাউন্ট পর্যবেক্ষণ পরিকাঠামো সেট আপ করতে আমাদের নিম্নলিখিত AWS অ্যাকাউন্ট তথ্য সংগ্রহ করতে হবে, যা আমরা পরে সেটআপ স্ক্রিপ্টের জন্য ইনপুট হিসাবে ব্যবহার করি।
ইনপুট | বিবরণ | উদাহরণ |
হোম অঞ্চল | যে অঞ্চলে কাজের চাপ চলে। এটি পর্যবেক্ষণ স্ট্যাকের মতোই হওয়া উচিত। | ap-southeast-2 |
নিরীক্ষণ অ্যাকাউন্ট আইডি | অ্যাকাউন্ট আইডি যেখানে মনিটরিং স্ট্যাক স্থাপন করা হয়। | . |
নিরীক্ষণ অ্যাকাউন্ট ভূমিকা নাম | জন্য আউটপুট MonitoringAccountRoleName আগের ধাপ থেকে। |
. |
নিরীক্ষণ অ্যাকাউন্ট ইভেন্ট বাস ARN | জন্য আউটপুট MonitoringAccountEventbusARN আগের ধাপ থেকে। |
. |
নিরীক্ষণ অ্যাকাউন্ট সিঙ্ক শনাক্তকারী | থেকে আউটপুট MonitoringAccountSinkIdentifier আগের ধাপ থেকে। |
. |
ওয়ার্কলোড অ্যাকাউন্ট AWS CLI প্রোফাইল নাম | আপনি থেকে প্রোফাইল নাম খুঁজে পেতে পারেন ~/.aws/config . এটি ঐচ্ছিক। প্রদান না করা হলে, এটি চেইন থেকে ডিফল্ট AWS শংসাপত্র ব্যবহার করে। |
. |
আমরা নিম্নলিখিত কমান্ডটি চালিয়ে পর্যবেক্ষণ অ্যাকাউন্ট সংস্থান স্থাপন করতে পারি:
ক্লাউডওয়াচ ড্যাশবোর্ডে ML কার্যগুলি কল্পনা করুন৷
সমাধানটি কাজ করে কিনা তা পরীক্ষা করার জন্য, আমাদের একাধিক সেজমেকার প্রসেসিং জব এবং সেজমেকার ট্রেনিং জব চালানো দরকার যেগুলি আমরা পূর্ববর্তী বিভাগগুলিতে ব্যবহার করেছি। CloudWatch ড্যাশবোর্ড আপনার নিজস্ব পরিস্থিতির উপর ভিত্তি করে কাস্টমাইজযোগ্য। আমাদের নমুনা ড্যাশবোর্ডে সেজমেকার প্রসেসিং জব এবং সেজমেকার ট্রেনিং জব ভিজ্যুয়ালাইজ করার জন্য উইজেট রয়েছে। ওয়ার্কলোড অ্যাকাউন্ট নিরীক্ষণের জন্য সমস্ত কাজ এই ড্যাশবোর্ডে প্রদর্শিত হয়। প্রতিটি ধরনের কাজের ক্ষেত্রে, আমরা তিনটি উইজেট দেখাই, যেটি হল মোট কাজের সংখ্যা, ব্যর্থ কাজের সংখ্যা এবং প্রতিটি কাজের বিবরণ। আমাদের উদাহরণে, আমাদের দুটি কাজের চাপ অ্যাকাউন্ট আছে। এই ড্যাশবোর্ডের মাধ্যমে, আমরা সহজেই জানতে পারি যে একটি ওয়ার্কলোড অ্যাকাউন্টে প্রসেসিং কাজ এবং প্রশিক্ষণের কাজ উভয়ই রয়েছে এবং অন্য একটি ওয়ার্কলোড অ্যাকাউন্টে শুধুমাত্র প্রশিক্ষণের কাজ রয়েছে। ক্লাউডওয়াচ-এ আমরা যে ফাংশনগুলি ব্যবহার করি তার মতো, আমরা রিফ্রেশ ব্যবধান সেট করতে পারি, গ্রাফের ধরন নির্দিষ্ট করতে পারি এবং জুম ইন বা আউট করতে পারি, অথবা আমরা একটি CSV ফাইলে লগ ডাউনলোড করার মতো অ্যাকশন চালাতে পারি।
আপনার ড্যাশবোর্ড কাস্টমাইজ করুন
GitHub রেপোতে দেওয়া সমাধানের মধ্যে সেজমেকার ট্রেনিং জব এবং সেজমেকার প্রসেসিং জব মনিটরিং উভয়ই অন্তর্ভুক্ত রয়েছে। আপনি যদি অন্যান্য SageMaker কাজগুলি যেমন ব্যাচ ট্রান্সফর্ম জবগুলি নিরীক্ষণ করতে আরও ড্যাশবোর্ড যুক্ত করতে চান তবে আপনি আপনার ড্যাশবোর্ড কাস্টমাইজ করতে এই বিভাগে নির্দেশাবলী অনুসরণ করতে পারেন৷ পরিবর্তন করে index.py ফাইল, আপনি ড্যাশবোর্ডে যে ক্ষেত্রগুলি প্রদর্শন করতে চান তা কাস্টমাইজ করতে পারেন৷ আপনি ইভেন্টব্রিজের মাধ্যমে ক্লাউডওয়াচ দ্বারা ক্যাপচার করা সমস্ত বিবরণ অ্যাক্সেস করতে পারেন। Lambda ফাংশনে, আপনি প্রয়োজনীয় ক্ষেত্রগুলি বেছে নিতে পারেন যা আপনি ড্যাশবোর্ডে প্রদর্শন করতে চান। নিম্নলিখিত কোড দেখুন:
ড্যাশবোর্ড বা উইজেট কাস্টমাইজ করতে, আপনি সোর্স কোড পরিবর্তন করতে পারেন monitoring-account-infra-stack.ts ফাইল. মনে রাখবেন যে এই ফাইলটিতে আপনি যে ক্ষেত্রের নামগুলি ব্যবহার করেন সেগুলি একই হওয়া উচিত (এর কী job_detail
) ল্যাম্বডা ফাইলে সংজ্ঞায়িত:
আপনি ড্যাশবোর্ড পরিবর্তন করার পরে, আপনাকে স্ক্র্যাচ থেকে এই সমাধানটি পুনরায় স্থাপন করতে হবে। আপনি সেজমেকার পাইপলাইন পুনরায় চালানোর জন্য গিটহাব রেপোতে দেওয়া জুপিটার নোটবুকটি চালাতে পারেন, যা সেজমেকার প্রসেসিং কাজগুলি আবার চালু করবে। কাজগুলি শেষ হয়ে গেলে, আপনি CloudWatch কনসোলে যেতে পারেন, এবং নীচে ড্যাশবোর্ডের নেভিগেশন ফলকে, নির্বাচন করুন কাস্টম ড্যাশবোর্ড. আপনি SageMaker-Monitoring-Dashboard নামের ড্যাশবোর্ডটি খুঁজে পেতে পারেন।
পরিষ্কার কর
আপনার যদি এই কাস্টম ড্যাশবোর্ডের আর প্রয়োজন না হয়, আপনি সংস্থানগুলি পরিষ্কার করতে পারেন৷ তৈরি করা সমস্ত সংস্থান মুছতে, এই বিভাগে কোডটি ব্যবহার করুন। একটি প্রতিষ্ঠানের পরিবেশ বনাম একটি অ-সংস্থার পরিবেশের জন্য পরিচ্ছন্নতা কিছুটা আলাদা।
একটি প্রতিষ্ঠানের পরিবেশের জন্য, নিম্নলিখিত কোড ব্যবহার করুন:
একটি অ-সংস্থা পরিবেশের জন্য, নিম্নলিখিত কোড ব্যবহার করুন:
বিকল্পভাবে, আপনি মনিটরিং অ্যাকাউন্ট, ওয়ার্কলোড অ্যাকাউন্ট এবং ম্যানেজমেন্ট অ্যাকাউন্টে লগ ইন করতে পারেন CloudFormation কনসোল থেকে স্ট্যাকগুলি মুছুন.
উপসংহার
এই পোস্টে, আমরা ক্লাউডওয়াচ ব্যবহার করে সেজমেকারের জন্য একটি কেন্দ্রীভূত পর্যবেক্ষণ এবং রিপোর্টিং সমাধান বাস্তবায়ন নিয়ে আলোচনা করেছি। এই পোস্টে বর্ণিত ধাপে ধাপে নির্দেশাবলী অনুসরণ করে, আপনি একটি মাল্টি-অ্যাকাউন্ট মনিটরিং ড্যাশবোর্ড তৈরি করতে পারেন যা মূল মেট্রিক্স প্রদর্শন করে এবং রিয়েল টাইমে বিভিন্ন অ্যাকাউন্ট থেকে তাদের বিভিন্ন সেজমেকার কাজের সাথে সম্পর্কিত লগগুলিকে একত্রিত করে। এই সেন্ট্রালাইজড মনিটরিং ড্যাশবোর্ডের সাহায্যে, আপনি একাধিক অ্যাকাউন্ট জুড়ে SageMaker কাজের ক্রিয়াকলাপগুলিতে আরও ভাল দৃশ্যমানতা পেতে পারেন, সমস্যাগুলি আরও দ্রুত সমাধান করতে পারেন এবং রিয়েল-টাইম ডেটার উপর ভিত্তি করে জ্ঞাত সিদ্ধান্ত নিতে পারেন। সামগ্রিকভাবে, ক্লাউডওয়াচ ব্যবহার করে একটি কেন্দ্রীভূত মনিটরিং এবং রিপোর্টিং সমাধানের বাস্তবায়ন সংস্থাগুলিকে তাদের ক্লাউড-ভিত্তিক এমএল অবকাঠামো এবং সংস্থান ব্যবহার পরিচালনা করার জন্য একটি কার্যকর উপায় সরবরাহ করে।
সমাধান চেষ্টা করে দেখুন এবং আমাদের প্রতিক্রিয়া পাঠান, হয় অ্যামাজন সেজমেকারের জন্য AWS ফোরাম, অথবা আপনার সাধারণ AWS পরিচিতির মাধ্যমে।
ক্রস-অ্যাকাউন্ট পর্যবেক্ষণ বৈশিষ্ট্য সম্পর্কে আরও জানতে, অনুগ্রহ করে ব্লগটি পড়ুন আমাজন ক্লাউডওয়াচ ক্রস-অ্যাকাউন্ট পর্যবেক্ষণযোগ্যতা
লেখক সম্পর্কে
জি ডং অস্ট্রেলিয়ার সিডনিতে অবস্থিত একজন AWS ক্লাউড আর্কিটেক্ট। Jie অটোমেশন সম্পর্কে উত্সাহী, এবং গ্রাহকদের উত্পাদনশীলতা উন্নত করতে সহায়তা করার জন্য সমাধানগুলি বিকাশ করতে পছন্দ করে। ইভেন্ট-চালিত সিস্টেম এবং সার্ভারহীন কাঠামো তার দক্ষতা। নিজের সময়ে, জি স্মার্ট হোম তৈরির কাজ করতে এবং নতুন স্মার্ট হোম গ্যাজেটগুলি অন্বেষণ করতে পছন্দ করে।
মেলানিয়া লি, পিএইচডি, অস্ট্রেলিয়ার সিডনিতে অবস্থিত AWS-এর একজন সিনিয়র AI/ML বিশেষজ্ঞ TAM। তিনি এন্টারপ্রাইজ গ্রাহকদের AWS-এ অত্যাধুনিক AI/ML টুল ব্যবহার করে সমাধান তৈরি করতে সাহায্য করেন এবং সর্বোত্তম অনুশীলনের সাথে ML সলিউশনের স্থাপত্য ও বাস্তবায়নের নির্দেশনা প্রদান করেন। তার অবসর সময়ে, তিনি প্রকৃতি অন্বেষণ করতে এবং পরিবার এবং বন্ধুদের সাথে সময় কাটাতে পছন্দ করেন।
গর্ডন ওয়াং, AWS-এ একজন সিনিয়র AI/ML বিশেষজ্ঞ TAM। তিনি কৌশলগত গ্রাহকদের সমর্থন করেন AI/ML সর্বোত্তম অনুশীলনের মাধ্যমে অনেক শিল্পে। তিনি কম্পিউটার ভিশন, এনএলপি, জেনারেটিভ এআই এবং এমএলওপি সম্পর্কে উত্সাহী। তার অবসর সময়ে, তিনি দৌড় এবং হাইকিং পছন্দ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- চার্টপ্রাইম। ChartPrime এর সাথে আপনার ট্রেডিং গেমটি উন্নত করুন। এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- সম্পর্কে
- প্রবেশ
- হিসাব
- অ্যাকাউন্টস
- অর্জন করা
- দিয়ে
- স্টক
- ক্রিয়াকলাপ
- যোগ
- যোগ
- যোগ
- অতিরিক্ত
- উপরন্তু
- যোগ করে
- অ্যাডমিন
- গৃহীত
- পর
- আবার
- বিরুদ্ধে
- AI
- এআই / এমএল
- সতর্কতা
- সব
- অনুমতি
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষণ করা
- এবং
- অন্য
- API
- স্থাপত্য
- সংরক্ষাণাগার
- রয়েছি
- AS
- At
- নিরীক্ষণ
- অস্ট্রেলিয়া
- কর্তৃপক্ষ
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়তা
- ডেস্কটপ AWS
- পিছনে
- ভিত্তি
- BE
- হয়ে
- শুরু
- সর্বোত্তম
- সেরা অভ্যাস
- উত্তম
- ব্লগ
- উভয়
- পাদ
- নির্মাণ করা
- ভবন
- বাস
- কিন্তু
- by
- কল
- CAN
- পেতে পারি
- আধৃত
- মামলা
- কারণসমূহ
- কেন্দ্রীভূত
- কিছু
- চেন
- চ্যালেঞ্জিং
- পরিবর্তন
- পরিবর্তন
- চেক
- বেছে নিন
- ক্লিক
- মেঘ
- ক্লাউড প্ল্যাটফর্ম
- কোড
- সংগ্রহ করা
- সম্পূর্ণ
- পরিপূরণ
- ব্যাপক
- কম্পিউটার
- কম্পিউটার ভিশন
- বিবেচনা
- গঠিত
- কনসোল
- consolidates
- গঠন করা
- যোগাযোগ
- প্রসঙ্গ
- নিয়ন্ত্রণ
- সুবিধা
- অনুরূপ
- সৃষ্টি
- নির্মিত
- পরিচয়পত্র
- ক্রস
- প্রথা
- ক্রেতা
- গ্রাহকদের
- স্বনির্ধারিত
- কাস্টমাইজ
- ড্যাশবোর্ড
- ড্যাশবোর্ডের
- উপাত্ত
- সিদ্ধান্ত
- ডিফল্ট
- সংজ্ঞায়িত
- নিষ্কৃত
- বশ্যতা
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- পরিকল্পিত
- বিস্তারিত
- বিস্তারিত
- বিকাশ
- বিভিন্ন
- আলোচনা
- প্রদর্শন
- প্রদর্শিত
- প্রদর্শন
- না
- Dont
- ডাউনলোড
- স্থিতিকাল
- e
- প্রতি
- সহজে
- কার্যকরীভাবে
- দক্ষ
- দক্ষতার
- পারেন
- সক্ষম করা
- সম্ভব
- শেষ
- সর্বশেষ সীমা
- শেষপ্রান্ত
- উদ্যোগ
- পরিবেশ
- অপরিহার্য
- ঘটনা
- ঘটনাবলী
- উদাহরণ
- ছাড়া
- এক্সিকিউট
- বিদ্যমান
- ল্যাপারোস্কোপিক পদ্ধতি
- ব্যাখ্যা করা
- অন্বেষণ করুণ
- অভিব্যক্তি
- ব্যর্থ
- ব্যর্থতা
- ব্যর্থতা
- মিথ্যা
- পরিবার
- বৈশিষ্ট্য
- প্রতিক্রিয়া
- কয়েক
- ক্ষেত্র
- ক্ষেত্রসমূহ
- ফাইল
- ছাঁকনি
- আবিষ্কার
- অনুসরণ করা
- অনুসরণ
- জন্য
- ফোরাম
- ফ্রেমওয়ার্ক
- বন্ধুদের
- থেকে
- সম্পূর্ণরূপে
- ক্রিয়া
- ক্রিয়াকলাপ
- অধিকতর
- তদ্ব্যতীত
- গ্যাজেটস
- সৃজক
- জেনারেটিভ এআই
- পাওয়া
- GitHub
- কাচ
- Go
- শাসন
- চিত্রলেখ
- গ্রুপ
- পথপ্রদর্শন
- আছে
- he
- উচ্চতা
- সাহায্য
- সাহায্য
- তার
- উচ্চস্তর
- হাইলাইট করা
- তার
- ইতিহাস
- হোম
- নিমন্ত্রণকর্তা
- হোস্টিং
- যাহোক
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- ID
- চিহ্নিত
- সনাক্ত করা
- if
- বাস্তবায়ন
- বাস্তবায়ন
- উন্নত করা
- in
- অন্তর্ভুক্ত
- অন্তর্ভুক্ত
- ব্যক্তি
- শিল্প
- তথ্য
- অবগত
- পরিকাঠামো
- ইনপুট
- অর্ন্তদৃষ্টি
- পরিবর্তে
- নির্দেশাবলী
- সংহত
- ইন্টিগ্রেশন
- মধ্যে
- সমস্যা
- সমস্যা
- IT
- কাজ
- জবস
- JPG
- মাত্র
- রাখা
- চাবি
- কী
- লেবেল
- বড়
- পরে
- শুরু করা
- শিখতে
- শিক্ষা
- বাম
- সীমিত
- তালিকা
- স্থানীয়
- লগ ইন করুন
- যুক্তিবিদ্যা
- আর
- দেখুন
- খুঁজছি
- ভালবাসে
- মেশিন
- মেশিন লার্নিং
- করা
- পরিচালনা করা
- পরিচালিত
- ব্যবস্থাপনা
- ব্যবস্থাপনা দল
- পদ্ধতি
- ম্যানুয়াল
- ম্যানুয়ালি
- অনেক
- পদ্ধতি
- ছন্দোময়
- ছন্দোবিজ্ঞান
- ML
- এমএলওএস
- পরিবর্তন
- মনিটর
- পর্যবেক্ষণ করা
- পর্যবেক্ষণ
- মনিটর
- অধিক
- সরানো হয়েছে
- বহু
- নাম
- নামে
- নাম
- স্থানীয়
- প্রকৃতি
- নেভিগেট করুন
- ন্যাভিগেশন
- প্রয়োজনীয়
- প্রয়োজন
- চাহিদা
- নতুন
- পরবর্তী
- NLP
- না।
- না
- নোটবই
- সংখ্যা
- of
- অফার
- on
- ONE
- কেবল
- অপারেশন
- কর্মক্ষম
- অপারেশনস
- পছন্দ
- or
- সংগঠন
- সাংগঠনিক
- সংগঠন
- অন্যান্য
- আমাদের
- বাইরে
- রূপরেখা
- আউটপুট
- সামগ্রিক
- নিজের
- শার্সি
- পরামিতি
- কামুক
- পথ
- সম্পাদন করা
- সম্পাদিত
- করণ
- অনুমতি
- পিএইচডি
- পাইপলাইন
- মাচা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- পয়েন্ট
- নীতি
- পোস্ট
- সম্ভাব্য
- চর্চা
- বর্তমান
- আগে
- কার্যপ্রণালী
- প্রক্রিয়াকৃত
- প্রক্রিয়াজাতকরণ
- প্রমোদ
- প্রোফাইল
- প্রদান
- প্রদত্ত
- উপলব্ধ
- প্রকাশ
- উদ্দেশ্য
- ধাক্কা
- প্রশ্নের
- দ্রুত
- বাস্তব
- প্রকৃত সময়
- রিয়েল-টাইম ডেটা
- গৃহীত
- সুপারিশ করা
- এলাকা
- সংশ্লিষ্ট
- প্রাসঙ্গিক
- প্রতিবেদন
- প্রয়োজনীয়
- আবশ্যকতা
- সংস্থান
- Resources
- প্রতিক্রিয়া
- ফলাফল
- অধিকার
- ভূমিকা
- নিয়ম
- নিয়ম
- চালান
- দৌড়
- ঋষি নির্মাতা
- একই
- আরোহী
- দৃশ্যকল্প
- পরিস্থিতিতে
- সুযোগ
- আঁচড়ের দাগ
- সার্চ
- অধ্যায়
- বিভাগে
- দেখ
- পাঠান
- জ্যেষ্ঠ
- আলাদা
- পরিবেশন করা
- Serverless
- সেবা
- সেবা
- সেট
- সেটআপ
- শেয়ার
- ভাগ
- সে
- উচিত
- প্রদর্শনী
- প্রদর্শিত
- শো
- অনুরূপ
- সহজতর করা
- একক
- কিছুটা ভিন্ন
- স্মার্ট
- স্মার্ট হোম
- So
- সমাধান
- সলিউশন
- উৎস
- সোর্স কোড
- বিশেষজ্ঞ
- ব্যয় করা
- বিস্তার
- গাদা
- স্তুপীকৃত
- স্ট্যাক
- স্বতন্ত্র
- শুরু হচ্ছে
- রাষ্ট্র-এর-শিল্প
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- কৌশলগত
- প্রবাহ
- স্ট্রিম
- এমন
- উপযুক্ত
- সমর্থিত
- সমর্থন
- সিডনি
- পদ্ধতি
- টেবিল
- লক্ষ্য
- লক্ষ্যমাত্রা
- কাজ
- টীম
- দল
- যে
- সার্জারির
- গ্রাফ
- তথ্য
- উৎস
- তাদের
- তাহাদিগকে
- সেখানে।
- অতএব
- এইগুলো
- এই
- সেগুলো
- তিন
- দ্বারা
- সময়
- শিরনাম
- থেকে
- সরঞ্জাম
- মোট
- চিহ্ন
- পথ
- প্রশিক্ষণ
- রুপান্তর
- সত্য
- চেষ্টা
- দুই
- আদর্শ
- অধীনে
- অপ্রত্যাশিত
- একক
- us
- ব্যবহার
- ব্যবহার
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- ব্যবহার
- যাচাই করুন
- মূল্য
- বিভিন্ন
- মাধ্যমে
- চেক
- দৃষ্টিপাত
- দৃষ্টি
- vs
- প্রয়োজন
- উপায়..
- we
- ওয়েব
- ওয়েব সার্ভিস
- কি
- কখন
- যে
- প্রস্থ
- ইচ্ছা
- সঙ্গে
- মধ্যে
- হয়া যাই ?
- কাজ
- আপনি
- আপনার
- zephyrnet
- জুম্