Amazon SageMaker-এ রিসোর্স ট্যাগিং ব্যবহার করে ML পরিবেশ এবং কাজের চাপের জন্য এন্টারপ্রাইজ-স্তরের খরচ বরাদ্দ সেট আপ করুন

যেহেতু ব্যবসা এবং আইটি নেতারা মেশিন লার্নিং (ML) গ্রহণকে ত্বরান্বিত করতে চান, তাই এন্টারপ্রাইজের প্রয়োজনীয়তা পূরণের জন্য আপনার ML পরিবেশের জন্য ব্যয় এবং ব্যয় বরাদ্দ বোঝার একটি ক্রমবর্ধমান প্রয়োজন রয়েছে। সঠিক খরচ ব্যবস্থাপনা এবং শাসন ছাড়া, আপনার ML খরচ আপনার মাসিক AWS বিলে চমক সৃষ্টি করতে পারে। আমাজন সেজমেকার ক্লাউডে একটি সম্পূর্ণরূপে পরিচালিত ML প্ল্যাটফর্ম যা আমাদের এন্টারপ্রাইজ গ্রাহকদের খরচ বরাদ্দের ব্যবস্থা স্থাপন করতে এবং আপনার দল, ব্যবসায়িক ইউনিট, পণ্য এবং আরও অনেক কিছুর দ্বারা বিস্তারিত খরচ এবং ব্যবহারে দৃশ্যমানতা উন্নত করতে সরঞ্জাম এবং সংস্থান দিয়ে সজ্জিত করে।

এই পোস্টে, আমরা আপনার সেজমেকার পরিবেশ এবং কাজের চাপের জন্য খরচ বরাদ্দ সংক্রান্ত টিপস এবং সর্বোত্তম অনুশীলনগুলি ভাগ করি। প্রায় সমস্ত AWS পরিষেবা জুড়ে, SageMaker অন্তর্ভুক্ত, সম্পদগুলিতে ট্যাগ প্রয়োগ করা খরচ ট্র্যাক করার একটি আদর্শ উপায়। এই ট্যাগগুলি আপনাকে ট্র্যাক করতে, রিপোর্ট করতে এবং আপনার এমএল খরচের নিরীক্ষণ করতে সাহায্য করতে পারে আউট-দ্য-বক্স সমাধানগুলির মাধ্যমে AWS কস্ট এক্সপ্লোরার এবং AWS বাজেট, সেইসাথে থেকে ডেটার উপর নির্মিত কাস্টম সমাধান AWS খরচ এবং ব্যবহার রিপোর্ট (CURs)।

খরচ বরাদ্দ ট্যাগিং

AWS-এ খরচ বরাদ্দ একটি তিন-পদক্ষেপ প্রক্রিয়া:

1. জোড়া খরচ বরাদ্দ ট্যাগ আপনার সম্পদে।
2. আপনার ট্যাগ সক্রিয় করুন খরচ বরাদ্দ ট্যাগ AWS বিলিং কনসোলের বিভাগ।
3. খরচ বরাদ্দ প্রতিবেদনের জন্য ট্র্যাক এবং ফিল্টার ট্যাগ ব্যবহার করুন.

আপনি সংস্থানগুলিতে ট্যাগগুলি তৈরি এবং সংযুক্ত করার পরে, সেগুলি AWS বিলিং কনসোলে উপস্থিত হয়৷ খরচ বরাদ্দ ট্যাগ অধীন বিভাগ ব্যবহারকারী-সংজ্ঞায়িত খরচ বরাদ্দ ট্যাগ. ট্যাগগুলি তৈরি হওয়ার পরে প্রদর্শিত হতে 24 ঘন্টা পর্যন্ত সময় লাগতে পারে৷ তারপরে আপনার সংস্থানগুলির জন্য সেগুলি ট্র্যাক করা শুরু করতে আপনাকে AWS-এর জন্য এই ট্যাগগুলি সক্রিয় করতে হবে৷ সাধারণত, একটি ট্যাগ সক্রিয় হওয়ার পরে, কস্ট এক্সপ্লোরারে ট্যাগগুলি দেখাতে প্রায় 24-48 ঘন্টা সময় লাগে৷ আপনার ট্যাগগুলি কাজ করছে কিনা তা পরীক্ষা করার সবচেয়ে সহজ উপায় হল Cost Explorer-এর ট্যাগ ফিল্টারে আপনার নতুন ট্যাগ খোঁজা৷ যদি এটি সেখানে থাকে, তাহলে আপনি আপনার খরচ বরাদ্দ প্রতিবেদনের জন্য ট্যাগগুলি ব্যবহার করতে প্রস্তুত৷ তারপরে আপনি ট্যাগ কী দ্বারা আপনার ফলাফলগুলিকে গোষ্ঠীভুক্ত করতে বা ট্যাগ মান দ্বারা ফিল্টার করতে বেছে নিতে পারেন, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে।

একটি জিনিস নোট করুন: আপনি যদি ব্যবহার করেন এডব্লিউএস সংস্থা এবং লিঙ্কযুক্ত AWS অ্যাকাউন্ট আছে, ট্যাগগুলি শুধুমাত্র প্রাথমিক অর্থ প্রদানকারী অ্যাকাউন্টে সক্রিয় করা যেতে পারে। ঐচ্ছিকভাবে, আপনি AWS অ্যাকাউন্টগুলির জন্য CUR সক্রিয় করতে পারেন যা আপনার সক্রিয় ট্যাগ দ্বারা গোষ্ঠীবদ্ধ আপনার ব্যবহার এবং খরচ সহ একটি CSV ফাইল হিসাবে খরচ বরাদ্দ প্রতিবেদন সক্ষম করে। এটি আপনাকে আপনার খরচের আরও বিস্তারিত ট্র্যাকিং দেয় এবং আপনার নিজস্ব কাস্টম রিপোর্টিং সমাধানগুলি সেট আপ করা সহজ করে তোলে৷

সেজমেকারে ট্যাগিং

উচ্চ স্তরে, SageMaker সংস্থানগুলিকে ট্যাগ করা দুটি বালতিতে বিভক্ত করা যেতে পারে:

• SageMaker নোটবুক পরিবেশ ট্যাগ করা, হয় অ্যামাজন সেজমেকার স্টুডিও ডোমেন এবং ডোমেন ব্যবহারকারী, বা SageMaker নোটবুক উদাহরণ
• SageMaker-পরিচালিত কাজগুলি ট্যাগ করা (লেবেলিং, প্রক্রিয়াকরণ, প্রশিক্ষণ, হাইপারপ্যারামিটার টিউনিং, ব্যাচ ট্রান্সফর্ম এবং আরও অনেক কিছু) এবং সংস্থানগুলি (যেমন মডেল, কাজের দল, এন্ডপয়েন্ট কনফিগারেশন এবং এন্ডপয়েন্ট)

আমরা এই পোস্টে এগুলিকে আরও বিশদে কভার করেছি এবং ভাল ট্যাগিং স্বাস্থ্যবিধি নিশ্চিত করার জন্য কীভাবে শাসন নিয়ন্ত্রণ প্রয়োগ করতে হয় তার কিছু সমাধান সরবরাহ করি।

SageMaker স্টুডিও ডোমেন এবং ব্যবহারকারীদের ট্যাগ করা

স্টুডিও হল ML-এর জন্য একটি ওয়েব-ভিত্তিক, ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) যা আপনাকে আপনার ML মডেলগুলি তৈরি, প্রশিক্ষণ, ডিবাগ, স্থাপন এবং নিরীক্ষণ করতে দেয়৷ আপনি স্টুডিও নোটবুকগুলি দ্রুত চালু করতে পারেন, এবং আপনার কাজে বাধা না দিয়ে ডায়নামিকভাবে অন্তর্নিহিত গণনা সংস্থানগুলি ডায়াল করতে বা ডাউন করতে পারেন৷

এই গতিশীল সংস্থানগুলিকে স্বয়ংক্রিয়ভাবে ট্যাগ করার জন্য, আপনাকে সেজমেকার ডোমেন এবং ডোমেন ব্যবহারকারীদের ট্যাগগুলি বরাদ্দ করতে হবে যারা সেই সংস্থানগুলিতে অ্যাক্সেসের ব্যবস্থা করেছেন৷ আপনি ট্যাগ প্যারামিটারে এই ট্যাগগুলি নির্দিষ্ট করতে পারেন তৈরি-ডোমেইন or তৈরি-ব্যবহারকারী-প্রোফাইল প্রোফাইল বা ডোমেন তৈরির সময়, অথবা আপনি পরে এগুলি ব্যবহার করে যুক্ত করতে পারেন ট্যাগ যুক্ত API স্টুডিও স্বয়ংক্রিয়ভাবে ডোমেনে বা নির্দিষ্ট ব্যবহারকারীদের দ্বারা তৈরি স্টুডিও নোটবুকগুলিতে এই ট্যাগগুলি কপি করে এবং বরাদ্দ করে৷ আপনি স্টুডিও কন্ট্রোল প্যানেলে ডোমেন সেটিংস সম্পাদনা করে SageMaker ডোমেনে ট্যাগ যোগ করতে পারেন।

নিম্নলিখিতটি তৈরির সময় প্রোফাইলে ট্যাগ বরাদ্দ করার একটি উদাহরণ।

aws sagemaker create-user-profile --domain-id  --user-profile-name data-scientist-full --tags Key=studiouserid,Value= --user-settings ExecutionRole=arn:aws:iam:::role/SageMakerStudioExecutionRole_datascientist-full

বিদ্যমান ডোমেন এবং ব্যবহারকারীদের ট্যাগ করতে, ব্যবহার করুন add-tags API ট্যাগগুলি তারপরে যেকোনো নতুন নোটবুকে প্রয়োগ করা হয়। আপনার বিদ্যমান নোটবুকগুলিতে এই ট্যাগগুলি প্রয়োগ করার জন্য, আপনাকে সেই ব্যবহারকারী প্রোফাইলের সাথে সম্পর্কিত স্টুডিও অ্যাপ (কার্নেল গেটওয়ে এবং জুপিটার সার্ভার) পুনরায় চালু করতে হবে। এটি নোটবুকের ডেটাতে কোনও ক্ষতির কারণ হবে না। এটি উল্লেখ করুন বন্ধ করুন এবং SageMaker স্টুডিও এবং স্টুডিও অ্যাপস আপডেট করুন আপনার স্টুডিও অ্যাপগুলি কীভাবে মুছবেন এবং পুনরায় চালু করবেন তা শিখতে।

SageMaker নোটবুক উদাহরণ ট্যাগিং

একটি SageMaker নোটবুক উদাহরণের ক্ষেত্রে, ট্যাগিং নিজেই উদাহরণে প্রয়োগ করা হয়। ট্যাগগুলি একই উদাহরণে চলমান সমস্ত সংস্থানগুলিতে বরাদ্দ করা হয়। আপনি ট্যাগ প্যারামিটার ব্যবহার করে প্রোগ্রামগতভাবে ট্যাগ নির্দিষ্ট করতে পারেন ক্রিয়েট-নোটবুক-ইনস্ট্যান্স এপিআই বা উদাহরণ তৈরির সময় সেজমেকার কনসোলের মাধ্যমে সেগুলি যোগ করুন। এছাড়াও আপনি যেকোন সময় ব্যবহার করে ট্যাগ যোগ বা আপডেট করতে পারেন ট্যাগ যুক্ত API বা SageMaker কনসোলের মাধ্যমে।

মনে রাখবেন যে এটি সেজমেকার পরিচালিত চাকরি এবং সংস্থানগুলি যেমন প্রশিক্ষণ এবং প্রক্রিয়াকরণের কাজগুলিকে বাদ দেয় কারণ সেগুলি উদাহরণের পরিবর্তে পরিষেবা পরিবেশে রয়েছে৷ পরবর্তী বিভাগে, আমরা আরও বিস্তারিতভাবে এই সংস্থানগুলিতে ট্যাগিং কীভাবে প্রয়োগ করব তা নিয়ে আলোচনা করব।

ট্যাগিং SageMaker পরিচালিত কাজ এবং সম্পদ

SageMaker পরিচালিত চাকরি এবং সংস্থানগুলির জন্য, ট্যাগিং অবশ্যই প্রয়োগ করতে হবে৷ tags প্রতিটি API অনুরোধের অংশ হিসাবে বৈশিষ্ট্য। একটি SKLearnProcessor উদাহরণ নিম্নলিখিত কোডে চিত্রিত করা হয়েছে। আপনি অন্যান্য সেজমেকার পরিচালিত চাকরি এবং সংস্থানগুলিতে ট্যাগগুলি কীভাবে বরাদ্দ করবেন তার আরও উদাহরণ পেতে পারেন৷ গিটহুব রেপো.

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import SKLearnProcessor

processing_tags = [{' Key':"cost-center','Value':'TF2WorkflowProcessing'}]
sklearn_processorl = SKLearnProcessor(framework_version='0.23-1' ,
									 role=get_execution_role(),
									 instance_type='ml.m5.xlarge',
									 instance_count=2,
									 tags=processing_tags)

SageMaker পাইপলাইন ট্যাগিং

সেজমেকার পাইপলাইনগুলির ক্ষেত্রে, আপনি প্রতিটি পৃথক পদক্ষেপের পরিবর্তে সমগ্র পাইপলাইনটিকে সম্পূর্ণরূপে ট্যাগ করতে পারেন। সেজমেকার পাইপলাইন স্বয়ংক্রিয়ভাবে প্রতিটি পাইপলাইন ধাপে ট্যাগগুলি প্রচার করে। প্রয়োজনে আপনার কাছে এখনও পৃথক পদক্ষেপে অতিরিক্ত, পৃথক ট্যাগ যোগ করার বিকল্প রয়েছে। স্টুডিও UI-তে, পাইপলাইন ট্যাগগুলি মেটাডেটা বিভাগে প্রদর্শিত হয়।

একটি পাইপলাইনে ট্যাগ প্রয়োগ করতে, SageMaker Python SDK ব্যবহার করুন:

pipeline_tags = [ {'Key': 'pipeline-type', 'Value': 'TF2WorkflowPipeline'}]
pipeline.upsert(role_arn=role, tags=pipeline_tags)
execution = pipeline.start()

IAM নীতিগুলি ব্যবহার করে ট্যাগিং প্রয়োগ করুন৷

যদিও ট্যাগিং ক্লাউড ম্যানেজমেন্ট এবং গভর্নেন্স কৌশলগুলি বাস্তবায়নের জন্য একটি কার্যকর পদ্ধতি, সঠিক ট্যাগিং আচরণ প্রয়োগ করা চ্যালেঞ্জিং হতে পারে যদি আপনি এটি শুধুমাত্র শেষ ব্যবহারকারীদের কাছে ছেড়ে দেন। একটি নির্দিষ্ট ট্যাগ অনুপস্থিত থাকলে আপনি কীভাবে এমএল রিসোর্স তৈরিতে বাধা দেবেন, আপনি কীভাবে সঠিক ট্যাগ প্রয়োগ করা হয়েছে তা নিশ্চিত করবেন এবং কীভাবে আপনি ব্যবহারকারীদের বিদ্যমান ট্যাগগুলি মুছে ফেলা থেকে বাধা দেবেন?

আপনি ব্যবহার করে এটি সম্পন্ন করতে পারেন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) নীতি। নিম্নলিখিত কোডটি এমন একটি নীতির উদাহরণ যা সেজমেকার ক্রিয়াকলাপকে বাধা দেয় যেমন CreateDomain or CreateNotebookInstance যদি অনুরোধে পরিবেশ কী এবং তালিকার একটি মান না থাকে। দ্য ForAllValues সঙ্গে সংশোধক aws:TagKeys শর্ত কী নির্দেশ করে যে শুধুমাত্র কী environment অনুরোধে অনুমোদিত। এটি ব্যবহারকারীদের অন্য কীগুলি অন্তর্ভুক্ত করা থেকে বিরত করে, যেমন দুর্ঘটনাক্রমে ব্যবহার করা৷ Environment পরিবর্তে environment.

"sagemaker:CreateTrainingJob"
      ],
      "{
      "Sid": "SageMakerEnforceEnvtOnCreate",
      "Action": [
        "sagemaker:CreateDomain",
        "sagemaker:CreateEndpoint",
        "sagemaker:CreateNotebookInstance",
        Effect": "Allow",
      "Resource": "*",
  "Condition": {
            "StringEquals": {
                "aws:RequestTag/environment": [
                    "dev","staging","production"
                ]
            },
            "ForAllValues:StringEquals": {"aws:TagKeys": "environment"}
        }
      }

ট্যাগ নীতি এবং পরিষেবা নিয়ন্ত্রণ নীতি (SCPs) আপনার ML সংস্থান তৈরি এবং লেবেলিংয়ের মানসম্মত করার একটি ভাল উপায় হতে পারে। কিভাবে একটি ট্যাগিং কৌশল বাস্তবায়ন করা যায় সে সম্পর্কে আরও তথ্যের জন্য যা প্রতিষ্ঠান স্তরে ট্যাগিংকে কার্যকর ও বৈধ করে, দেখুন খরচ বরাদ্দ ব্লগ সিরিজ #3: AWS রিসোর্স ট্যাগ প্রয়োগ এবং যাচাই করুন.

খরচ বরাদ্দ রিপোর্টিং

আপনি কস্ট এক্সপ্লোরার-এ ভিউ ফিল্টার করে ট্যাগ দেখতে পারেন, ক মাসিক খরচ বরাদ্দ রিপোর্ট, অথবা CUR পরীক্ষা করে।

কস্ট এক্সপ্লোরারে ট্যাগ ভিজ্যুয়ালাইজ করা

কস্ট এক্সপ্লোরার হল একটি টুল যা আপনাকে আপনার খরচ এবং ব্যবহার দেখতে এবং বিশ্লেষণ করতে সক্ষম করে। আপনি মূল গ্রাফটি ব্যবহার করে আপনার ব্যবহার এবং খরচগুলি অন্বেষণ করতে পারেন: কস্ট এক্সপ্লোরার খরচ এবং ব্যবহারের রিপোর্ট৷ কস্ট এক্সপ্লোরার কীভাবে ব্যবহার করবেন তার একটি দ্রুত ভিডিওর জন্য, দেখুন আমার খরচ এবং ব্যবহার বিশ্লেষণ করতে আমি কিভাবে কস্ট এক্সপ্লোরার ব্যবহার করতে পারি?

কস্ট এক্সপ্লোরারের সাহায্যে, আপনি ট্যাগ দ্বারা আপনার AWS খরচগুলি কীভাবে দেখেন তা ফিল্টার করতে পারেন৷ গ্রুপ দ্বারা আমাদের ট্যাগ কী দ্বারা ফলাফল ফিল্টার করার অনুমতি দেয় যেমন Environment, Deployment, বা Cost Center. ট্যাগ ফিল্টার চাবি নির্বিশেষে আমাদের পছন্দসই মান নির্বাচন করতে সাহায্য করে। উদাহরণ অন্তর্ভুক্ত Production এবং Staging. মনে রাখবেন যে ট্যাগগুলি যোগ এবং সক্রিয় করার পরে আপনাকে অবশ্যই সংস্থানগুলি চালাতে হবে; অন্যথায়, Cost Explorer-এর কোনো ব্যবহার ডেটা থাকবে না এবং ট্যাগ মান বিকল্প অনুসারে ফিল্টার বা গোষ্ঠী হিসাবে প্রদর্শিত হবে না।

নিম্নলিখিত স্ক্রিনশটটি সমস্ত মান দ্বারা ফিল্টার করার একটি উদাহরণ BusinessUnit ট্যাগ।

CUR-তে ট্যাগ পরীক্ষা করা হচ্ছে

খরচ এবং ব্যবহারের প্রতিবেদনে উপলব্ধ খরচ এবং ব্যবহারের ডেটার সবচেয়ে ব্যাপক সেট রয়েছে। প্রতিবেদনটিতে AWS পণ্য, ব্যবহারের ধরন এবং আপনার AWS অ্যাকাউন্ট ব্যবহার করা অপারেশনের প্রতিটি অনন্য সমন্বয়ের জন্য লাইন আইটেম রয়েছে। আপনি ঘন্টা বা দিনে তথ্য একত্রিত করতে CUR কাস্টমাইজ করতে পারেন। একটি মাসিক খরচ বরাদ্দ রিপোর্ট খরচ বরাদ্দ রিপোর্টিং সেট আপ করার এক উপায়। আপনি একটি সেট আপ করতে পারেন মাসিক খরচ বরাদ্দ রিপোর্ট যেটি পণ্যের বিভাগ এবং লিঙ্কযুক্ত অ্যাকাউন্ট ব্যবহারকারী দ্বারা আপনার অ্যাকাউন্টের জন্য AWS ব্যবহার তালিকাভুক্ত করে। রিপোর্টে একই লাইন আইটেম রয়েছে বিস্তারিত বিলিং রিপোর্ট এবং আপনার ট্যাগ কীগুলির জন্য অতিরিক্ত কলাম। আপনি এটি সেট আপ করতে পারেন এবং ধাপগুলি অনুসরণ করে আপনার প্রতিবেদন ডাউনলোড করতে পারেন৷ মাসিক খরচ বরাদ্দ রিপোর্ট.

নিম্নলিখিত স্ক্রিনশটটি দেখায় কিভাবে ব্যবহারকারী-সংজ্ঞায়িত ট্যাগ কীগুলি CUR-এ প্রদর্শিত হয়৷ ব্যবহারকারী-সংজ্ঞায়িত ট্যাগ কীগুলির উপসর্গ রয়েছে user, যেমন user:Department এবং user:CostCenter. AWS-উত্পন্ন ট্যাগ কীগুলির উপসর্গ রয়েছে৷ aws.

Amazon Athena এবং Amazon QuickSight ব্যবহার করে CUR কল্পনা করুন

অ্যামাজন অ্যাথেনা একটি ইন্টারেক্টিভ ক্যোয়ারী সার্ভিস যা স্ট্যান্ডার্ড SQL ব্যবহার করে Amazon S3-এ ডেটা বিশ্লেষণ করা সহজ করে তোলে। এথেনা সার্ভারহীন, তাই পরিচালনা করার জন্য কোন পরিকাঠামো নেই এবং আপনি যে ক্যোয়ারী চালান তার জন্যই আপনি অর্থ প্রদান করেন। CUR এর সাথে এথেনাকে একীভূত করতে, পড়ুন Amazon Athena ব্যবহার করে খরচ এবং ব্যবহারের প্রতিবেদন জিজ্ঞাসা করা. তারপরে আপনি স্ট্যান্ডার্ড SQL ব্যবহার করে CUR ডেটা অনুসন্ধান করতে কাস্টম প্রশ্ন তৈরি করতে পারেন। নিম্নলিখিত স্ক্রিনশটটি হল সমস্ত সংস্থান ফিল্টার করার জন্য একটি প্রশ্নের উদাহরণ যার জন্য TF2WorkflowTraining মান রয়েছে cost-center ট্যাগ।

select * from {$table_name} where resource_tags_user_cost-center= 'TF2WorkflowTraining'

নিম্নলিখিত উদাহরণে, আমরা খুঁজে বের করার চেষ্টা করছি কোন সম্পদের অধীনে মান অনুপস্থিত cost-center ট্যাগ।

SELECT
 bill_payer_account_id, line_item_usage_account_id, DATE_FORMAT((line_item_usage_start_date), '%Y-%m-%d') AS day_line_item_usage_start_date, line_item_resource_id, line_item_usage_type, resource_tags_user_cost-center
FROM
{$table_name} 
WHERE
 resource_tags_user_cost-center IS NULL
AND line_item_product_code = 'AmazonSageMaker'

আরো তথ্য এবং উদাহরণ প্রশ্ন পাওয়া যাবে AWS CUR ক্যোয়ারী লাইব্রেরি.

আপনি CUR ডেটাও এতে ফিড করতে পারেন অ্যামাজন কুইকসাইট, যেখানে আপনি রিপোর্টিং বা ভিজ্যুয়ালাইজেশনের উদ্দেশ্যে যেকোনভাবে এটিকে টুকরো টুকরো করে কাটাতে পারেন। QuickSight-এ CUR ডেটা ইনজেস্ট করার নির্দেশাবলীর জন্য, দেখুন আমি কীভাবে অ্যামাজন কুইকসাইট-এ AWS খরচ এবং ব্যবহার প্রতিবেদন (CUR) গ্রহণ করব এবং কল্পনা করব.

ট্যাগ ব্যবহার করে বাজেট পর্যবেক্ষণ

AWS বাজেট অপ্রত্যাশিতভাবে ব্যয় বৃদ্ধি পেলে একটি প্রাথমিক সতর্কতা প্রদানের একটি চমৎকার উপায়। আপনি কাস্টম বাজেট তৈরি করতে পারেন যা আপনাকে সতর্ক করে যখন আপনার ML খরচ এবং ব্যবহার আপনার ব্যবহারকারী-সংজ্ঞায়িত থ্রেশহোল্ড অতিক্রম করে (বা অতিক্রম করার পূর্বাভাস দেওয়া হয়)। AWS বাজেটের সাহায্যে, আপনি আপনার মোট মাসিক ML খরচ নিরীক্ষণ করতে পারেন বা নির্দিষ্ট ব্যবহারের মাত্রার সাথে সম্পর্কিত খরচ ট্র্যাক করতে আপনার বাজেট ফিল্টার করতে পারেন। উদাহরণস্বরূপ, আপনি SageMaker রিসোর্স খরচ হিসাবে ট্যাগ করা অন্তর্ভুক্ত করার জন্য বাজেটের সুযোগ সেট করতে পারেন cost-center: ML-Marketing, নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে। অতিরিক্ত মাত্রা এবং AWS বাজেট কিভাবে সেট আপ করতে হয় তার বিস্তারিত নির্দেশাবলীর জন্য, দেখুন এখানে.

সঙ্গে বাজেট সতর্কতা, আপনার বাজেটের সীমা অতিক্রম করা হলে আপনি বিজ্ঞপ্তি পাঠাতে পারেন (বা হতে চলেছে)। এই সতর্কতা একটি পোস্ট করা যেতে পারে অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS) বিষয়। একটি এডাব্লুএস ল্যাম্বদা SNS বিষয়ে সাবস্ক্রাইব করে এমন ফাংশনটি চালু করা হয়, এবং প্রোগ্রামগতভাবে বাস্তবায়নযোগ্য যে কোনো পদক্ষেপ নেওয়া যেতে পারে।

AWS বাজেট আপনাকে কনফিগার করতে দেয় বাজেট কর্ম, যেগুলি আপনি নিতে পারেন যখন একটি বাজেট থ্রেশহোল্ড অতিক্রম করা হয় (প্রকৃত বা পূর্বাভাসিত পরিমাণ)। নিয়ন্ত্রণের এই স্তর আপনাকে আপনার অ্যাকাউন্টে অনিচ্ছাকৃত অতিরিক্ত খরচ কমাতে দেয়। আপনি আপনার অ্যাকাউন্টে খরচ এবং ব্যবহারের জন্য নির্দিষ্ট প্রতিক্রিয়াগুলি কনফিগার করতে পারেন যা স্বয়ংক্রিয়ভাবে প্রয়োগ করা হবে বা একটি বাজেট লক্ষ্য অতিক্রম করা হলে ওয়ার্কফ্লো অনুমোদন প্রক্রিয়ার মাধ্যমে। আপনার ML ব্যয় ব্যবসার লক্ষ্যগুলির সাথে সামঞ্জস্যপূর্ণ তা নিশ্চিত করার জন্য এটি একটি সত্যিই শক্তিশালী সমাধান। আপনি কি ধরনের পদক্ষেপ নিতে হবে তা নির্বাচন করতে পারেন। উদাহরণস্বরূপ, যখন একটি বাজেট থ্রেশহোল্ড অতিক্রম করা হয়, আপনি নির্দিষ্ট IAM ব্যবহারকারীদের অ্যাডমিন অনুমতি থেকে শুধুমাত্র-পঠন-এ স্থানান্তর করতে পারেন। সংস্থাগুলি ব্যবহার করা গ্রাহকদের জন্য, আপনি একটি সম্পূর্ণ সাংগঠনিক ইউনিটে তাদের অ্যাডমিন থেকে শুধুমাত্র-পঠন-এ স্থানান্তর করে অ্যাকশন প্রয়োগ করতে পারেন। বাজেট ক্রিয়াকলাপ ব্যবহার করে কীভাবে ব্যয় পরিচালনা করবেন সে সম্পর্কে আরও বিশদ বিবরণের জন্য, পড়ুন আপনার AWS মাল্টি-অ্যাকাউন্ট এনভায়রনমেন্টে খরচ ওভাররান কীভাবে পরিচালনা করবেন – পার্ট 1.

আপনি একটি দৈনিক, সাপ্তাহিক, বা মাসিক ক্যাডেন্সে আপনার বিদ্যমান বাজেটের কর্মক্ষমতা নিরীক্ষণের জন্য একটি প্রতিবেদন সেট আপ করতে পারেন এবং সেই প্রতিবেদনটি 50টি ইমেল ঠিকানায় সরবরাহ করতে পারেন। সঙ্গে AWS বাজেট রিপোর্ট, আপনি একটি একক প্রতিবেদনে সমস্ত SageMaker-সম্পর্কিত বাজেট একত্রিত করতে পারেন। এই বৈশিষ্ট্যটি আপনাকে একটি একক অবস্থান থেকে আপনার SageMaker পদচিহ্ন ট্র্যাক করতে সক্ষম করে, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে। আপনি দৈনিক, সাপ্তাহিক বা মাসিক ক্যাডেন্সে এই প্রতিবেদনগুলি পেতে বেছে নিতে পারেন (আমি বেছে নিয়েছি সাপ্তাহিক এই উদাহরণের জন্য), এবং সপ্তাহের দিন বেছে নিন যখন আপনি সেগুলি পেতে চান।

এই বৈশিষ্ট্যটি আপনার সেজমেকার খরচ এবং ব্যবহার সম্পর্কে আপনার স্টেকহোল্ডারদের আপ টু ডেট রাখতে এবং খরচ কখন প্রত্যাশিতভাবে প্রবণতা না হয় তা দেখতে তাদের সাহায্য করতে কার্যকর।

আপনি এই কনফিগারেশন সেট আপ করার পরে, আপনি নিম্নলিখিত অনুরূপ একটি ইমেল পাবেন.

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে আপনি SageMaker-এর জন্য খরচ বরাদ্দ ট্যাগিং সেট আপ করতে পারেন এবং আপনার SageMaker পরিবেশ এবং কাজের চাপের জন্য সর্বোত্তম অনুশীলন ট্যাগ করার টিপস শেয়ার করেছেন। তারপরে আমরা আপনার ML ব্যয়ের দৃশ্যমানতা উন্নত করতে আপনাকে সহায়তা করার জন্য কস্ট এক্সপ্লোরার এবং CUR এর মতো বিভিন্ন প্রতিবেদনের বিকল্প নিয়ে আলোচনা করেছি। পরিশেষে, আমরা AWS বাজেট এবং বাজেটের সারসংক্ষেপ রিপোর্ট প্রদর্শন করেছি যাতে আপনি আপনার প্রতিষ্ঠানের ML ব্যয় নিরীক্ষণ করতে সাহায্য করেন।

খরচ বরাদ্দ ট্যাগ প্রয়োগ এবং সক্রিয় করার বিষয়ে আরও তথ্যের জন্য, দেখুন ব্যবহারকারী-সংজ্ঞায়িত খরচ বরাদ্দ ট্যাগ.

লেখক সম্পর্কে

শন মরগান AWS-এর একজন AI/ML সলিউশন আর্কিটেক্ট। সেমিকন্ডাক্টর এবং একাডেমিক গবেষণা ক্ষেত্রে তার অভিজ্ঞতা রয়েছে এবং গ্রাহকদের AWS-এ তাদের লক্ষ্যে পৌঁছাতে সাহায্য করার জন্য তার অভিজ্ঞতা ব্যবহার করে। তার অবসর সময়ে, শন একজন সক্রিয় ওপেন-সোর্স অবদানকারী এবং রক্ষণাবেক্ষণকারী, এবং টেনসরফ্লো অ্যাড-অনগুলির জন্য বিশেষ আগ্রহের গ্রুপ লিড।

ব্রেন্ট রাবোস্কি AWS-এ ডেটা সায়েন্সের উপর ফোকাস করে এবং AWS গ্রাহকদের তাদের নিজস্ব ডেটা সায়েন্স প্রোজেক্টে সাহায্য করার জন্য তার দক্ষতার ব্যবহার করে।

নীলেশ শেঠি AWS-এ একজন সিনিয়র টেকনিক্যাল অ্যাকাউন্ট ম্যানেজার হিসেবে আছেন, যেখানে তিনি এন্টারপ্রাইজ সাপোর্ট গ্রাহকদের AWS-এ তাদের ক্লাউড ক্রিয়াকলাপ স্ট্রিমলাইন করতে সাহায্য করেন। তিনি মেশিন লার্নিং সম্পর্কে উত্সাহী এবং একজন পরামর্শদাতা, স্থপতি এবং বিকাশকারী হিসাবে কাজ করার অভিজ্ঞতা রয়েছে৷ কাজের বাইরে, তিনি গান শুনতে এবং খেলাধুলা দেখতে উপভোগ করেন।

জেমস উ AWS-এর একজন সিনিয়র AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। গ্রাহকদের এআই/এমএল সলিউশন ডিজাইন এবং তৈরি করতে সাহায্য করা। জেমসের কাজ এমএল ব্যবহারের ক্ষেত্রের একটি বিস্তৃত পরিসর কভার করে, যার মধ্যে প্রাথমিক আগ্রহ কম্পিউটার ভিশন, গভীর শিক্ষা, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেলিং। AWS-এ যোগদানের আগে, জেমস 10 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 6 বছর ইঞ্জিনিয়ারিং এবং 4 বছর মার্কেটিং এবং বিজ্ঞাপন শিল্পে ছিল।