অ্যামাজন সেজমেকার অটোপাইলট মডেলগুলিকে সার্ভারহীন ইনফারেন্স এন্ডপয়েন্টে স্থাপন করুন

অ্যামাজন সেজমেকার অটোপাইলট স্বয়ংক্রিয়ভাবে আপনার ডেটার উপর ভিত্তি করে সেরা মেশিন লার্নিং (ML) মডেলগুলি তৈরি করে, প্রশিক্ষণ দেয় এবং সুর করে, যেখানে আপনাকে সম্পূর্ণ নিয়ন্ত্রণ এবং দৃশ্যমানতা বজায় রাখার অনুমতি দেয়। অটোপাইলট রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্টে স্বয়ংক্রিয়ভাবে প্রশিক্ষিত মডেল স্থাপন করতে পারে।

আপনার যদি স্পাইকি বা অপ্রত্যাশিত ট্র্যাফিক প্যাটার্ন সহ কাজের চাপ থাকে যা ঠান্ডা শুরু সহ্য করতে পারে, তাহলে মডেলটিকে সার্ভারহীন ইনফারেন্স এন্ডপয়েন্টে স্থাপন করা আরও সাশ্রয়ী হবে।

অ্যামাজন সেজমেকার সার্ভারলেস ইনফারেন্স অপ্রত্যাশিত ট্রাফিক প্যাটার্ন সহ কাজের চাপের জন্য একটি উদ্দেশ্য-নির্মিত অনুমান বিকল্প আদর্শ এবং এটি ঠান্ডা শুরু সহ্য করতে পারে। একটি রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্টের বিপরীতে, যা একটি দীর্ঘ-চলমান গণনা দৃষ্টান্ত দ্বারা সমর্থিত, সার্ভারহীন এন্ডপয়েন্ট বিল্ট-ইন স্বয়ংক্রিয় স্কেলিং সহ চাহিদা অনুযায়ী সংস্থান সরবরাহ করে। সার্ভারলেস এন্ডপয়েন্ট স্বয়ংক্রিয়ভাবে ইনকামিং অনুরোধের সংখ্যার উপর ভিত্তি করে স্কেল করে এবং কোন ইনকামিং অনুরোধ না থাকলে রিসোর্সকে শূন্যে নামিয়ে দেয়, যা আপনাকে আপনার খরচ কমাতে সাহায্য করে।

এই পোস্টে, আমরা দেখাই কিভাবে অটোপাইলট প্রশিক্ষিত মডেলগুলিকে ব্যবহার করে সার্ভারহীন ইনফারেন্স এন্ডপয়েন্টে স্থাপন করা যায় Boto3 লাইব্রেরি উন্নত আমাজন সেজমেকার.

অটোপাইলট প্রশিক্ষণ মোড

একটি অটোপাইলট পরীক্ষা তৈরি করার আগে, আপনি হয় অটোপাইলটকে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ মোড নির্বাচন করতে দিতে পারেন, অথবা আপনি ম্যানুয়ালি প্রশিক্ষণ মোড নির্বাচন করতে পারেন।

অটোপাইলট বর্তমানে তিনটি প্রশিক্ষণ মোড সমর্থন করে:

• অটো - ডেটাসেটের আকারের উপর ভিত্তি করে, অটোপাইলট স্বয়ংক্রিয়ভাবে এনসেম্বলিং বা HPO মোড বেছে নেয়। 100 MB এর চেয়ে বড় ডেটাসেটের জন্য, অটোপাইলট HPO বেছে নেয়; অন্যথায়, এটা ensembling চয়ন.
• জমা হচ্ছে - অটোপাইলট ব্যবহার করে অটোগ্লুওন মডেল স্ট্যাকিং ব্যবহার করে এনসেম্বলিং কৌশল এবং একটি সর্বোত্তম ভবিষ্যদ্বাণীমূলক মডেল তৈরি করে।
• হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO) - অটোপাইলট আপনার ডেটাসেটে প্রশিক্ষণের কাজ চালানোর সময় বেয়েসিয়ান অপ্টিমাইজেশান বা মাল্টি-ফিডেলিটি অপ্টিমাইজেশান ব্যবহার করে হাইপারপ্যারামিটার টিউন করে মডেলের সেরা সংস্করণ খুঁজে পায়। HPO মোড আপনার ডেটাসেটের সাথে সবচেয়ে প্রাসঙ্গিক অ্যালগরিদম নির্বাচন করে এবং আপনার মডেলগুলিকে টিউন করার জন্য হাইপারপ্যারামিটারের সেরা পরিসর নির্বাচন করে।

অটোপাইলট প্রশিক্ষণ মোড সম্পর্কে আরও জানতে, পড়ুন প্রশিক্ষণ মোড.

সমাধান ওভারভিউ

এই পোস্টে, আমরা ব্যবহার ইউসিআই ব্যাংক মার্কেটিং কোনো ক্লায়েন্ট ব্যাঙ্কের দেওয়া মেয়াদী আমানতে সাবস্ক্রাইব করবে কিনা তা অনুমান করার জন্য ডেটাসেট। এটি একটি বাইনারি শ্রেণিবিন্যাস সমস্যা প্রকার।

আমরা ব্যবহার করে দুটি অটোপাইলট কাজ চালু করি SageMaker এর জন্য Boto3 লাইব্রেরি. প্রথম কাজটি নির্বাচিত প্রশিক্ষণ মোড হিসাবে এনসেম্বলিং ব্যবহার করে। আমরা তারপরে একটি সার্ভারহীন এন্ডপয়েন্টে জেনারেট করা একক এনসেম্বল মডেল স্থাপন করি এবং এই হোস্ট করা শেষ পয়েন্টে অনুমান অনুরোধ পাঠাই।

দ্বিতীয় কাজ HPO প্রশিক্ষণ মোড ব্যবহার করে. শ্রেণিবিন্যাসের সমস্যার ধরনগুলির জন্য, অটোপাইলট তিনটি অনুমান কন্টেইনার তৈরি করে। আমরা এই তিনটি ইনফারেন্স কন্টেনার বের করি এবং আলাদা সার্ভারহীন এন্ডপয়েন্টে স্থাপন করি। তারপরে আমরা এই হোস্ট করা শেষ পয়েন্টগুলিতে অনুমান অনুরোধ পাঠাই।

রিগ্রেশন এবং শ্রেণীবিভাগ সমস্যা প্রকার সম্পর্কে আরও তথ্যের জন্য, পড়ুন রিগ্রেশন এবং শ্রেণীবিভাগ সমস্যার প্রকারের জন্য অনুমান কন্টেইনার সংজ্ঞা.

আমরা থেকে অটোপাইলট কাজও চালু করতে পারি অ্যামাজন সেজমেকার স্টুডিও UI আপনি যদি UI থেকে কাজ চালু করেন, তাহলে বন্ধ করতে ভুলবেন না স্বয়ংক্রিয় স্থাপন বিকল্প মধ্যে স্থাপনা এবং উন্নত সেটিংস অধ্যায়. অন্যথায়, অটোপাইলট সেরা প্রার্থীকে একটি রিয়েল-টাইম এন্ডপয়েন্টে মোতায়েন করবে।

পূর্বশর্ত

আপনার কাছে Boto3 এর সর্বশেষ সংস্করণ এবং SageMaker Python প্যাকেজ ইনস্টল করা আছে তা নিশ্চিত করুন:

pip install -U boto3 sagemaker

আমাদের সেজমেকার প্যাকেজ সংস্করণ দরকার >= 2.110.0 এবং Boto3 সংস্করণ >= boto3-1.24.84.

এনসেম্বলিং মোড সহ একটি অটোপাইলট কাজ চালু করুন

SageMaker Boto3 লাইব্রেরি ব্যবহার করে একটি অটোপাইলট কাজ চালু করতে, আমরা ব্যবহার করি তৈরি_অটো_এমএল_জব API আমরা তারপর পাস AutoMLJobConfig, InputDataConfig, এবং AutoMLJobObjective ইনপুট হিসাবে create_auto_ml_job। নিম্নলিখিত কোডটি দেখুন:

bucket = session.default_bucket()
role = sagemaker.get_execution_role()
prefix = "autopilot/bankadditional"
sm_client = boto3.Session().client(service_name='sagemaker',region_name=region)

timestamp_suffix = strftime('%d%b%Y-%H%M%S', gmtime())
automl_job_name = f"uci-bank-marketing-{timestamp_suffix}"
max_job_runtime_seconds = 3600
max_runtime_per_job_seconds = 1200
target_column = "y"
problem_type="BinaryClassification"
objective_metric = "F1"
training_mode = "ENSEMBLING"

automl_job_config = {
    'CompletionCriteria': {
      'MaxRuntimePerTrainingJobInSeconds': max_runtime_per_job_seconds,
      'MaxAutoMLJobRuntimeInSeconds': max_job_runtime_seconds
    },    
    "Mode" : training_mode
}

automl_job_objective= { "MetricName": objective_metric }

input_data_config = [
    {
      'DataSource': {
        'S3DataSource': {
          'S3DataType': 'S3Prefix',
          'S3Uri': f's3://{bucket}/{prefix}/raw/bank-additional-full.csv'
        }
      },
      'TargetAttributeName': target_column
    }
  ]

output_data_config = {
	    'S3OutputPath': f's3://{bucket}/{prefix}/output'
	}


sm_client.create_auto_ml_job(
				AutoMLJobName=auto_ml_job_name,
				InputDataConfig=input_data_config,
				OutputDataConfig=output_data_config,
				AutoMLJobConfig=automl_job_config,
				ProblemType=problem_type,
				AutoMLJobObjective=automl_job_objective,
				RoleArn=role)

অটোপাইলট ফেরত দেয় BestCandidate মডেল অবজেক্ট যে আছে InferenceContainers শেষ পয়েন্টের অনুমান করার জন্য মডেল স্থাপন করতে হবে। পেতে BestCandidate পূর্ববর্তী কাজের জন্য, আমরা ব্যবহার করি describe_automl_job ফাংশন:

job_response = sm_client.describe_auto_ml_job(AutoMLJobName=automl_job_name)
best_candidate = job_response['BestCandidate']
inference_container = job_response['BestCandidate']['InferenceContainers'][0]
print(inference_container)

প্রশিক্ষিত মডেল স্থাপন

আমরা এখন একটি সার্ভারবিহীন এন্ডপয়েন্টে পূর্ববর্তী অনুমান কন্টেইনার স্থাপন করি। প্রথম ধাপ হল অনুমান কন্টেইনার থেকে একটি মডেল তৈরি করা, তারপরে একটি এন্ডপয়েন্ট কনফিগারেশন তৈরি করা যেখানে আমরা নির্দিষ্ট করি MemorySizeInMB এবং MaxConcurrency মডেল নামের সাথে সার্ভারহীন এন্ডপয়েন্টের মান। অবশেষে, আমরা উপরে তৈরি এন্ডপয়েন্ট কনফিগারেশনের সাথে একটি এন্ডপয়েন্ট তৈরি করি।

আমরা আপনার নির্বাচন করার সুপারিশ এন্ডপয়েন্টের মেমরি সাইজ আপনার মডেল আকার অনুযায়ী। মেমরি আকার অন্তত আপনার মডেল আকার হিসাবে বড় হতে হবে. আপনার সার্ভারলেস এন্ডপয়েন্টের ন্যূনতম RAM সাইজ 1024 MB (1 GB) এবং সর্বাধিক RAM সাইজ আপনি 6144 MB (6 GB) বেছে নিতে পারেন।

আপনি যে মেমরির আকারগুলি বেছে নিতে পারেন তা হল 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB, বা 6144 MB৷

খরচ এবং কর্মক্ষমতা দৃষ্টিকোণ থেকে সার্ভারহীন এন্ডপয়েন্ট সঠিক স্থাপনার বিকল্প কিনা তা নির্ধারণে সহায়তা করার জন্য, আমরা আপনাকে উল্লেখ করতে উত্সাহিত করি সেজমেকার সার্ভারলেস ইনফারেন্স বেঞ্চমার্কিং টুলকিট, যা বিভিন্ন এন্ডপয়েন্ট কনফিগারেশন পরীক্ষা করে এবং তুলনামূলক রিয়েল-টাইম হোস্টিং উদাহরণের সাথে সবচেয়ে অনুকূলের তুলনা করে।

নোট করুন যে সার্ভারহীন শেষ পয়েন্ট শুধুমাত্র গ্রহণ করে SingleModel অনুমান পাত্রে জন্য. এনসেম্বলিং মোডে অটোপাইলট একটি একক মডেল তৈরি করে, তাই আমরা এই মডেলের ধারকটিকে শেষ পয়েন্টে স্থাপন করতে পারি। নিম্নলিখিত কোড দেখুন:

# Create Model
	model_response = sm_client.create_model(
				ModelName=model_name,
				ExecutionRoleArn=role,
				Containers=[inference_container]
	)

# Create Endpoint Config
	epc_response = sm_client.create_endpoint_config(
		EndpointConfigName = endpoint_config_name,
		ProductionVariants=[
			{
				"ModelName": model_name,
				"VariantName": "AllTraffic",
				"ServerlessConfig": {
					"MemorySizeInMB": memory,
					"MaxConcurrency": max_concurrency
				}
			}
		]
	)

# Create Endpoint
	ep_response = sm_client.create_endpoint(
		EndpointName=endpoint_name,
		EndpointConfigName=endpoint_config_name
	)

যখন সার্ভারহীন অনুমান শেষ পয়েন্ট হয় InService, আমরা একটি অনুমান অনুরোধ পাঠিয়ে শেষবিন্দু পরীক্ষা করতে পারি এবং ভবিষ্যদ্বাণীগুলি পর্যবেক্ষণ করতে পারি। নিম্নলিখিত চিত্রটি এই সেটআপের আর্কিটেকচারকে চিত্রিত করে।

মনে রাখবেন যে আমরা শেষ পয়েন্টে পেলোড হিসাবে কাঁচা ডেটা পাঠাতে পারি। অটোপাইলট দ্বারা উত্পন্ন এনসেম্বল মডেলটি স্বয়ংক্রিয়ভাবে সমস্ত প্রয়োজনীয় ফিচার-ট্রান্সফর্ম এবং ইনভার্স-লেবেল ট্রান্সফর্ম স্টেপগুলিকে অ্যালগরিদম মডেল এবং প্যাকেজ সহ, একটি একক মডেলে অন্তর্ভুক্ত করে।

প্রশিক্ষিত মডেলের কাছে অনুমান অনুরোধ পাঠান

এনসেম্বলিং মোড ব্যবহার করে প্রশিক্ষিত আপনার মডেলের অনুমান পাঠাতে নিম্নলিখিত কোডটি ব্যবহার করুন:

from sagemaker.predictor import Predictor
from sagemaker.serializers import CSVSerializer


payload = "34,blue-collar,married,basic.4y,no,no,no,telephone,may,tue,800,4,999,0,nonexistent,1.1,93.994,-36.4,4.857,5191.0"

predictor = Predictor(
        endpoint_name=endpoint,
        sagmaker_session=session,
        serializer=CSVSerializer(),
    )

prediction = predictor.predict(payload).decode(‘utf-8’)
print(prediction)

HPO মোড সহ একটি অটোপাইলট কাজ চালু করুন

HPO মোডে, জন্য CompletionCriteriaছাড়াও MaxRuntimePerTrainingJobInSeconds এবং MaxAutoMLJobRuntimeInSeconds, আমরা নির্দিষ্ট করতে পারে MaxCandidates প্রার্থীর সংখ্যা সীমিত করতে একটি অটোপাইলট কাজ তৈরি করবে। মনে রাখবেন যে এইগুলি ঐচ্ছিক পরামিতি এবং শুধুমাত্র প্রদর্শনের জন্য কাজের রানটাইম সীমিত করতে সেট করা হয়েছে৷ নিম্নলিখিত কোড দেখুন:

training_mode = "HYPERPARAMETER_TUNING"

automl_job_config["Mode"] = training_mode
automl_job_config["CompletionCriteria"]["MaxCandidates"] = 15
hpo_automl_job_name =  f"{model_prefix}-HPO-{timestamp_suffix}"

response = sm_client.create_auto_ml_job(
					  AutoMLJobName=hpo_automl_job_name,
					  InputDataConfig=input_data_config,
					  OutputDataConfig=output_data_config,
					  AutoMLJobConfig=automl_job_config,
					  ProblemType=problem_type,
					  AutoMLJobObjective=automl_job_objective,
					  RoleArn=role,
					  Tags=tags_config
				)

পেতে BestCandidate পূর্ববর্তী কাজের জন্য, আমরা আবার ব্যবহার করতে পারি describe_automl_job ফাংশন:

job_response = sm_client.describe_auto_ml_job(AutoMLJobName=automl_job_name)
best_candidate = job_response['BestCandidate']
inference_containers = job_response['BestCandidate']['InferenceContainers']
print(inference_containers)

প্রশিক্ষিত মডেল স্থাপন

শ্রেণীবিন্যাস সমস্যার প্রকারের জন্য HPO মোডে অটোপাইলট তিনটি অনুমান কন্টেইনার তৈরি করে।

প্রথম ধারকটি বৈশিষ্ট্য-রূপান্তর পদক্ষেপগুলি পরিচালনা করে। এর পরে, অ্যালগরিদম ধারকটি তৈরি করে predicted_label সর্বোচ্চ সম্ভাবনা সহ। অবশেষে, পোস্ট-প্রসেসিং ইনফারেন্স কন্টেইনার ভবিষ্যদ্বাণীকৃত লেবেলে একটি বিপরীত রূপান্তর সম্পাদন করে এবং এটিকে মূল লেবেলে ম্যাপ করে। আরো তথ্যের জন্য, পড়ুন রিগ্রেশন এবং শ্রেণীবিভাগ সমস্যার প্রকারের জন্য অনুমান কন্টেইনার সংজ্ঞা.

আমরা এই তিনটি ইনফারেন্স কন্টেনার বের করি এবং একটি পৃথক সার্ভারহীন শেষ পয়েন্টে স্থাপন করি। অনুমানের জন্য, আমরা ফিচার-ট্রান্সফর্ম কন্টেইনারে প্রথমে পেলোড পাঠিয়ে, তারপর এই কন্টেইনার থেকে অ্যালগরিদম কন্টেইনারে আউটপুট পাঠিয়ে, এবং শেষ পর্যন্ত আগের ইনফারেন্স কন্টেইনার থেকে পোস্ট-প্রসেসিং কন্টেইনারে আউটপুট পাস করে ক্রমানুসারে শেষ পয়েন্টগুলিকে আহ্বান করি, যা পূর্বাভাসিত লেবেল আউটপুট করে।

নিম্নলিখিত চিত্রটি এই সেটআপের আর্কিটেকচারকে চিত্রিত করে।

আমরা থেকে তিনটি অনুমানের পাত্র বের করি BestCandidate নিম্নলিখিত কোড সহ:

job_response = sm_client.describe_auto_ml_job(AutoMLJobName=automl_job_name)
inference_containers = job_response['BestCandidate']['InferenceContainers']

models = list()
endpoint_configs = list()
endpoints = list()

# For brevity, we've encapsulated create_model, create endpoint_config and create_endpoint as helper functions
for idx, container in enumerate(inference_containers):
    (status, model_arn) = create_autopilot_model(
								    sm_client,
								    automl_job_name,
            						role,
								    container,
								    idx)
    model_name = model_arn.split('/')[1]
    models.append(model_name)

    endpoint_config_name = f"epc-{model_name}"
    endpoint_name = f"ep-{model_name}"
    (status, epc_arn) = create_serverless_endpoint_config(
								    sm_client,
								    endpoint_config_name,
								    model_name,
            						memory=2048,
								    max_concurrency=10)
	endpoint_configs.append(endpoint_config_name)

	response = create_serverless_endpoint(
								    sm_client,
								    endpoint_name,
								    endpoint_config_name)
	endpoints.append(endpoint_name)

প্রশিক্ষিত মডেলের কাছে অনুমান অনুরোধ পাঠান

অনুমানের জন্য, আমরা ক্রমানুসারে পেলোড পাঠাই: প্রথমে ফিচার-ট্রান্সফর্ম কন্টেইনারে, তারপর মডেল কন্টেইনারে এবং সবশেষে ইনভার্স-লেবেল ট্রান্সফর্ম কন্টেইনারে।

নিম্নলিখিত কোডটি দেখুন:

from sagemaker.predictor import Predictor
from sagemaker.serializers import CSVSerializer

payload = "51,technician,married,professional.course,no,yes,no,cellular,apr,thu,687,1,0,1,success,-1.8,93.075,-47.1,1.365,5099.1"


for _, endpoint in enumerate(endpoints):
    try:
        print(f"payload: {payload}")
        predictor = Predictor(
            endpoint_name=endpoint,
            sagemaker_session=session,
            serializer=CSVSerializer(),
        )
        prediction = predictor.predict(payload)
        payload=prediction
    except Exception as e:
        print(f"Error invoking Endpoint; {endpoint} n {e}")
        break

এই উদাহরণের সম্পূর্ণ বাস্তবায়ন নিম্নলিখিত জুপিটারে পাওয়া যায় নোটবই.

পরিষ্কার কর

সংস্থানগুলি পরিষ্কার করতে, আপনি তৈরি করা সার্ভারহীন এন্ডপয়েন্ট, এন্ডপয়েন্ট কনফিগারেশন এবং মডেলগুলি মুছতে পারেন:

sm_client = boto3.Session().client(service_name='sagemaker',region_name=region)

for _, endpoint in enumerate(endpoints):
    try:
        sm_client.delete_endpoint(EndpointName=endpoint)
    except Exception as e:
        print(f"Exception:n{e}")
        continue
        
for _, endpoint_config in enumerate(endpoint_configs):
    try:
        sm_client.delete_endpoint_config(EndpointConfigName=endpoint_config)
    except Exception as e:
        print(f"Exception:n{e}")
        continue

for _, autopilot_model in enumerate(models):
    try:
        sm_client.delete_model(ModelName=autopilot_model)
    except Exception as e:
        print(f"Exception:n{e}")
        continue

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে আমরা অটোপাইলট জেনারেটেড মডেলগুলিকে এনসেম্বল এবং এইচপিও মোডে সার্ভারহীন ইনফারেন্স এন্ডপয়েন্টে স্থাপন করতে পারি। এই সমাধানটি কাঁচা ডেটা থেকে দ্রুত মডেল তৈরি করতে অটোপাইলটের মতো খরচ-দক্ষ এবং সম্পূর্ণরূপে পরিচালিত ML পরিষেবাগুলি ব্যবহার করার এবং সুবিধা নেওয়ার আপনার ক্ষমতাকে ত্বরান্বিত করতে পারে, এবং তারপর খরচ কমাতে অন্তর্নির্মিত অটো স্কেলিং সহ সম্পূর্ণরূপে পরিচালিত সার্ভারহীন অনুমান শেষ পয়েন্টগুলিতে স্থাপন করতে পারে। .

আমরা আপনাকে আপনার ব্যবসার KPI-এর সাথে প্রাসঙ্গিক ডেটাসেট দিয়ে এই সমাধানটি চেষ্টা করার জন্য উত্সাহিত করি। আপনি একটি Jupyter নোটবুকে বাস্তবায়িত সমাধান উল্লেখ করতে পারেন গিটহুব রেপো.

অতিরিক্ত রেফারেন্স

লেখক সম্পর্কে

প্রবীণ চামারথি অ্যামাজন ওয়েব পরিষেবার একজন সিনিয়র এআই/এমএল বিশেষজ্ঞ। তিনি AI/ML এবং সমস্ত কিছু AWS সম্পর্কে উত্সাহী। তিনি আমেরিকা জুড়ে গ্রাহকদের AWS-এ দক্ষতার সাথে ML কাজের চাপ স্কেল, উদ্ভাবন এবং পরিচালনা করতে সহায়তা করেন। তার অবসর সময়ে, প্রবীণ পড়তে ভালোবাসে এবং সাই-ফাই সিনেমা উপভোগ করে।