Amazon SageMaker-এ টেনসরফ্লো ইমেজ ক্লাসিফিকেশন মডেলের জন্য ট্রান্সফার লার্নিং

আমাজন সেজমেকার এর একটি স্যুট প্রদান করে অন্তর্নির্মিত অ্যালগরিদম, প্রাক-প্রশিক্ষিত মডেল, এবং প্রাক-নির্মিত সমাধান টেমপ্লেট ডেটা সায়েন্টিস্ট এবং মেশিন লার্নিং (ML) অনুশীলনকারীদের প্রশিক্ষণ এবং এমএল মডেলগুলি দ্রুত স্থাপন করা শুরু করতে সহায়তা করার জন্য। আপনি এই অ্যালগরিদম এবং মডেলগুলিকে তত্ত্বাবধানে এবং তত্ত্বাবধানহীন শিক্ষার জন্য ব্যবহার করতে পারেন। তারা ট্যাবুলার, চিত্র এবং পাঠ্য সহ বিভিন্ন ধরণের ইনপুট ডেটা প্রক্রিয়া করতে পারে।

আজ থেকে, SageMaker ইমেজ শ্রেণীবিভাগের জন্য একটি নতুন অন্তর্নির্মিত অ্যালগরিদম প্রদান করে: চিত্র শ্রেণীবিভাগ - টেনসরফ্লো. এটি একটি তত্ত্বাবধানে শেখার অ্যালগরিদম যা উপলব্ধ অনেক প্রাক-প্রশিক্ষিত মডেলের জন্য স্থানান্তর শেখার সমর্থন করে টেনসরফ্লো হাব. এটি প্রতিটি ক্লাস লেবেলের জন্য ইনপুট এবং আউটপুট সম্ভাব্যতা হিসাবে একটি চিত্র নেয়। আপনি ট্রান্সফার লার্নিং ব্যবহার করে এই প্রাক-প্রশিক্ষিত মডেলগুলিকে সূক্ষ্ম-টিউন করতে পারেন এমনকি যখন প্রচুর সংখ্যক প্রশিক্ষণের চিত্র উপলব্ধ না থাকে। এটি সেজমেকারের মাধ্যমে উপলব্ধ অন্তর্নির্মিত অ্যালগরিদম পাশাপাশি সেজমেকার জাম্পস্টার্ট UI ভিতরে অ্যামাজন সেজমেকার স্টুডিও. আরও তথ্যের জন্য, এর ডকুমেন্টেশন পড়ুন চিত্র শ্রেণীবিভাগ - টেনসরফ্লো এবং উদাহরণ নোটবুক সেজমেকার টেনসরফ্লো-এর ভূমিকা - চিত্র শ্রেণিবিন্যাস.

SageMaker-এ TensorFlow-এর সাথে ছবির শ্রেণীবিভাগ টেনসরফ্লো হাবে উপলব্ধ অনেক প্রাক-প্রশিক্ষিত মডেলগুলিতে স্থানান্তর শিক্ষা প্রদান করে। প্রশিক্ষণের ডেটাতে ক্লাস লেবেলের সংখ্যা অনুসারে, একটি শ্রেণীবিভাগ স্তর প্রাক-প্রশিক্ষিত টেনসরফ্লো হাব মডেলের সাথে সংযুক্ত থাকে। শ্রেণীবিন্যাস স্তরটি একটি ড্রপআউট স্তর এবং একটি ঘন স্তর নিয়ে গঠিত, যা 2-নর্ম রেগুলারাইজারের সাথে সম্পূর্ণ সংযুক্ত একটি স্তর যা এলোমেলো ওজনের সাথে শুরু করা হয়। মডেল প্রশিক্ষণে ড্রপআউট স্তরের ঝরে পড়ার হারের জন্য হাইপারপ্যারামিটার এবং ঘন স্তরের জন্য L2 নিয়মিতকরণ ফ্যাক্টর রয়েছে। তারপর হয় পুরো নেটওয়ার্ক, প্রাক-প্রশিক্ষিত মডেল সহ, অথবা শুধুমাত্র শীর্ষ শ্রেণিবিন্যাসের স্তরটি নতুন প্রশিক্ষণের ডেটাতে সূক্ষ্ম-টিউন করা যেতে পারে। এই স্থানান্তর শেখার মোডে, আপনি একটি ছোট ডেটাসেট দিয়েও প্রশিক্ষণ অর্জন করতে পারেন।

নতুন TensorFlow ইমেজ ক্লাসিফিকেশন অ্যালগরিদম কীভাবে ব্যবহার করবেন

এই বিভাগে টেনসরফ্লো ইমেজ ক্লাসিফিকেশন অ্যালগরিদম কীভাবে ব্যবহার করবেন তা বর্ণনা করে সেজমেকার পাইথন এসডিকে. স্টুডিও UI থেকে এটি কীভাবে ব্যবহার করবেন সে সম্পর্কে তথ্যের জন্য, দেখুন সেজমেকার জাম্পস্টার্ট.

অ্যালগরিদম তালিকাভুক্ত প্রাক-প্রশিক্ষিত মডেলগুলির জন্য স্থানান্তর শিক্ষাকে সমর্থন করে টেনসরফ্লো হাব মডেল. প্রতিটি মডেল একটি অনন্য দ্বারা চিহ্নিত করা হয় model_id. নিম্নলিখিত কোডটি দেখায় কিভাবে মোবাইলনেট V2 1.00 224 দ্বারা চিহ্নিত করা ফাইন-টিউন করা যায় model_id tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4 একটি কাস্টম প্রশিক্ষণ ডেটাসেটে। প্রতিটির জন্য model_id, যাতে মাধ্যমে একটি SageMaker প্রশিক্ষণ কাজ চালু করতে মূল্নির্ধারক SageMaker Python SDK-এর ক্লাস, আপনাকে SageMaker-এ প্রদত্ত ইউটিলিটি ফাংশনের মাধ্যমে ডকার ইমেজ URI, ট্রেনিং স্ক্রিপ্ট URI, এবং প্রাক-প্রশিক্ষিত মডেল URI আনতে হবে। প্রশিক্ষণ স্ক্রিপ্ট URI-তে ডেটা প্রসেসিং, প্রাক-প্রশিক্ষিত মডেল লোড করা, মডেল প্রশিক্ষণ এবং অনুমানের জন্য প্রশিক্ষিত মডেল সংরক্ষণের জন্য প্রয়োজনীয় সমস্ত কোড রয়েছে। প্রাক-প্রশিক্ষিত মডেল URI-তে প্রাক-প্রশিক্ষিত মডেল আর্কিটেকচারের সংজ্ঞা এবং মডেল প্যারামিটার রয়েছে। নোট করুন যে ডকার ইমেজ ইউআরআই এবং ট্রেনিং স্ক্রিপ্ট ইউআরআই সমস্ত টেনসরফ্লো ইমেজ ক্লাসিফিকেশন মডেলের জন্য একই। প্রাক-প্রশিক্ষিত মডেল URI নির্দিষ্ট মডেলের জন্য নির্দিষ্ট। প্রাক-প্রশিক্ষিত মডেল টারবলগুলি টেনসরফ্লো হাব থেকে প্রি-ডাউনলোড করা হয়েছে এবং উপযুক্ত মডেল স্বাক্ষর সহ সংরক্ষণ করা হয়েছে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, যেমন প্রশিক্ষণের কাজ নেটওয়ার্ক বিচ্ছিন্নতায় চলে। নিম্নলিখিত কোড দেখুন:

from sagemaker import image_uris, model_uris, script_uris
from sagemaker.estimator import Estimator

model_id, model_version = "tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4", "*"
training_instance_type = "ml.p3.2xlarge"

# Retrieve the docker image
train_image_uri = image_uris.retrieve(model_id=model_id,model_version=model_version,image_scope="training",instance_type=training_instance_type,region=None,framework=None)

# Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training")

# Retrieve the pre-trained model tarball for transfer learning
train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

output_bucket = sess.default_bucket()
output_prefix = "jumpstart-example-ic-training"
s3_output_location = f"s3://{output_bucket}/{output_prefix}/output"

এই মডেল-নির্দিষ্ট প্রশিক্ষণ আর্টিফ্যাক্টগুলির সাথে, আপনি এর একটি বস্তু তৈরি করতে পারেন মূল্নির্ধারক শ্রেণী:

# Create SageMaker Estimator instance
tf_ic_estimator = Estimator(
    role=aws_role,
    image_uri=train_image_uri,
    source_dir=train_source_uri,
    model_uri=train_model_uri,
    entry_point="transfer_learning.py",
    instance_count=1,
    instance_type=training_instance_type,
    max_run=360000,
    hyperparameters=hyperparameters,
    output_path=s3_output_location,
)

এরপরে, আপনার কাস্টম ডেটাসেটে ট্রান্সফার শেখার জন্য, আপনাকে প্রশিক্ষণের হাইপারপ্যারামিটারের ডিফল্ট মান পরিবর্তন করতে হতে পারে, যা তালিকাভুক্ত হাইপারপ্যারামিটার. আপনি কল করে এই হাইপারপ্যারামিটারগুলির ডিফল্ট মান সহ একটি পাইথন অভিধান আনতে পারেন hyperparameters.retrieve_default, প্রয়োজন অনুযায়ী তাদের আপডেট করুন, এবং তারপর এস্টিমেটর ক্লাসে পাস করুন। উল্লেখ্য যে কিছু হাইপারপ্যারামিটারের ডিফল্ট মান বিভিন্ন মডেলের জন্য আলাদা। বড় মডেলের জন্য, ডিফল্ট ব্যাচ আকার ছোট এবং train_only_top_layer hyperparameter সেট করা হয় True. হাইপারপ্যারামিটার Train_only_top_layer ফাইন-টিউনিং প্রক্রিয়া চলাকালীন কোন মডেলের প্যারামিটারগুলি পরিবর্তিত হয় তা নির্ধারণ করে। যদি train_only_top_layer is True, শ্রেণীবিন্যাস স্তরগুলির পরামিতিগুলি পরিবর্তিত হয় এবং বাকী প্যারামিটারগুলি সূক্ষ্ম-টিউনিং প্রক্রিয়ার সময় স্থির থাকে। অন্যদিকে, যদি train_only_top_layer is False, মডেলের সমস্ত পরামিতি সূক্ষ্ম-সুরক্ষিত। নিম্নলিখিত কোড দেখুন:

from sagemaker import hyperparameters
# Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)

# [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "5"

নিম্নলিখিত কোডটি S3 বালতিতে হোস্ট করা একটি ডিফল্ট প্রশিক্ষণ ডেটাসেট প্রদান করে। আমরা প্রদান tf_flowers মডেলগুলিকে সূক্ষ্ম-টিউন করার জন্য একটি ডিফল্ট ডেটাসেট হিসাবে ডেটাসেট। ডেটাসেটে পাঁচ ধরনের ফুলের ছবি রয়েছে। ডেটাসেট থেকে ডাউনলোড করা হয়েছে TensorFlow অধীনে Apache 2.0 লাইসেন্স.

# Sample training data is available in this bucket
training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
training_data_prefix = "training-datasets/tf_flowers/"

training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}"

অবশেষে, মডেলটিকে সূক্ষ্ম-টিউন করার জন্য সেজমেকার প্রশিক্ষণের কাজ চালু করতে, কল করুন .fit প্রশিক্ষণ ডেটাসেটের S3 অবস্থান পাস করার সময় অনুমানকারী শ্রেণীর বস্তুতে:

# Launch a SageMaker Training job by passing s3 path of the training data
tf_ic_estimator.fit({"training": training_dataset_s3_path}, logs=True)

একটি কাস্টম ডেটাসেটে ট্রান্সফার শেখার জন্য নতুন SageMaker TensorFlow ইমেজ ক্লাসিফিকেশন অ্যালগরিদম কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও তথ্যের জন্য, ফাইন-টিউনড মডেল স্থাপন করুন, স্থাপন করা মডেলে অনুমান চালান এবং প্রথম ফাইন-টিউনিং ছাড়াই প্রাক-প্রশিক্ষিত মডেল স্থাপন করুন একটি কাস্টম ডেটাসেটে, নিম্নলিখিত উদাহরণ নোটবুক দেখুন: সেজমেকার টেনসরফ্লো-এর ভূমিকা - চিত্র শ্রেণিবিন্যাস.

টেনসরফ্লো ইমেজ ক্লাসিফিকেশন অ্যালগরিদমের জন্য ইনপুট/আউটপুট ইন্টারফেস

আপনি তালিকাভুক্ত প্রাক-প্রশিক্ষিত মডেলগুলির প্রতিটিকে সূক্ষ্ম-টিউন করতে পারেন টেনসরফ্লো হাব মডেল যেকোন প্রদত্ত ডেটাসেটে যেকোন সংখ্যক শ্রেণীর অন্তর্গত ছবি রয়েছে। উদ্দেশ্য ইনপুট ডেটাতে ভবিষ্যদ্বাণী ত্রুটি হ্রাস করা। ফাইন-টিউনিং দ্বারা প্রত্যাবর্তিত মডেলটি অনুমানের জন্য আরও স্থাপন করা যেতে পারে। মডেলে ইনপুট দেওয়ার জন্য প্রশিক্ষণের ডেটা কীভাবে ফরম্যাট করা উচিত তার জন্য নিম্নলিখিত নির্দেশাবলী রয়েছে:

• ইনপুট - ক্লাসের সংখ্যার মতো অনেকগুলি সাব-ডিরেক্টরি সহ একটি ডিরেক্টরি৷ প্রতিটি সাব-ডিরেক্টরীতে .jpg, .jpeg, বা .png ফরম্যাটে সেই শ্রেণীর ছবি থাকতে হবে।
• আউটপুট - একটি সূক্ষ্ম সুর করা মডেল যা অনুমানের জন্য স্থাপন করা যেতে পারে বা ক্রমবর্ধমান প্রশিক্ষণ ব্যবহার করে আরও প্রশিক্ষণ দেওয়া যেতে পারে। একটি প্রি-প্রসেসিং এবং পোস্টপ্রসেসিং স্বাক্ষর সূক্ষ্ম-টিউন করা মডেলে যুক্ত করা হয় যাতে এটি কাঁচা .jpg ছবিকে ইনপুট হিসাবে নেয় এবং ক্লাসের সম্ভাব্যতা প্রদান করে। ক্লাস লেবেলে একটি ফাইল ম্যাপিং ক্লাস সূচী মডেলের সাথে সংরক্ষিত হয়।

ইনপুট ডিরেক্টরিটি নিম্নলিখিত উদাহরণের মতো হওয়া উচিত যদি প্রশিক্ষণের ডেটাতে দুটি শ্রেণীর চিত্র থাকে: roses এবং dandelion. S3 পথ দেখতে হবে s3://bucket_name/input_directory/. অনুগামী নোট করুন / দরকার. ফোল্ডারের নাম এবং roses, dandelion, এবং .jpg ফাইলের নাম যেকোনো কিছু হতে পারে। S3 বালতিতে প্রশিক্ষিত মডেলের সাথে সংরক্ষিত লেবেল ম্যাপিং ফাইলটি মডেলের আউটপুট শ্রেণির সম্ভাব্যতার তালিকায় ফোল্ডারের নাম গোলাপ এবং ড্যান্ডেলিয়নকে ম্যাপ করে। ম্যাপিং ফোল্ডারের নামের বর্ণানুক্রমিক ক্রম অনুসরণ করে। নিম্নলিখিত উদাহরণে, মডেল আউটপুট তালিকার সূচক 0 এর সাথে মিলে যায় dandelion, এবং সূচক 1 এর সাথে মিলে যায় roses.

input_directory
    |--roses
        |--abc.jpg
        |--def.jpg
    |--dandelion
        |--ghi.jpg
        |--jkl.jpg

টেনসরফ্লো ইমেজ ক্লাসিফিকেশন অ্যালগরিদমের সাথে অনুমান

উত্পন্ন মডেলগুলি অনুমান এবং সমর্থন এনকোডেড .jpg, .jpeg, এবং .png ইমেজ ফরম্যাটের জন্য হোস্ট করা যেতে পারে application/x-image বিষয়বস্তুর প্রকার. ইনপুট ইমেজ স্বয়ংক্রিয়ভাবে পুনরায় আকার দেওয়া হয়. আউটপুটে সম্ভাব্যতার মান, সমস্ত শ্রেণীর জন্য ক্লাস লেবেল এবং সর্বোচ্চ সম্ভাবনা সহ ক্লাস সূচকের সাথে সম্পর্কিত পূর্বাভাসিত লেবেল রয়েছে, JSON ফর্ম্যাটে এনকোড করা আছে। TensorFlow ইমেজ ক্লাসিফিকেশন মডেল অনুরোধ প্রতি একটি একক ইমেজ প্রক্রিয়া করে এবং JSON-এ শুধুমাত্র একটি লাইন আউটপুট করে। নিম্নলিখিত JSON-এ একটি প্রতিক্রিয়ার উদাহরণ:

accept: application/json;verbose

 {"probabilities": [prob_0, prob_1, prob_2, ...],
  "labels":        [label_0, label_1, label_2, ...],
  "predicted_label": predicted_label}

If accept তৈরি application/json, তারপর মডেল শুধুমাত্র সম্ভাব্যতা আউটপুট. প্রশিক্ষণ এবং অনুমান সম্পর্কে আরও বিশদের জন্য, নমুনা নোটবুকটি দেখুন সেজমেকার টেনসরফ্লো-এর ভূমিকা - চিত্র শ্রেণিবিন্যাস.

JumpStart UI এর মাধ্যমে SageMaker বিল্ট-ইন অ্যালগরিদম ব্যবহার করুন

আপনি জাম্পস্টার্ট UI এর মাধ্যমে কয়েকটি ক্লিকের মাধ্যমে SageMaker TensorFlow চিত্র শ্রেণীবিভাগ এবং অন্যান্য বিল্ট-ইন অ্যালগরিদম ব্যবহার করতে পারেন। জাম্পস্টার্ট হল একটি সেজমেকার বৈশিষ্ট্য যা আপনাকে গ্রাফিকাল ইন্টারফেসের মাধ্যমে বিভিন্ন এমএল ফ্রেমওয়ার্ক এবং মডেল হাব থেকে অন্তর্নির্মিত অ্যালগরিদম এবং প্রাক-প্রশিক্ষিত মডেলগুলিকে প্রশিক্ষণ ও স্থাপন করতে দেয়। এটি আপনাকে সম্পূর্ণরূপে উন্নত ML সলিউশন মোতায়েন করার অনুমতি দেয় যা একটি লক্ষ্যযুক্ত ব্যবহারের ক্ষেত্রে সমাধান করতে ML মডেল এবং অন্যান্য বিভিন্ন AWS পরিষেবাকে একত্রিত করে। চেক আউট টেনসরফ্লো হাব এবং হাগিং ফেস মডেল ব্যবহার করে অ্যামাজন সেজমেকার জাম্পস্টার্টের সাথে পাঠ্য শ্রেণিবিন্যাস চালান কয়েকটি ক্লিকে একটি অ্যালগরিদম বা প্রাক-প্রশিক্ষিত মডেল প্রশিক্ষণের জন্য কীভাবে জাম্পস্টার্ট ব্যবহার করবেন তা খুঁজে বের করতে।

উপসংহার

এই পোস্টে, আমরা SageMaker TensorFlow ইমেজ ক্লাসিফিকেশন বিল্ট-ইন অ্যালগরিদম চালু করার ঘোষণা করেছি। আমরা এই অ্যালগরিদম ব্যবহার করে TensorFlow হাব থেকে একটি প্রাক-প্রশিক্ষিত মডেল ব্যবহার করে একটি কাস্টম ডেটাসেটে ট্রান্সফার লার্নিং কীভাবে করতে হয় তার উদাহরণ কোড দিয়েছি। আরো তথ্যের জন্য, চেক আউট ডকুমেন্টেশন এবং উদাহরণ নোটবুক.

লেখক সম্পর্কে

আশিস খেতান ড সঙ্গে একজন সিনিয়র ফলিত বিজ্ঞানী Amazon SageMaker বিল্ট-ইন অ্যালগরিদম এবং মেশিন লার্নিং অ্যালগরিদম বিকাশে সহায়তা করে। তিনি ইউনিভার্সিটি অফ ইলিনয় আরবানা-চ্যাম্পেইন থেকে পিএইচডি লাভ করেন। তিনি মেশিন লার্নিং এবং পরিসংখ্যানগত অনুমানে একজন সক্রিয় গবেষক এবং নিউরিআইপিএস, আইসিএমএল, আইসিএলআর, জেএমএলআর, এসিএল এবং ইএমএনএলপি সম্মেলনে অনেক গবেষণাপত্র প্রকাশ করেছেন।

বিবেক মদন ড সঙ্গে একজন ফলিত বিজ্ঞানী অ্যামাজন সেজমেকার জাম্পস্টার্ট দল. তিনি ইউনিভার্সিটি অফ ইলিনয় আরবানা-চ্যাম্পেইন থেকে পিএইচডি লাভ করেন এবং জর্জিয়া টেকের পোস্ট ডক্টরাল গবেষক ছিলেন। তিনি মেশিন লার্নিং এবং অ্যালগরিদম ডিজাইনের একজন সক্রিয় গবেষক এবং EMNLP, ICLR, COLT, FOCS এবং SODA কনফারেন্সে গবেষণাপত্র প্রকাশ করেছেন।

জোয়াও মৌরা অ্যামাজন ওয়েব সার্ভিসেসের একজন এআই/এমএল বিশেষজ্ঞ সলিউশন আর্কিটেক্ট। তিনি বেশিরভাগ ক্ষেত্রে এনএলপি ব্যবহারের ক্ষেত্রে এবং গ্রাহকদের গভীর শিক্ষার মডেল প্রশিক্ষণ এবং স্থাপনাকে অপ্টিমাইজ করতে সহায়তা করে। তিনি লো-কোড এমএল সমাধান এবং এমএল-বিশেষ হার্ডওয়্যারের সক্রিয় প্রবক্তা।

রাজু পেনমাচ্চা এডাব্লুএস-এর সিনিয়র এআই / এমএল বিশেষজ্ঞ সলিউশন সিকিউরিটিেক্ট। তিনি মেশিন লার্নিং এবং কৃত্রিম বুদ্ধিমত্তা সম্পর্কিত প্রকল্পগুলিতে শিক্ষা, সরকারী এবং অলাভজনক গ্রাহকদের সাথে কাজ করেন, এডাব্লুএস ব্যবহার করে সমাধান তৈরিতে তাদের সহায়তা করেন। গ্রাহকদের সহায়তা না করার সময় তিনি নতুন জায়গায় ভ্রমণ পছন্দ করেন।