আপনার Amazon SageMaker স্টুডিও নোটবুকগুলিকে নির্ধারিত নোটবুকের কাজ হিসাবে চালু করুন৷

অ্যামাজন সেজমেকার স্টুডিও তথ্য বিজ্ঞানীদের ইন্টারেক্টিভভাবে মেশিন লার্নিং (ML) মডেল তৈরি, প্রশিক্ষণ এবং স্থাপন করার জন্য একটি সম্পূর্ণরূপে পরিচালিত সমাধান প্রদান করে। ইন্টারেক্টিভ এমএল অভিজ্ঞতার পাশাপাশি, ডেটা কর্মীরা পাইথন মডিউল হিসাবে রিফ্যাক্টর কোডের প্রয়োজন ছাড়াই নোটবুকগুলিকে ক্ষণস্থায়ী কাজ হিসাবে চালানোর সমাধান খোঁজেন বা তাদের স্থাপনার পরিকাঠামো স্বয়ংক্রিয় করার জন্য DevOps সরঞ্জাম এবং সেরা অনুশীলনগুলি শিখেন। এটি করার জন্য কিছু সাধারণ ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:

• রিপোর্ট তৈরি করতে নিয়মিতভাবে মডেল ইনফারেন্স চলছে
• একটি ছোট উদাহরণে ডেটার একটি উপসেটের বিপরীতে স্টুডিওতে পরীক্ষা করার পরে একটি বৈশিষ্ট্য প্রকৌশল পদক্ষেপ স্কেল করা
• কিছু ক্যাডেন্সে মডেলদের পুনরায় প্রশিক্ষণ এবং স্থাপন করা
• আপনার দলের বিশ্লেষণ আমাজন সেজমেকার নিয়মিত ক্যাডেন্সে ব্যবহার

পূর্বে, যখন ডেটা বিজ্ঞানীরা নোটবুকে ইন্টারেক্টিভভাবে তৈরি করা কোডটি নিতে এবং ব্যাচের কাজ হিসাবে চালাতে চেয়েছিলেন, তখন তারা ব্যবহার করে একটি খাড়া শেখার বক্ররেখার মুখোমুখি হয়েছিল অ্যামাজন সেজমেকার পাইপলাইন, এডাব্লুএস ল্যাম্বদা, অ্যামাজন ইভেন্টব্রিজ, বা অন্যান্য সমাধান যেগুলি সেট আপ করা, ব্যবহার করা এবং পরিচালনা করা কঠিন।

সঙ্গে সেজমেকার নোটবুকের চাকরি, আপনি এখন সেজমেকার স্টুডিও থেকে কয়েকটি সহজ ক্লিকের মাধ্যমে বা প্যারামিটারাইজড ফ্যাশনে আপনার নোটবুকগুলি চালাতে পারেন বা সেজমেকার স্টুডিও ল্যাব ইন্টারফেস. আপনি একটি সময়সূচী বা অবিলম্বে এই নোটবুক চালাতে পারেন. শেষ-ব্যবহারকারীর তাদের বিদ্যমান নোটবুক কোড পরিবর্তন করার কোন প্রয়োজন নেই। কাজটি সম্পূর্ণ হলে, আপনি যেকোন ভিজ্যুয়ালাইজেশন সহ জনবহুল নোটবুক সেলগুলি দেখতে পারেন!

এই পোস্টে, আমরা কীভাবে আপনার সেজমেকার স্টুডিও নোটবুকগুলিকে নির্ধারিত নোটবুকের কাজ হিসাবে চালু করতে হয় তা শেয়ার করি।

সমাধান ওভারভিউ

নিম্নলিখিত চিত্রটি আমাদের সমাধানের স্থাপত্যকে চিত্রিত করে। আমরা নোটবুকগুলিকে কাজ হিসাবে অবিলম্বে বা একটি সময়সূচীতে চালানোর জন্য আগে থেকে ইনস্টল করা SageMaker এক্সটেনশনটি ব্যবহার করি৷

নিম্নলিখিত বিভাগগুলিতে, আমরা একটি নোটবুক তৈরি, ঘরের প্যারামিটারাইজ, অতিরিক্ত বিকল্পগুলি কাস্টমাইজ করতে এবং আপনার কাজের সময়সূচী করার ধাপগুলি দিয়ে চলেছি। আমরা একটি নমুনা ব্যবহারের ক্ষেত্রেও অন্তর্ভুক্ত করি।

পূর্বশর্ত

SageMaker নোটবুকের কাজগুলি ব্যবহার করার জন্য, আপনাকে স্টুডিওর মধ্যে একটি JupyterLab 3 JupyterServer অ্যাপ চালাতে হবে। JupyterLab 3 এ কীভাবে আপগ্রেড করবেন সে সম্পর্কে আরও তথ্যের জন্য, পড়ুন কনসোল থেকে একটি অ্যাপের JupyterLab সংস্করণ দেখুন এবং আপডেট করুন। নিশ্চিত হও বন্ধ করুন এবং SageMaker স্টুডিও আপডেট করুন সর্বশেষ আপডেট বাছাই করার জন্য।

কাজের সংজ্ঞা নির্ধারণ করতে যা একটি সময়সূচীতে নোটবুক চালায়, আপনাকে আপনার সেজমেকার এক্সিকিউশন ভূমিকায় অতিরিক্ত অনুমতি যোগ করতে হতে পারে।

প্রথমে, আপনার সেজমেকার এক্সিকিউশন ভূমিকাতে একটি বিশ্বাসের সম্পর্ক যুক্ত করুন যা অনুমতি দেয় events.amazonaws.com আপনার ভূমিকা অনুমান করতে:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

অতিরিক্তভাবে, আপনাকে আপনার কার্যকর ভূমিকায় একটি ইনলাইন নীতি তৈরি এবং সংযুক্ত করতে হতে পারে। নীচের নীতিটি অত্যন্ত অনুমোদনের পরিপূরক AmazonSageMakerFullAccess নীতি অনুমতির সম্পূর্ণ এবং ন্যূনতম সেটের জন্য দেখুন নীতি এবং অনুমতি ইনস্টল করুন.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

একটি নোটবুকের কাজ তৈরি করুন

আপনার নোটবুকটিকে সেজমেকার নোটবুক কাজ হিসাবে চালু করতে, বেছে নিন একটি নোটবুকের কাজ তৈরি করুন আইকন।

বিকল্পভাবে, আপনি ফাইল সিস্টেমে আপনার নোটবুকটি বেছে নিতে পারেন (ডান-ক্লিক করুন) এবং চয়ন করুন নোটবুক জব তৈরি করুন.

মধ্যে চাকরি তৈরি করুন বিভাগে, আপনার কাজের চাপের উপর ভিত্তি করে আপনার নির্ধারিত কাজের জন্য সঠিক দৃষ্টান্তের ধরনটি বেছে নিন: স্ট্যান্ডার্ড ইনস্ট্যান্স, অপ্টিমাইজ করা দৃষ্টান্ত গণনা বা ত্বরিত কম্পিউটিং দৃষ্টান্ত যেখানে GPU গুলি রয়েছে। আপনি সেজমেকার প্রশিক্ষণের চাকরির জন্য উপলব্ধ যেকোনো উদাহরণ বেছে নিতে পারেন। উপলব্ধ উদাহরণগুলির সম্পূর্ণ তালিকার জন্য, পড়ুন অ্যামাজন সেজমেকার প্রাইসিং.

যখন একটি কাজ সম্পূর্ণ হয়, আপনি আউটপুট নোটবুক ফাইলটি তার জনবহুল কক্ষ সহ দেখতে পারেন, সেইসাথে কাজের রান থেকে অন্তর্নিহিত লগগুলি দেখতে পারেন৷

প্যারামিটারাইজ সেল

একটি নোটবুককে একটি প্রোডাকশন ওয়ার্কফ্লোতে সরানোর সময়, মডুলারিটির জন্য বিভিন্ন প্যারামিটারের সাথে একই নোটবুকটি পুনরায় ব্যবহার করতে সক্ষম হওয়া গুরুত্বপূর্ণ। উদাহরণস্বরূপ, আপনি ডেটাসেট অবস্থান বা আপনার মডেলের হাইপারপ্যারামিটারগুলিকে প্যারামিটারাইজ করতে চাইতে পারেন যাতে আপনি অনেকগুলি স্বতন্ত্র মডেল প্রশিক্ষণের জন্য একই নোটবুক পুনরায় ব্যবহার করতে পারেন৷ সেজমেকার নোটবুকের কাজগুলি সেল ট্যাগের মাধ্যমে এটিকে সমর্থন করে। শুধু ডান ফলকে ডবল গিয়ার আইকন নির্বাচন করুন এবং নির্বাচন করুন ট্যাগ যোগ করুন. তারপর প্যারামিটার হিসাবে ট্যাগ লেবেল.

ডিফল্টরূপে, নোটবুক জব রান নোটবুকে উল্লিখিত প্যারামিটার মান ব্যবহার করে, কিন্তু বিকল্পভাবে, আপনি আপনার নোটবুকের কাজের জন্য কনফিগারেশন হিসাবে এগুলি পরিবর্তন করতে পারেন।

অতিরিক্ত বিকল্পগুলি কনফিগার করুন

একটি নোটবুক কাজ তৈরি করার সময়, আপনি প্রসারিত করতে পারেন অতিরিক্ত অপশন আপনার কাজের সংজ্ঞা কাস্টমাইজ করার জন্য বিভাগ। স্টুডিও স্বয়ংক্রিয়ভাবে আপনার নোটবুকে আপনি যে চিত্র বা কার্নেল ব্যবহার করছেন তা সনাক্ত করবে এবং আপনার জন্য এটিকে প্রাক-নির্বাচন করবে। আপনি এই নির্বাচন যাচাই করেছেন তা নিশ্চিত করুন।

আপনি আপনার নোটবুক চালানোর পরিবেশ কাস্টমাইজ করতে পরিবেশের ভেরিয়েবল বা স্টার্টআপ স্ক্রিপ্টগুলিও নির্দিষ্ট করতে পারেন। কনফিগারেশনের সম্পূর্ণ তালিকার জন্য, দেখুন অতিরিক্ত অপশন.

আপনার কাজের সময়সূচী করুন

আপনার কাজের সময় নির্ধারণ করতে, নির্বাচন করুন একটি সময়সূচীতে চালান এবং একটি উপযুক্ত ব্যবধান এবং সময় সেট করুন। তারপর আপনি চয়ন করতে পারেন নোটবুকের চাকরি হোম আইকন নির্বাচন করার পরে যে ট্যাবটি দৃশ্যমান হয়। নোটবুক লোড করার পরে, নির্বাচন করুন নোটবুক কাজের সংজ্ঞা আপনার সময়সূচী বিরতি বা সরাতে ট্যাব।

উদাহরণ ব্যবহার ক্ষেত্রে

আমাদের উদাহরণের জন্য, আমরা একটি এন্ড-টু-এন্ড ML ওয়ার্কফ্লো প্রদর্শন করি যা একটি গ্রাউন্ড ট্রুথ সোর্স থেকে ডেটা প্রস্তুত করে, সেই সময়ের থেকে একটি রিফ্রেশ করা মডেলকে প্রশিক্ষণ দেয় এবং তারপরে অ্যাকশনযোগ্য অন্তর্দৃষ্টি তৈরি করতে সাম্প্রতিক ডেটাতে অনুমান চালায়। অনুশীলনে, আপনি একটি সম্পূর্ণ এন্ড-টু-এন্ড ওয়ার্কফ্লো চালাতে পারেন, অথবা আপনার কর্মপ্রবাহের একটি ধাপকে সহজভাবে চালু করতে পারেন। আপনি একটি সময়সূচী করতে পারেন এডাব্লুএস আঠালো ইন্টারেক্টিভ সেশন দৈনিক ডেটা প্রস্তুতির জন্য, অথবা একটি ব্যাচ ইনফারেন্স কাজ চালান যা সরাসরি আপনার আউটপুট নোটবুকে গ্রাফিকাল ফলাফল তৈরি করে।

এই উদাহরণের জন্য সম্পূর্ণ নোটবুক আমাদের পাওয়া যাবে SageMaker উদাহরণ GitHub সংগ্রহস্থল. ব্যবহারের ক্ষেত্রে অনুমান করা হয়েছে যে আমরা একটি টেলিকমিউনিকেশন কোম্পানি যা একটি নোটবুক নির্ধারণ করতে চাইছে যা আমাদের কাছে উপলব্ধ সাম্প্রতিক ডেটার সাথে প্রশিক্ষিত একটি মডেলের উপর ভিত্তি করে সম্ভাব্য গ্রাহক মন্থনের পূর্বাভাস দেয়।

শুরু করার জন্য, আমরা অতি সম্প্রতি উপলব্ধ গ্রাহক ডেটা সংগ্রহ করি এবং এতে কিছু প্রিপ্রসেসিং করি:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

সঠিক ভবিষ্যদ্বাণী করার জন্য আমরা এই আপডেট হওয়া প্রশিক্ষণ ডেটাতে আমাদের রিফ্রেশ করা মডেলকে প্রশিক্ষণ দিই todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

যেহেতু আমরা এই নোটবুকটিকে একটি দৈনিক প্রতিবেদন হিসাবে নির্ধারণ করতে যাচ্ছি, আমরা ক্যাপচার করতে চাই যে আমাদের রিফ্রেশ করা মডেলটি আমাদের বৈধতা সেটে কতটা ভাল পারফর্ম করেছে যাতে আমরা এর ভবিষ্যতের ভবিষ্যদ্বাণীগুলিতে আত্মবিশ্বাসী হতে পারি। নিম্নলিখিত স্ক্রিনশট ফলাফল আমাদের নির্ধারিত অনুমান রিপোর্ট থেকে.

অবশেষে, আপনি আজকের ডেটার পূর্বাভাসিত ফলাফলগুলিকে একটি ডাটাবেসে ক্যাপচার করতে চান যাতে এই মডেলের ফলাফলের উপর ভিত্তি করে পদক্ষেপ নেওয়া যায়৷

নোটবুকটি বোঝার পরে, এটি ব্যবহার করে একটি ক্ষণস্থায়ী কাজ হিসাবে নির্দ্বিধায় চালান এখন চালান পূর্বে বর্ণিত বিকল্প বা সময়সূচী কার্যকারিতা পরীক্ষা করুন।

পরিষ্কার কর

আপনি যদি আমাদের উদাহরণটি অনুসরণ করেন, তাহলে চলমান চার্জ এড়াতে আপনার নোটবুকের কাজের সময়সূচী বিরতি বা মুছে ফেলতে ভুলবেন না।

উপসংহার

সেজমেকার নোটবুক কাজের সাথে নোটবুকগুলিকে উৎপাদনে আনার ফলে ডেটা কর্মীদের প্রয়োজনীয় অপ্রত্যাশিত ভারী উত্তোলন ব্যাপকভাবে সহজ হয়৷ আপনি এন্ড-টু-এন্ড ML ওয়ার্কফ্লো বা ধাঁধার একটি অংশ নির্ধারণ করছেন না কেন, আমরা আপনাকে সেজমেকার স্টুডিও বা সেজমেকার স্টুডিও ল্যাব ব্যবহার করে কিছু নোটবুক উৎপাদনে রাখতে উত্সাহিত করি! আরো জানতে, দেখুন নোটবুক-ভিত্তিক কর্মপ্রবাহ.

লেখক সম্পর্কে

শন মরগান AWS-এর একজন সিনিয়র এমএল সলিউশন আর্কিটেক্ট। সেমিকন্ডাক্টর এবং একাডেমিক গবেষণা ক্ষেত্রে তার অভিজ্ঞতা রয়েছে এবং গ্রাহকদের AWS-এ তাদের লক্ষ্যে পৌঁছাতে সাহায্য করার জন্য তার অভিজ্ঞতা ব্যবহার করে। তার অবসর সময়ে শন একজন সক্রিয় ওপেন সোর্স অবদানকারী/রক্ষণাবেক্ষণকারী এবং TensorFlow Addons-এর জন্য বিশেষ আগ্রহের গ্রুপ লিড।

সুমেধা স্বামী আমাজন ওয়েব সার্ভিসেসের একজন প্রধান পণ্য ব্যবস্থাপক। ইন্টারেক্টিভ ডেটা সায়েন্স এবং ডেটা ইঞ্জিনিয়ারিং ওয়ার্কফ্লোগুলির জন্য পছন্দের IDE তে এটি তৈরি করতে তিনি সেজমেকার স্টুডিও টিমকে নেতৃত্ব দেন। তিনি মেশিন লার্নিং ব্যবহার করে গ্রাহক-আবিষ্ট ভোক্তা এবং এন্টারপ্রাইজ পণ্য তৈরিতে বিগত 15 বছর ব্যয় করেছেন। তার অবসর সময়ে তিনি আমেরিকান দক্ষিণ-পশ্চিমের আশ্চর্যজনক ভূতত্ত্বের ছবি তুলতে পছন্দ করেন।

এডওয়ার্ড সান অ্যামাজন ওয়েব সার্ভিসে সেজমেকার স্টুডিওর জন্য কাজ করা একজন সিনিয়র এসডিই। ডেটা ইঞ্জিনিয়ারিং এবং এমএল ইকোসিস্টেমের জনপ্রিয় প্রযুক্তিগুলির সাথে সেজমেকার স্টুডিওকে একীভূত করার জন্য তিনি ইন্টারেক্টিভ এমএল সমাধান তৈরি করা এবং গ্রাহকের অভিজ্ঞতাকে সহজ করার দিকে মনোনিবেশ করেছেন। তার অবসর সময়ে, এডওয়ার্ড ক্যাম্পিং, হাইকিং এবং মাছ ধরার বড় অনুরাগী এবং তার পরিবারের সাথে সময় কাটাতে উপভোগ করেন।