اپنی ایمیزون سیج میکر اسٹوڈیو نوٹ بک کو شیڈول کردہ نوٹ بک جابز کے طور پر فعال کریں۔

ایمیزون سیج میکر اسٹوڈیو ڈیٹا سائنسدانوں کے لیے مشین لرننگ (ML) ماڈلز کو انٹرایکٹو طریقے سے بنانے، تربیت دینے اور ان کی تعیناتی کے لیے مکمل طور پر منظم حل فراہم کرتا ہے۔ انٹرایکٹو ML کے تجربے کے علاوہ، ڈیٹا ورکرز نوٹ بک کو عارضی ملازمتوں کے طور پر چلانے کے لیے حل تلاش کرتے ہیں، بغیر ازگر کے ماڈیولز کے طور پر ریفیکٹر کوڈ کی ضرورت کے یا ڈی او اوپس ٹولز سیکھتے ہیں اور ان کی تعیناتی کے بنیادی ڈھانچے کو خودکار کرنے کے لیے بہترین طریقے سیکھتے ہیں۔ ایسا کرنے کے لئے کچھ عام استعمال کے معاملات میں شامل ہیں:

• رپورٹس بنانے کے لیے باقاعدگی سے ماڈل کا اندازہ لگانا
• ایک چھوٹی سی مثال پر ڈیٹا کے سب سیٹ کے خلاف اسٹوڈیو میں ٹیسٹ کرنے کے بعد فیچر انجینئرنگ کے قدم کو بڑھانا
• کچھ کیڈینس پر ماڈلز کو دوبارہ تربیت دینا اور تعینات کرنا
• آپ کی ٹیم کا تجزیہ کرنا ایمیزون سیج میکر باقاعدہ کیڈینس پر استعمال

اس سے پہلے، جب ڈیٹا سائنسدان نوٹ بک پر انٹرایکٹو طریقے سے بنائے گئے کوڈ کو لینا چاہتے تھے اور انہیں بیچ جابز کے طور پر چلانا چاہتے تھے، تو انہیں سیکھنے کے سخت وکر کا سامنا کرنا پڑتا تھا۔ ایمیزون سیج میکر پائپ لائنز, او ڈبلیو ایس لامبڈا۔, ایمیزون ایونٹ برج، یا دوسرے حل جنہیں ترتیب دینا، استعمال کرنا اور انتظام کرنا مشکل ہے۔

ساتھ سیج میکر نوٹ بک کی نوکریاں، اب آپ سیج میکر اسٹوڈیو یا سیج میکر اسٹوڈیو لیب انٹرفیس آپ ان نوٹ بکس کو شیڈول کے مطابق یا فوری طور پر چلا سکتے ہیں۔ اختتامی صارف کو اپنے موجودہ نوٹ بک کوڈ میں ترمیم کرنے کی ضرورت نہیں ہے۔ جب کام مکمل ہوجاتا ہے، تو آپ آبادی والے نوٹ بک سیلز کو دیکھ سکتے ہیں، بشمول کوئی بھی تصورات!

اس پوسٹ میں، ہم آپ کے سیج میکر اسٹوڈیو نوٹ بک کو شیڈول کردہ نوٹ بک جابز کے طور پر چلانے کا طریقہ بتاتے ہیں۔

حل جائزہ

درج ذیل خاکہ ہمارے حل کے فن تعمیر کو واضح کرتا ہے۔ ہم پہلے سے نصب شدہ SageMaker ایکسٹینشن کا استعمال نوٹ بکس کو فوری طور پر یا شیڈول کے مطابق کرنے کے لیے کرتے ہیں۔

مندرجہ ذیل حصوں میں، ہم ایک نوٹ بک بنانے، سیل کو پیرامیٹرائز کرنے، اضافی اختیارات کو حسب ضرورت بنانے، اور آپ کے کام کو شیڈول کرنے کے مراحل سے گزرتے ہیں۔ ہم ایک نمونہ استعمال کیس بھی شامل کرتے ہیں۔

شرائط

SageMaker نوٹ بک جابز استعمال کرنے کے لیے، آپ کو سٹوڈیو کے اندر ایک JupyterLab 3 JupyterServer ایپ چلانے کی ضرورت ہے۔ JupyterLab 3 میں اپ گریڈ کرنے کے طریقے کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ کنسول سے ایپ کا JupyterLab ورژن دیکھیں اور اپ ڈیٹ کریں۔. یقینی بنائیں بند کریں اور سیج میکر اسٹوڈیو کو اپ ڈیٹ کریں۔ تازہ ترین اپ ڈیٹس لینے کے لیے۔

نوکری کی تعریفوں کی وضاحت کرنے کے لیے جو کہ ایک شیڈول پر نوٹ بک چلاتے ہیں، آپ کو اپنے SageMaker کے ایگزیکیوشن رول میں اضافی اجازتیں شامل کرنے کی ضرورت پڑ سکتی ہے۔

سب سے پہلے، اپنے سیج میکر پر عمل درآمد کے کردار میں اعتماد کا رشتہ شامل کریں جو اجازت دیتا ہے۔ events.amazonaws.com اپنا کردار سنبھالنے کے لیے:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

مزید برآں، آپ کو ایک ان لائن پالیسی بنانے اور اپنے ایگزیکیوشن رول کے ساتھ منسلک کرنے کی ضرورت پڑ سکتی ہے۔ مندرجہ ذیل پالیسی انتہائی اجازت کے لیے ضمنی ہے۔ AmazonSageMakerFullAccess پالیسی اجازتوں کے مکمل اور کم سے کم سیٹ کے لیے دیکھیں پالیسیاں اور اجازتیں انسٹال کریں۔.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

ایک نوٹ بک کام بنائیں

اپنی نوٹ بک کو سیج میکر نوٹ بک جاب کے طور پر چلانے کے لیے، منتخب کریں۔ ایک نوٹ بک کام بنائیں آئکن.

متبادل طور پر، آپ فائل سسٹم پر اپنی نوٹ بک کو منتخب کر سکتے ہیں (دائیں کلک کریں) اور منتخب کر سکتے ہیں۔ نوٹ بک جاب بنائیں.

میں نوکری پیدا کریں۔ سیکشن میں، اپنے کام کے بوجھ کی بنیاد پر اپنے طے شدہ کام کے لیے صحیح مثال کی قسم کا انتخاب کریں: معیاری مثالیں، آپٹمائزڈ مثالوں کی گنتی کریں، یا تیز رفتار کمپیوٹنگ مثالیں جن میں GPUs شامل ہوں۔ آپ SageMaker تربیتی ملازمتوں کے لیے دستیاب کسی بھی مثال کا انتخاب کر سکتے ہیں۔ دستیاب مثالوں کی مکمل فہرست کے لیے، رجوع کریں۔ ایمیزون سیج میکر قیمتوں کا تعین.

جب کوئی کام مکمل ہو جاتا ہے، تو آپ آؤٹ پٹ نوٹ بک فائل کو اس کے پاپولڈ سیلز کے ساتھ دیکھ سکتے ہیں، ساتھ ہی جاب کے چلنے والے لاگز کو بھی دیکھ سکتے ہیں۔

خلیوں کو پیرامیٹرائز کریں۔

کسی نوٹ بک کو پروڈکشن ورک فلو میں منتقل کرتے وقت، ماڈیولریٹی کے لیے مختلف پیرامیٹرز کے ساتھ ایک ہی نوٹ بک کو دوبارہ استعمال کرنے کے قابل ہونا ضروری ہے۔ مثال کے طور پر، آپ ڈیٹا سیٹ کے مقام یا اپنے ماڈل کے ہائپر پیرامیٹر کو پیرامیٹرائز کرنا چاہیں گے تاکہ آپ ایک ہی نوٹ بک کو کئی الگ الگ ماڈل ٹریننگز کے لیے دوبارہ استعمال کر سکیں۔ SageMaker نوٹ بک کی نوکریاں سیل ٹیگز کے ذریعے اس کی حمایت کرتی ہیں۔ بس دائیں پین میں ڈبل گیئر آئیکن کو منتخب کریں اور منتخب کریں۔ ٹیگ شامل کریں۔. پھر ٹیگ کو پیرامیٹرز کے طور پر لیبل کریں۔

پہلے سے طے شدہ طور پر، نوٹ بک جاب رن نوٹ بک میں بیان کردہ پیرامیٹر ویلیوز کا استعمال کرتا ہے، لیکن متبادل طور پر، آپ اپنی نوٹ بک جاب کے لیے کنفیگریشن کے طور پر ان میں ترمیم کر سکتے ہیں۔

اضافی اختیارات کو ترتیب دیں۔

نوٹ بک جاب بناتے وقت، آپ اسے بڑھا سکتے ہیں۔ اضافی اختیارات اپنی ملازمت کی تعریف کو حسب ضرورت بنانے کے لیے سیکشن۔ اسٹوڈیو خود بخود اس تصویر یا دانا کا پتہ لگائے گا جسے آپ اپنی نوٹ بک میں استعمال کر رہے ہیں اور اسے آپ کے لیے پہلے سے منتخب کر لے گا۔ یقینی بنائیں کہ آپ نے اس انتخاب کی توثیق کر دی ہے۔

آپ اپنے نوٹ بک چلانے والے ماحول کو اپنی مرضی کے مطابق بنانے کے لیے ماحولیاتی متغیرات یا اسٹارٹ اپ اسکرپٹس کی بھی وضاحت کر سکتے ہیں۔ تشکیلات کی مکمل فہرست کے لیے، دیکھیں اضافی اختیارات.

اپنا کام شیڈول کریں۔

اپنے کام کو شیڈول کرنے کے لیے، منتخب کریں۔ شیڈول کے مطابق چلائیں۔ اور ایک مناسب وقفہ اور وقت مقرر کریں۔ پھر آپ کو منتخب کر سکتے ہیں نوٹ بک نوکریاں ٹیب جو ہوم آئیکن کو منتخب کرنے کے بعد نظر آتا ہے۔ نوٹ بک لوڈ ہونے کے بعد، منتخب کریں۔ نوٹ بک جاب کی تعریفیں اپنے شیڈول کو روکنے یا ہٹانے کے لیے ٹیب۔

مثال استعمال کیس

ہماری مثال کے طور پر، ہم ایک اینڈ ٹو اینڈ اینڈ ایم ایل ورک فلو دکھاتے ہیں جو زمینی سچائی کے ماخذ سے ڈیٹا تیار کرتا ہے، اس وقت کے دورانیے سے تازہ ترین ماڈل کی تربیت کرتا ہے، اور پھر قابل عمل بصیرت پیدا کرنے کے لیے تازہ ترین ڈیٹا پر انفرنس چلاتا ہے۔ عملی طور پر، آپ ایک مکمل اینڈ ٹو اینڈ ورک فلو چلا سکتے ہیں، یا صرف اپنے ورک فلو کے ایک قدم کو فعال کر سکتے ہیں۔ آپ ایک شیڈول کر سکتے ہیں AWS گلو انٹرایکٹو سیشن روزانہ ڈیٹا کی تیاری کے لیے، یا بیچ انفرنس جاب چلائیں جو براہ راست آپ کی آؤٹ پٹ نوٹ بک میں گرافیکل نتائج پیدا کرے۔

اس مثال کے لیے مکمل نوٹ بک ہمارے میں مل سکتی ہے۔ SageMaker مثالیں GitHub ذخیرہ۔ استعمال کا معاملہ یہ مانتا ہے کہ ہم ایک ٹیلی کمیونیکیشن کمپنی ہیں جو ایک نوٹ بک کو شیڈول کرنے کی کوشش کر رہی ہے جو ہمارے دستیاب تازہ ترین ڈیٹا کے ساتھ تربیت یافتہ ماڈل کی بنیاد پر ممکنہ کسٹمر چننے کی پیش گوئی کرتی ہے۔

شروع کرنے کے لیے، ہم حال ہی میں دستیاب کسٹمر ڈیٹا اکٹھا کرتے ہیں اور اس پر کچھ پری پروسیسنگ کرتے ہیں:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

ہم اپنے تازہ ترین ماڈل کو اس تازہ ترین تربیتی ڈیٹا پر تربیت دیتے ہیں تاکہ درست پیشین گوئیاں کی جاسکیں۔ todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

چونکہ ہم اس نوٹ بک کو روزانہ کی رپورٹ کے طور پر شیڈول کرنے جا رہے ہیں، ہم یہ جاننا چاہتے ہیں کہ ہمارے ریفریشڈ ماڈل نے ہمارے توثیق سیٹ پر کتنی اچھی کارکردگی کا مظاہرہ کیا تاکہ ہم اس کی مستقبل کی پیشین گوئیوں پر اعتماد کر سکیں۔ درج ذیل اسکرین شاٹ کے نتائج ہماری طے شدہ تخمینہ رپورٹ سے ہیں۔

آخر میں، آپ آج کے ڈیٹا کے پیش گوئی شدہ نتائج کو ڈیٹا بیس میں کیپچر کرنا چاہتے ہیں تاکہ اس ماڈل کے نتائج کی بنیاد پر اقدامات کیے جا سکیں۔

نوٹ بک سمجھ جانے کے بعد، اسے استعمال کرتے ہوئے ایک عارضی کام کے طور پر بلا جھجھک چلائیں۔ اب دوڑو پہلے بیان کردہ آپشن یا شیڈولنگ کی فعالیت کی جانچ کریں۔

صاف کرو

اگر آپ ہماری مثال کی پیروی کرتے ہیں تو، جاری چارجز سے بچنے کے لیے اپنے نوٹ بک کے کام کے شیڈول کو روکنا یا حذف کرنا یقینی بنائیں۔

نتیجہ

SageMaker نوٹ بک جابز کے ساتھ نوٹ بک کو پیداوار میں لانا ڈیٹا ورکرز کے لیے درکار غیر متفاوت ہیوی لفٹنگ کو کافی حد تک آسان بناتا ہے۔ چاہے آپ اینڈ ٹو اینڈ ایم ایل ورک فلوز کو شیڈول کر رہے ہوں یا اس پہیلی کا کوئی حصہ، ہم آپ کو سیج میکر اسٹوڈیو یا سیج میکر اسٹوڈیو لیب کا استعمال کرتے ہوئے کچھ نوٹ بکس پروڈکشن میں لگانے کی ترغیب دیتے ہیں! مزید جاننے کے لیے، دیکھیں نوٹ بک پر مبنی ورک فلو.

مصنفین کے بارے میں

شان مورگن AWS میں ایک سینئر ML Solutions آرکیٹیکٹ ہیں۔ اس کے پاس سیمی کنڈکٹر اور تعلیمی تحقیقی شعبوں میں تجربہ ہے، اور وہ اپنے تجربے کا استعمال صارفین کو AWS پر اپنے مقاصد تک پہنچنے میں مدد کرنے کے لیے کرتا ہے۔ اپنے فارغ وقت میں شان ایک فعال اوپن سورس کنٹریبیوٹر/مینٹینر ہے اور TensorFlow Addons کے لیے خصوصی دلچسپی والے گروپ کی قیادت ہے۔

سومیدھا سوامی ایمیزون ویب سروسز میں پرنسپل پروڈکٹ مینیجر ہے۔ وہ سیج میکر اسٹوڈیو ٹیم کی رہنمائی کرتا ہے تاکہ اسے انٹرایکٹو ڈیٹا سائنس اور ڈیٹا انجینئرنگ ورک فلو کے لیے پسند کے IDE میں بنایا جائے۔ اس نے پچھلے 15 سال مشین لرننگ کا استعمال کرتے ہوئے صارفین کے جنون میں مبتلا صارفین اور انٹرپرائز مصنوعات بنانے میں گزارے ہیں۔ اپنے فارغ وقت میں وہ امریکی جنوب مغرب کی حیرت انگیز ارضیات کی تصویر کشی کرنا پسند کرتا ہے۔

ایڈورڈ سن ایمیزون ویب سروسز میں سیج میکر اسٹوڈیو کے لیے کام کرنے والا ایک سینئر SDE ہے۔ وہ انٹرایکٹو ML حل بنانے اور SageMaker Studio کو ڈیٹا انجینئرنگ اور ML ایکو سسٹم میں مقبول ٹیکنالوجیز کے ساتھ مربوط کرنے کے لیے کسٹمر کے تجربے کو آسان بنانے پر توجہ مرکوز کرتا ہے۔ اپنے فارغ وقت میں، ایڈورڈ کیمپنگ، پیدل سفر اور ماہی گیری کا بڑا پرستار ہے اور اپنے خاندان کے ساتھ وقت گزارنے سے لطف اندوز ہوتا ہے۔