शेड्यूल किए गए नोटबुक जॉब के रूप में अपने Amazon SageMaker Studio नोटबुक को संचालित करें

अमेज़ॅन सैजमेकर स्टूडियो मशीन लर्निंग (एमएल) मॉडल को अंतःक्रियात्मक रूप से बनाने, प्रशिक्षित करने और तैनात करने के लिए डेटा वैज्ञानिकों के लिए पूरी तरह से प्रबंधित समाधान प्रदान करता है। इंटरएक्टिव एमएल अनुभव के अलावा, डेटा कार्यकर्ता भी पायथन मॉड्यूल के रूप में रिफ्लेक्टर कोड की आवश्यकता के बिना नोटबुक चलाने के लिए समाधान की तलाश करते हैं या अपने परिनियोजन बुनियादी ढांचे को स्वचालित करने के लिए DevOps टूल और सर्वोत्तम प्रथाओं को सीखते हैं। ऐसा करने के लिए कुछ सामान्य उपयोग मामलों में शामिल हैं:

• रिपोर्ट तैयार करने के लिए नियमित रूप से मॉडल अनुमान चलाना
• एक छोटे से उदाहरण पर डेटा के सबसेट के खिलाफ स्टूडियो में परीक्षण करने के बाद एक फीचर इंजीनियरिंग कदम बढ़ाना
• कुछ ताल पर मॉडल को फिर से प्रशिक्षित करना और तैनात करना
• अपनी टीम का विश्लेषण कर रहा है अमेज़न SageMaker एक नियमित ताल पर उपयोग

पहले, जब डेटा वैज्ञानिक उस कोड को लेना चाहते थे जो उन्होंने नोटबुक पर अंतःक्रियात्मक रूप से बनाया था और उन्हें बैच जॉब के रूप में चलाना चाहते थे, तो उन्हें उपयोग करते हुए एक तीव्र सीखने की अवस्था का सामना करना पड़ा अमेज़न SageMaker पाइपलाइन, AWS लाम्बा, अमेज़न EventBridgeया, अन्य समाधान जिन्हें स्थापित करना, उपयोग करना और प्रबंधित करना मुश्किल है।

- सेजमेकर नोटबुक जॉब्स, अब आप अपनी नोटबुक्स को सैजमेकर स्टूडियो या से कुछ साधारण क्लिकों के साथ या एक पैरामीटरयुक्त फैशन में चला सकते हैं सेजमेकर स्टूडियो लैब इंटरफेस। आप इन नोटबुक्स को शेड्यूल पर या तुरंत चला सकते हैं। एंड-यूज़र को अपने मौजूदा नोटबुक कोड को संशोधित करने की कोई आवश्यकता नहीं है। जब काम पूरा हो जाता है, तो आप किसी भी विज़ुअलाइज़ेशन सहित पॉप्युलेट किए गए नोटबुक सेल देख सकते हैं!

इस पोस्ट में, हम आपके SageMaker Studio नोटबुक को निर्धारित नोटबुक जॉब के रूप में संचालित करने का तरीका साझा करते हैं।

समाधान अवलोकन

निम्नलिखित आरेख हमारे समाधान आर्किटेक्चर को दिखाता है। हम नोटबुक को तुरंत या एक समय पर कार्य के रूप में चलाने के लिए पूर्व-स्थापित सैजमेकर एक्सटेंशन का उपयोग करते हैं।

निम्नलिखित अनुभागों में, हम एक नोटबुक बनाने, कक्षों को पैरामीटराइज़ करने, अतिरिक्त विकल्पों को अनुकूलित करने और आपके कार्य को शेड्यूल करने के चरणों के माध्यम से चलते हैं। हम एक नमूना उपयोग मामला भी शामिल करते हैं।

.. पूर्वापेक्षाएँ

SageMaker नोटबुक जॉब्स का उपयोग करने के लिए, आपको स्टूडियो के भीतर एक JupyterLab 3 JupyterServer ऐप चलाना होगा। JupyterLab 3 में अपग्रेड करने के बारे में अधिक जानकारी के लिए देखें कंसोल से ऐप के JupyterLab संस्करण को देखें और अपडेट करें। के लिए सुनिश्चित हो शट डाउन करें और सेजमेकर स्टूडियो को अपडेट करें नवीनतम अपडेट लेने के लिए।

शेड्यूल पर नोटबुक चलाने वाली कार्य परिभाषाओं को परिभाषित करने के लिए, आपको अपनी SageMaker निष्पादन भूमिका में अतिरिक्त अनुमतियाँ जोड़ने की आवश्यकता हो सकती है।

सबसे पहले, अपने SageMaker निष्पादन भूमिका में एक विश्वास संबंध जोड़ें जो अनुमति देता है events.amazonaws.com अपनी भूमिका निभाने के लिए:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

इसके अतिरिक्त, आपको अपनी निष्पादन भूमिका में एक इनलाइन नीति बनाने और संलग्न करने की आवश्यकता हो सकती है। नीचे दी गई नीति बहुत अनुज्ञेय के लिए पूरक है AmazonSageMakerFullAccess नीति। अनुमतियों के पूर्ण और न्यूनतम सेट के लिए देखें नीतियां और अनुमतियां इंस्टॉल करें.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

एक नोटबुक कार्य बनाएँ

SageMaker नोटबुक कार्य के रूप में अपनी नोटबुक को परिचालित करने के लिए, चुनें एक नोटबुक कार्य बनाएँ आइकन.

वैकल्पिक रूप से, आप फ़ाइल सिस्टम पर अपनी नोटबुक चुन (राइट-क्लिक) कर सकते हैं और चुन सकते हैं नोटबुक जॉब बनाएं.

में नौकरी पैदा करो अनुभाग, बस अपने कार्यभार के आधार पर अपने निर्धारित कार्य के लिए सही उदाहरण प्रकार चुनें: मानक उदाहरण, अनुकूलित अनुकूलित उदाहरण, या त्वरित कंप्यूटिंग उदाहरण जिनमें GPU शामिल हैं। आप SageMaker प्रशिक्षण नौकरियों के लिए उपलब्ध किसी भी उदाहरण को चुन सकते हैं। उपलब्ध उदाहरणों की पूरी सूची के लिए, देखें अमेज़न SageMaker मूल्य निर्धारण.

जब कोई कार्य पूर्ण हो जाता है, तो आप आउटपुट नोटबुक फ़ाइल को उसके भरे हुए कक्षों के साथ-साथ कार्य के अंतर्निहित लॉग के साथ देख सकते हैं।

कोशिकाओं को पैरामीटरेट करें

किसी नोटबुक को प्रोडक्शन वर्कफ़्लो में ले जाते समय, मॉड्यूलरिटी के लिए मापदंडों के विभिन्न सेटों के साथ उसी नोटबुक का पुन: उपयोग करने में सक्षम होना महत्वपूर्ण है। उदाहरण के लिए, हो सकता है कि आप डेटासेट स्थान या अपने मॉडल के हाइपरपैरामीटर को पैरामीटराइज़ करना चाहें ताकि आप एक ही नोटबुक को कई अलग-अलग मॉडल प्रशिक्षणों के लिए पुन: उपयोग कर सकें। SageMaker नोटबुक जॉब सेल टैग के माध्यम से इसका समर्थन करते हैं। बस दाएँ फलक में डबल गियर आइकन चुनें और चुनें टैग जोड़ो. फिर टैग को पैरामीटर के रूप में लेबल करें।

डिफ़ॉल्ट रूप से, नोटबुक जॉब रन नोटबुक में निर्दिष्ट पैरामीटर मानों का उपयोग करता है, लेकिन वैकल्पिक रूप से, आप इन्हें अपने नोटबुक जॉब के कॉन्फ़िगरेशन के रूप में संशोधित कर सकते हैं।

अतिरिक्त विकल्प कॉन्फ़िगर करें

नोटबुक कार्य बनाते समय, आप इसका विस्तार कर सकते हैं अतिरिक्त विकल्प अपनी नौकरी की परिभाषा को अनुकूलित करने के लिए अनुभाग। स्टूडियो स्वचालित रूप से आपके द्वारा अपनी नोटबुक में उपयोग की जा रही छवि या कर्नेल का पता लगा लेगा और इसे आपके लिए पूर्व-चयनित कर देगा। सुनिश्चित करें कि आपने इस चयन को मान्य किया है।

आप अपने नोटबुक चलाने के वातावरण को अनुकूलित करने के लिए पर्यावरण चर या स्टार्टअप स्क्रिप्ट भी निर्दिष्ट कर सकते हैं। कॉन्फ़िगरेशन की पूरी सूची के लिए, देखें अतिरिक्त विकल्प.

अपना काम शेड्यूल करें

अपना कार्य निर्धारित करने के लिए, चुनें शेड्यूल पर दौड़ें और एक उचित अंतराल और समय निर्धारित करें। तब आप चुन सकते हैं नोटबुक नौकरियां टैब जो होम आइकन चुनने के बाद दिखाई देता है। नोटबुक लोड होने के बाद, चुनें नोटबुक नौकरी परिभाषाएँ अपने शेड्यूल को रोकने या निकालने के लिए टैब।

उदाहरण उपयोग केस

हमारे उदाहरण के लिए, हम एंड-टू-एंड एमएल वर्कफ़्लो दिखाते हैं जो जमीनी सच्चाई के स्रोत से डेटा तैयार करता है, उस समय अवधि से एक ताज़ा मॉडल को प्रशिक्षित करता है, और फिर कार्रवाई योग्य अंतर्दृष्टि उत्पन्न करने के लिए सबसे हाल के डेटा पर अनुमान लगाता है। व्यवहार में, आप संपूर्ण एंड-टू-एंड कार्यप्रवाह चला सकते हैं, या अपने कार्यप्रवाह के केवल एक चरण को परिचालित कर सकते हैं। आप शेड्यूल कर सकते हैं एडब्ल्यूएस गोंद इंटरैक्टिव सत्र दैनिक डेटा तैयार करने के लिए, या एक बैच अनुमान कार्य चलाएं जो सीधे आपके आउटपुट नोटबुक में ग्राफिकल परिणाम उत्पन्न करता है।

इस उदाहरण के लिए पूर्ण नोटबुक हमारे में पाई जा सकती है SageMaker उदाहरण GitHub रिपॉजिटरी। उपयोग मामला मानता है कि हम एक दूरसंचार कंपनी हैं जो एक नोटबुक शेड्यूल करना चाह रही है जो हमारे पास उपलब्ध नवीनतम डेटा के साथ प्रशिक्षित मॉडल के आधार पर संभावित ग्राहक मंथन की भविष्यवाणी करती है।

शुरू करने के लिए, हम सबसे हाल ही में उपलब्ध ग्राहक डेटा इकट्ठा करते हैं और उस पर कुछ प्रीप्रोसेसिंग करते हैं:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

सटीक भविष्यवाणी करने के लिए हम इस अद्यतन प्रशिक्षण डेटा पर अपने ताज़ा मॉडल को प्रशिक्षित करते हैं todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

क्योंकि हम इस नोटबुक को एक दैनिक रिपोर्ट के रूप में शेड्यूल करने जा रहे हैं, हम यह कैप्चर करना चाहते हैं कि हमारे रीफ्रेश किए गए मॉडल ने हमारे सत्यापन सेट पर कितना अच्छा प्रदर्शन किया ताकि हम इसके भविष्य के पूर्वानुमानों में आश्वस्त हो सकें। निम्नलिखित स्क्रीनशॉट में परिणाम हमारी निर्धारित अनुमान रिपोर्ट से हैं।

अंत में, आप आज के डेटा के अनुमानित परिणामों को डेटाबेस में कैप्चर करना चाहते हैं ताकि इस मॉडल के परिणामों के आधार पर कार्रवाई की जा सके।

नोटबुक को समझने के बाद, बेझिझक इसे एक अल्पकालिक कार्य के रूप में चलाने के लिए उपयोग करें अभी भागो पहले वर्णित विकल्प या शेड्यूलिंग कार्यक्षमता का परीक्षण करें।

क्लीन अप

यदि आपने हमारे उदाहरण का पालन किया है, तो चल रहे शुल्कों से बचने के लिए अपने नोटबुक कार्य के शेड्यूल को रोकना या हटाना सुनिश्चित करें।

निष्कर्ष

SageMaker नोटबुक जॉब्स के साथ नोटबुक्स को प्रोडक्शन में लाना डेटा वर्कर्स के लिए आवश्यक अविभाजित भारी भारोत्तोलन को बहुत सरल करता है। चाहे आप एंड-टू-एंड ML वर्कफ़्लो शेड्यूल कर रहे हों या पहेली का एक टुकड़ा, हम आपको SageMaker Studio या SageMaker Studio Lab का उपयोग करके उत्पादन में कुछ नोटबुक डालने के लिए प्रोत्साहित करते हैं! अधिक जानने के लिए, देखें नोटबुक-आधारित वर्कफ़्लोज़.

लेखक के बारे में

शॉन मॉर्गन एडब्ल्यूएस में वरिष्ठ एमएल सॉल्यूशंस आर्किटेक्ट हैं। उनके पास सेमीकंडक्टर और अकादमिक अनुसंधान क्षेत्रों में अनुभव है, और ग्राहकों को एडब्ल्यूएस पर अपने लक्ष्यों तक पहुंचने में मदद करने के लिए अपने अनुभव का उपयोग करते हैं। अपने खाली समय में सीन एक सक्रिय ओपन सोर्स योगदानकर्ता / अनुरक्षक है और TensorFlow Addons के लिए विशेष रुचि समूह का नेतृत्व है।

सुमेधा स्वामी Amazon Web Services में प्रधान उत्पाद प्रबंधक हैं। वह इंटरेक्टिव डेटा साइंस और डेटा इंजीनियरिंग वर्कफ़्लोज़ के लिए पसंद के आईडीई में इसे बनाने के लिए सेजमेकर स्टूडियो टीम का नेतृत्व करता है। उन्होंने पिछले 15 वर्षों में मशीन लर्निंग का उपयोग करके ग्राहक-जुनूनी उपभोक्ता और उद्यम उत्पादों का निर्माण किया है। अपने खाली समय में वह अमेरिकी दक्षिण-पश्चिम के अद्भुत भूविज्ञान की तस्वीरें लेना पसंद करते हैं।

एडवर्ड सन Amazon Web Services में SageMaker Studio के लिए काम कर रहे एक वरिष्ठ SDE हैं। वह डेटा इंजीनियरिंग और एमएल पारिस्थितिकी तंत्र में लोकप्रिय तकनीकों के साथ सैजमेकर स्टूडियो को एकीकृत करने के लिए इंटरैक्टिव एमएल समाधान के निर्माण और ग्राहक अनुभव को सरल बनाने पर केंद्रित है। अपने खाली समय में, एडवर्ड कैम्पिंग, लंबी पैदल यात्रा और मछली पकड़ने के बड़े प्रशंसक हैं और अपने परिवार के साथ समय बिताने का आनंद लेते हैं।