अमेज़ॅन सेजमेकर डेटा रैंगलर और अमेज़ॅन सेजमेकर ऑटोपायलट के साथ एकीकृत डेटा तैयारी, मॉडल प्रशिक्षण और परिनियोजन - भाग 2

डेटा की गुणवत्ता और जटिलता के आधार पर, डेटा वैज्ञानिक अपना 45-80% समय डेटा तैयार करने के कार्यों पर खर्च करते हैं। इसका तात्पर्य यह है कि डेटा तैयार करने और साफ करने में वास्तविक डेटा विज्ञान कार्य से मूल्यवान समय लगता है। मशीन लर्निंग (एमएल) मॉडल को तैयार डेटा के साथ प्रशिक्षित किया जाता है और तैनाती के लिए तैयार किया जाता है, डेटा वैज्ञानिकों को अक्सर एमएल अनुमान के लिए डेटा तैयार करने के लिए उपयोग किए जाने वाले डेटा परिवर्तनों को फिर से लिखना चाहिए। यह एक उपयोगी मॉडल को तैनात करने में लगने वाले समय को बढ़ा सकता है जो डेटा को उसके कच्चे आकार और रूप से अनुमान और स्कोर कर सकता है।

इस श्रृंखला के भाग 1 में, हमने दिखाया कि डेटा रैंगलर कैसे सक्षम बनाता है a एकीकृत डेटा तैयारी और मॉडल प्रशिक्षण साथ अनुभव अमेज़ॅन सैजमेकर ऑटोपायलट कुछ ही क्लिक में। इस श्रृंखला के इस दूसरे और अंतिम भाग में, हम एक ऐसी विशेषता पर ध्यान केंद्रित करते हैं जिसमें शामिल है और पुन: उपयोग करता है अमेज़न SageMaker डेटा रैंगलर एमएल अनुमान के लिए ऑटोपायलट मॉडल के साथ-साथ ट्रांसफॉर्म, जैसे लापता वैल्यू इंप्यूटर्स, ऑर्डिनल या वन-हॉट एनकोडर, और बहुत कुछ। यह सुविधा अनुमान के समय डेटा रैंगलर फीचर ट्रांसफॉर्म के पुन: उपयोग के साथ कच्चे डेटा के स्वचालित प्रीप्रोसेसिंग को सक्षम करती है, और एक प्रशिक्षित मॉडल को उत्पादन के लिए तैनात करने के लिए आवश्यक समय को और कम करती है।

समाधान अवलोकन

डेटा रैंगलर एमएल के लिए डेटा एकत्र करने और तैयार करने में लगने वाले समय को हफ्तों से घटाकर मिनटों कर देता है, और ऑटोपायलट स्वचालित रूप से आपके डेटा के आधार पर सर्वश्रेष्ठ एमएल मॉडल बनाता है, प्रशिक्षित करता है और ट्यून करता है। ऑटोपायलट के साथ, आप अभी भी अपने डेटा और मॉडल का पूर्ण नियंत्रण और दृश्यता बनाए रखते हैं। दोनों सेवाओं का उद्देश्य एमएल प्रैक्टिशनरों को अधिक उत्पादक बनाने और समय-समय पर मूल्य में तेजी लाने के लिए बनाया गया है।

निम्नलिखित चित्र हमारे समाधान वास्तुकला को दर्शाता है।

.. पूर्वापेक्षाएँ

चूंकि यह पोस्ट दो-भाग श्रृंखला में दूसरा है, सुनिश्चित करें कि आपने सफलतापूर्वक पढ़ा और कार्यान्वित किया है भाग 1 जारी रखने से पहले।

मॉडल को निर्यात और प्रशिक्षित करें

भाग 1 में, ML के लिए डेटा तैयार करने के बाद, हमने चर्चा की कि आप डेटासेट का विश्लेषण करने के लिए डेटा रैंगलर में एकीकृत अनुभव का उपयोग कैसे कर सकते हैं और ऑटोपायलट में आसानी से उच्च-गुणवत्ता वाले ML मॉडल बना सकते हैं।

इस बार, हम एक ही प्रशिक्षण डेटासेट के खिलाफ एक मॉडल को प्रशिक्षित करने के लिए एक बार फिर ऑटोपायलट एकीकरण का उपयोग करते हैं, लेकिन बल्क इंट्रेंस करने के बजाय, हम एक के खिलाफ वास्तविक समय का अनुमान लगाते हैं। अमेज़न SageMaker अनुमान समापन बिंदु जो हमारे लिए स्वचालित रूप से बनाया गया है।

स्वचालित समापन बिंदु परिनियोजन द्वारा प्रदान की जाने वाली सुविधा के अलावा, हम प्रदर्शित करते हैं कि आप कैसे सभी डेटा रैंगलर सुविधा के साथ एक सेजमेकर सीरियल इंट्रेंस पाइपलाइन के रूप में भी परिनियोजित कर सकते हैं। यह अनुमान के समय डेटा रैंगलर फीचर ट्रांसफॉर्म के पुन: उपयोग के साथ कच्चे डेटा के स्वचालित प्रीप्रोसेसिंग को सक्षम बनाता है।

ध्यान दें कि यह सुविधा वर्तमान में केवल डेटा रैंगलर प्रवाहों के लिए समर्थित है जो जॉइन, ग्रुप बाय, कॉन्टेनेट और टाइम सीरीज़ ट्रांसफ़ॉर्मेशन का उपयोग नहीं करते हैं।

हम डेटा रैंगलर डेटा प्रवाह UI से एक मॉडल को सीधे प्रशिक्षित करने के लिए ऑटोपायलट के साथ नए डेटा रैंगलर एकीकरण का उपयोग कर सकते हैं।

1. के आगे धन चिह्न चुनें स्केल मान नोड, और चुनें ट्रेन का मॉडल.
2. के लिए अमेज़न S3 स्थान, विवरण दें अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) स्थान जहां सेजमेकर आपका डेटा निर्यात करता है।
   यदि डिफ़ॉल्ट रूप से रूट बकेट पथ के साथ प्रस्तुत किया जाता है, तो डेटा रैंगलर इसके तहत एक अद्वितीय निर्यात उप-निर्देशिका बनाता है-जब तक आप नहीं चाहते तब तक आपको इस डिफ़ॉल्ट रूट पथ को संशोधित करने की आवश्यकता नहीं है। ऑटोपायलट इस स्थान का उपयोग मॉडल को स्वचालित रूप से प्रशिक्षित करने के लिए करता है, जिससे आप बचते हैं डेटा रैंगलर प्रवाह के आउटपुट स्थान को परिभाषित करने और फिर ऑटोपायलट प्रशिक्षण डेटा के इनपुट स्थान को परिभाषित करने का समय। यह अधिक सहज अनुभव के लिए बनाता है।
3. चुनें निर्यात और ट्रेन परिवर्तित डेटा को Amazon S3 में निर्यात करने के लिए।
   
   जब निर्यात सफल होता है, तो आपको इस पर पुनर्निर्देशित किया जाता है एक ऑटोपायलट प्रयोग बनाएं पृष्ठ, के साथ इनपुट डेटा आपके लिए S3 स्थान पहले ही भरा जा चुका है (यह पिछले पृष्ठ के परिणामों से भरा गया था)।
4. के लिए प्रयोग का नाम, एक नाम दर्ज करें (या डिफ़ॉल्ट नाम रखें)।
5. के लिए लक्ष्य, चुनें परिणाम कॉलम के रूप में आप भविष्यवाणी करना चाहते हैं।
6. चुनें अगले: प्रशिक्षण विधि.
   

जैसा कि पोस्ट में विस्तृत है Amazon SageMaker Autopilot AutoGluon द्वारा संचालित नए पहनावा प्रशिक्षण मोड के साथ आठ गुना तेज़ है, आप या तो ऑटोपायलट को डेटासेट आकार के आधार पर स्वचालित रूप से प्रशिक्षण मोड का चयन करने दे सकते हैं, या या तो संयोजन या हाइपरपैरामीटर ऑप्टिमाइज़ेशन (HPO) के लिए मैन्युअल रूप से प्रशिक्षण मोड का चयन कर सकते हैं।

प्रत्येक विकल्प का विवरण इस प्रकार है:

• ऑटो - ऑटोपायलट स्वचालित रूप से आपके डेटासेट आकार के आधार पर या तो संयोजन या एचपीओ मोड चुनता है। यदि आपका डेटासेट 100 एमबी से बड़ा है, तो ऑटोपायलट एचपीओ चुनता है; अन्यथा यह संयोजन चुनता है।
• कोडांतरण - ऑटोपायलट का उपयोग करता है ऑटोग्लून कई आधार मॉडलों को प्रशिक्षित करने के लिए संयोजन तकनीक और एक इष्टतम भविष्य कहनेवाला मॉडल में मॉडल स्टैकिंग का उपयोग करके उनकी भविष्यवाणियों को जोड़ती है।
• हाइपरपरमेटर अनुकूलन - ऑटोपायलट बायेसियन ऑप्टिमाइज़ेशन तकनीक का उपयोग करके हाइपरपैरामीटर को ट्यून करके और आपके डेटासेट पर प्रशिक्षण कार्य चलाकर एक मॉडल का सबसे अच्छा संस्करण ढूंढता है। एचपीओ आपके डेटासेट के लिए सबसे अधिक प्रासंगिक एल्गोरिदम का चयन करता है और मॉडल को ट्यून करने के लिए हाइपरपैरामीटर की सर्वोत्तम श्रेणी चुनता है। हमारे उदाहरण के लिए, हम डिफ़ॉल्ट चयन को छोड़ देते हैं ऑटो.

1. चुनें अगला: परिनियोजन और उन्नत सेटिंग्स जारी रखने के लिए.
   
2. पर परिनियोजन और उन्नत सेटिंग्स पृष्ठ, एक परिनियोजन विकल्प चुनें।
   परिनियोजन विकल्पों को अधिक विस्तार से समझना महत्वपूर्ण है; हम जो चुनते हैं वह इस बात पर प्रभाव डालेगा कि डेटा रैंगलर में हमने पहले किए गए परिवर्तनों को अनुमान पाइपलाइन में शामिल किया जाएगा या नहीं:
   • डेटा रैंगलर से ट्रांसफ़ॉर्म के साथ ऑटो डिप्लॉय बेस्ट मॉडल - इस परिनियोजन विकल्प के साथ, जब आप डेटा रैंगलर में डेटा तैयार करते हैं और ऑटोपायलट को लागू करके एक मॉडल को प्रशिक्षित करते हैं, तो प्रशिक्षित मॉडल को सभी डेटा रैंगलर सुविधा के साथ एक के रूप में रूपांतरित किया जाता है सेजमेकर सीरियल इंट्रेंस पाइपलाइन. यह अनुमान के समय डेटा रैंगलर फीचर ट्रांसफॉर्म के पुन: उपयोग के साथ कच्चे डेटा के स्वचालित प्रीप्रोसेसिंग को सक्षम बनाता है। ध्यान दें कि अनुमान समापन बिंदु आपके डेटा के प्रारूप को उसी प्रारूप में होने की अपेक्षा करता है जब इसे डेटा रैंगलर प्रवाह में आयात किया जाता है।
   • डेटा रैंगलर से ट्रांसफ़ॉर्म किए बिना ऑटो डिप्लॉय बेस्ट मॉडल - यह विकल्प एक रीयल-टाइम एंडपॉइंट को तैनात करता है जो डेटा रैंगलर ट्रांसफ़ॉर्म का उपयोग नहीं करता है। इस मामले में, आपको अनुमान से पहले अपने डेटा रैंगलर प्रवाह में परिभाषित परिवर्तनों को अपने डेटा पर लागू करने की आवश्यकता है।
   • सर्वश्रेष्ठ मॉडल को स्वतः परिनियोजित न करें - आपको इस विकल्प का उपयोग तब करना चाहिए जब आप एक अनुमान समापन बिंदु बिल्कुल नहीं बनाना चाहते हैं। यह उपयोगी है यदि आप बाद में उपयोग के लिए सबसे अच्छा मॉडल बनाना चाहते हैं, जैसे स्थानीय रूप से थोक अनुमान चलाना। (यह परिनियोजन विकल्प है जिसे हमने श्रृंखला के भाग 1 में चुना है।) ध्यान दें कि जब आप इस विकल्प का चयन करते हैं, तो बनाए गए मॉडल (सेजमेकर एसडीके के माध्यम से ऑटोपायलट के सर्वश्रेष्ठ उम्मीदवार से) में सेजमेकर सीरियल इंट्रेंस पाइपलाइन के रूप में डेटा रैंगलर फीचर ट्रांसफॉर्म शामिल होता है।

   इस पोस्ट के लिए, हम का उपयोग करें डेटा रैंगलर से ट्रांसफ़ॉर्म के साथ ऑटो डिप्लॉय बेस्ट मॉडल विकल्प.

3. के लिए परिनियोजन विकल्प, चुनते हैं डेटा रैंगलर से ट्रांसफ़ॉर्म के साथ ऑटो डिप्लॉय बेस्ट मॉडल.
4. अन्य सेटिंग्स को डिफ़ॉल्ट के रूप में छोड़ दें।
5. चुनें अगला: समीक्षा करें और बनाएं जारी रखने के लिए.
   पर समीक्षा करें और बनाएं पृष्ठ पर, हम अपने ऑटोपायलट प्रयोग के लिए चुनी गई सेटिंग्स का सारांश देखते हैं।
6. चुनें प्रयोग बनाएं मॉडल निर्माण प्रक्रिया शुरू करने के लिए।
   

आपको ऑटोपायलट कार्य विवरण पृष्ठ पर पुनर्निर्देशित किया गया है। मॉडल पर दिखाते हैं मॉडल टैब के रूप में वे उत्पन्न होते हैं। यह पुष्टि करने के लिए कि प्रक्रिया पूरी हो गई है, पर जाएँ नौकरी प्रोफ़ाइल टैब और एक के लिए देखो Completed के लिए मूल्य स्थिति खेत।

आप किसी भी समय इस ऑटोपायलट नौकरी विवरण पृष्ठ पर वापस आ सकते हैं अमेज़ॅन सैजमेकर स्टूडियो:

1. चुनें प्रयोग और परीक्षण पर SageMaker संसाधन ड्रॉप डाउन मेनू।
2. आपके द्वारा बनाए गए ऑटोपायलट कार्य का नाम चुनें।
3. प्रयोग चुनें (राइट-क्लिक करें) और चुनें AutoML जॉब का वर्णन करें.

प्रशिक्षण और परिनियोजन देखें

जब ऑटोपायलट प्रयोग पूरा कर लेता है, तो हम प्रशिक्षण परिणाम देख सकते हैं और ऑटोपायलट नौकरी विवरण पृष्ठ से सर्वश्रेष्ठ मॉडल का पता लगा सकते हैं।

लेबल वाला मॉडल चुनें (राइट-क्लिक करें) सर्वश्रेष्ठ मॉडल, और चुनें मॉडल विवरण में खोलें.

RSI प्रदर्शन टैब कई मॉडल माप परीक्षण प्रदर्शित करता है, जिसमें एक भ्रम मैट्रिक्स, सटीक/रिकॉल वक्र (एयूसीपीआर) के तहत क्षेत्र, और रिसीवर ऑपरेटिंग विशेषता वक्र (आरओसी) के तहत क्षेत्र शामिल है। ये मॉडल के समग्र सत्यापन प्रदर्शन को दर्शाते हैं, लेकिन वे हमें यह नहीं बताते हैं कि क्या मॉडल अच्छी तरह से सामान्यीकरण करेगा। हमें अभी भी अनदेखी परीक्षण डेटा पर मूल्यांकन चलाने की आवश्यकता है ताकि यह देखा जा सके कि मॉडल कितनी सटीक भविष्यवाणी करता है (इस उदाहरण के लिए, हम भविष्यवाणी करते हैं कि क्या किसी व्यक्ति को मधुमेह होगा)।

रीयल-टाइम समापन बिंदु के विरुद्ध अनुमान निष्पादित करें

मॉडल के प्रदर्शन का आकलन करने के लिए रीयल-टाइम अनुमान करने के लिए एक नई सेजमेकर नोटबुक बनाएं। सत्यापन के लिए रीयल-टाइम अनुमान चलाने के लिए एक नोटबुक में निम्न कोड दर्ज करें:

import boto3

### Define required boto3 clients

sm_client = boto3.client(service_name="sagemaker")
runtime_sm_client = boto3.client(service_name="sagemaker-runtime")

### Define endpoint name

endpoint_name = ""

### Define input data

payload_str = '5,166.0,72.0,19.0,175.0,25.8,0.587,51'
payload = payload_str.encode()
response = runtime_sm_client.invoke_endpoint(
    EndpointName=endpoint_name,
    ContentType="text/csv",
    Body=payload,
)

response["Body"].read()

अपनी नोटबुक में चलाने के लिए कोड सेट करने के बाद, आपको दो चरों को कॉन्फ़िगर करने की आवश्यकता है:

• endpoint_name
• payload_str

एंडपॉइंट_नाम कॉन्फ़िगर करें

endpoint_name हमारे लिए स्वतः निर्मित परिनियोजन के वास्तविक समय के अनुमान समापन बिंदु के नाम का प्रतिनिधित्व करता है। इसे सेट करने से पहले, हमें इसका नाम ढूंढना होगा।

1. चुनें endpoints पर SageMaker संसाधन ड्रॉप डाउन मेनू।
2. उस समापन बिंदु के नाम का पता लगाएँ जिसमें ऑटोपायलट कार्य का नाम है जिसे आपने यादृच्छिक स्ट्रिंग के साथ जोड़ा है।
3. प्रयोग चुनें (राइट-क्लिक करें), और चुनें समापन बिंदु का वर्णन करें.
   
   RSI समापन बिंदु विवरण पृष्ठ प्रकट होता है।
4. पूर्ण समापन बिंदु नाम हाइलाइट करें, और दबाएं Ctrl + सी इसे क्लिपबोर्ड पर कॉपी करने के लिए।
   
5. के लिए यह मान दर्ज करें (सुनिश्चित करें कि इसका उद्धरण दिया गया है) endpoint_name अनुमान नोटबुक में।
   

Payload_str . को कॉन्फ़िगर करें

नोटबुक एक डिफ़ॉल्ट पेलोड स्ट्रिंग के साथ आता है payload_str कि आप अपने समापन बिंदु का परीक्षण करने के लिए उपयोग कर सकते हैं, लेकिन विभिन्न मूल्यों के साथ प्रयोग करने के लिए स्वतंत्र महसूस करें, जैसे कि आपके परीक्षण डेटासेट से।

परीक्षण डेटासेट से मान निकालने के लिए, निर्देशों का पालन करें भाग 1 परीक्षण डेटासेट को Amazon S3 में निर्यात करने के लिए। फिर Amazon S3 कंसोल पर, आप इसे डाउनलोड कर सकते हैं और Amazon S3 से फ़ाइल का उपयोग करने के लिए पंक्तियों का चयन कर सकते हैं।

आपके परीक्षण डेटासेट की प्रत्येक पंक्ति में नौ कॉलम होते हैं, जिसमें अंतिम कॉलम होता है outcome मूल्य। इस नोटबुक कोड के लिए, सुनिश्चित करें कि आप केवल एक डेटा पंक्ति (कभी CSV शीर्षलेख नहीं) का उपयोग करते हैं payload_str. यह भी सुनिश्चित करें कि आप केवल a send भेजें payload_str आठ कॉलम के साथ, जहां आपने परिणाम मान हटा दिया है।

उदाहरण के लिए, यदि आपकी परीक्षण डेटासेट फ़ाइलें निम्न कोड की तरह दिखती हैं, और हम पहली पंक्ति का रीयल-टाइम अनुमान करना चाहते हैं:

Pregnancies,Glucose,BloodPressure,SkinThickness,Insulin,BMI,DiabetesPedigreeFunction,Age,Outcome 
10,115,0,0,0,35.3,0.134,29,0 
10,168,74,0,0,38.0,0.537,34,1 
1,103,30,38,83,43.3,0.183,33,0

हम ने ठीक किया payload_str सेवा मेरे 10,115,0,0,0,35.3,0.134,29. ध्यान दें कि हमने कैसे छोड़ा outcome के मूल्य 0 अतं मै।

यदि संयोग से आपके डेटासेट का लक्ष्य मान पहला या अंतिम मान नहीं है, तो अल्पविराम संरचना के साथ मान को हटा दें। उदाहरण के लिए, मान लें कि हम बार की भविष्यवाणी कर रहे हैं, और हमारा डेटासेट निम्न कोड जैसा दिखता है:

foo,bar,foobar
85,17,20

इस मामले में, हम सेट payload_str सेवा मेरे 85,,20.

जब नोटबुक को ठीक से कॉन्फ़िगर करके चलाया जाता है payload_str और endpoint_name मान, आपको के प्रारूप में एक CSV प्रतिक्रिया वापस मिलती है outcome (0 या 1), confidence (0 1).

सफाई करना

यह सुनिश्चित करने के लिए कि आप इस ट्यूटोरियल को पूरा करने के बाद ट्यूटोरियल से संबंधित शुल्क नहीं लेते हैं, डेटा रैंगलर ऐप को बंद करना सुनिश्चित करें (https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler-shut-down.html), साथ ही सभी नोटबुक इंस्टेंस का उपयोग अनुमान कार्यों को करने के लिए किया जाता है। अतिरिक्त शुल्कों को रोकने के लिए ऑटो पायलट परिनियोजन के माध्यम से बनाए गए अनुमान समापन बिंदुओं को भी हटा दिया जाना चाहिए।

निष्कर्ष

इस पोस्ट में, हमने प्रदर्शित किया कि डेटा रैंगलर और ऑटोपायलट का उपयोग करके इंजीनियरिंग, और मॉडल निर्माण की विशेषता वाले आपके डेटा प्रोसेसिंग को कैसे एकीकृत किया जाए। श्रृंखला में भाग 1 पर निर्माण, हमने इस बात पर प्रकाश डाला कि आप डेटा रैंगलर यूजर इंटरफेस से सीधे ऑटोपायलट के साथ एक मॉडल को वास्तविक समय के अनुमान समापन बिंदु पर आसानी से कैसे प्रशिक्षित, ट्यून और तैनात कर सकते हैं। स्वचालित समापन बिंदु परिनियोजन द्वारा प्रदान की जाने वाली सुविधा के अलावा, हमने प्रदर्शित किया कि आप डेटा रैंगलर सुविधा के पुन: उपयोग के साथ, कच्चे डेटा के स्वचालित प्रीप्रोसेसिंग के लिए प्रदान करते हुए, सेजमेकर सीरियल इंट्रेंस पाइपलाइन के रूप में सभी डेटा रैंगलर फीचर ट्रांसफ़ॉर्म के साथ कैसे तैनात कर सकते हैं। अनुमान का समय।

डेटा रैंगलर और ऑटोपायलट जैसे लो-कोड और ऑटोएमएल समाधान मजबूत एमएल मॉडल बनाने के लिए गहन कोडिंग ज्ञान की आवश्यकता को दूर करते हैं। डेटा रैंगलर का उपयोग शुरू करें आज यह अनुभव करने के लिए कि ऑटोपायलट का उपयोग करके एमएल मॉडल बनाना कितना आसान है।

लेखक के बारे में

जेरेमी कोहेन AWS के साथ एक समाधान वास्तुकार है जहां वह ग्राहकों को अत्याधुनिक, क्लाउड-आधारित समाधान बनाने में मदद करता है। अपने खाली समय में, वह समुद्र तट पर छोटी सैर का आनंद लेते हैं, अपने परिवार के साथ खाड़ी क्षेत्र की खोज करते हैं, घर के चारों ओर चीजों को ठीक करते हैं, घर के चारों ओर चीजों को तोड़ते हैं, और बीबीक्यू करते हैं।

प्रदीप रेड्डी सेजमेकर लो/नो कोड एमएल टीम में सीनियर प्रोडक्ट मैनेजर हैं, जिसमें सेजमेकर ऑटोपायलट, सेजमेकर ऑटोमैटिक मॉडल ट्यूनर शामिल हैं। काम के अलावा, प्रदीप को ताड़ के आकार के कंप्यूटर जैसे रास्पबेरी पाई, और अन्य होम ऑटोमेशन तकनीक के साथ पढ़ना, दौड़ना और बाहर निकलना पसंद है।

डॉ जॉन हे अमेज़ॅन एआई के साथ एक वरिष्ठ सॉफ्टवेयर विकास इंजीनियर है, जहां वह मशीन सीखने और वितरित कंप्यूटिंग पर ध्यान केंद्रित करता है। उन्होंने सीएमयू से पीएचडी की डिग्री हासिल की है।