अमेज़ॅन सेजमेकर जम्पस्टार्ट प्लेटोब्लॉकचेन डेटा इंटेलिजेंस के साथ वृद्धिशील प्रशिक्षण। लंबवत खोज. ऐ.

अमेज़ॅन सेजमेकर जम्पस्टार्ट के साथ वृद्धिशील प्रशिक्षण

टाइम स्टैम्प: 9 जून, 2022 दोपहर 5:47 बजे

दिसंबर 2020 में, AWS ने Amazon SageMaker जम्पस्टार्ट की सामान्य उपलब्धता की घोषणा की, की क्षमता अमेज़न SageMaker जो आपको मशीन लर्निंग (एमएल) के साथ जल्दी और आसानी से शुरुआत करने में मदद करता है। सेजमेकर जम्पस्टार्ट लोकप्रिय एमएल कार्यों में पूर्व-प्रशिक्षित मॉडलों की एक विस्तृत विविधता की एक-क्लिक फ़ाइन-ट्यूनिंग और परिनियोजन प्रदान करता है, साथ ही सामान्य व्यावसायिक समस्याओं को हल करने वाले एंड-टू-एंड समाधानों का चयन करता है। ये सुविधाएँ एमएल प्रक्रिया के प्रत्येक चरण से भारी भारोत्तोलन को हटा देती हैं, जिससे उच्च-गुणवत्ता वाले मॉडल विकसित करना आसान हो जाता है और तैनाती के लिए समय कम हो जाता है।

सभी जम्पस्टार्ट सामग्री पहले केवल इसके माध्यम से उपलब्ध थी अमेज़ॅन सैजमेकर स्टूडियो, जो प्रदान करता है उपयोगकर्ता के अनुकूल ग्राफिकल इंटरफ़ेस फ़ीचर के साथ इंटरैक्ट करने के लिए. हाल ही में, हम भी लॉन्च की घोषणा की उपयोग में आसान जम्पस्टार्ट एपीआई सेजमेकर पायथन एसडीके के विस्तार के रूप में, आपको अपने स्वयं के डेटासेट पर जम्पस्टार्ट-समर्थित पूर्व-प्रशिक्षित मॉडलों के विशाल चयन को प्रोग्रामेटिक रूप से तैनात करने और फाइन-ट्यून करने की अनुमति देता है। यह लॉन्च आपके कोड वर्कफ़्लोज़, एमएलओपीएस पाइपलाइनों और कहीं भी जहां आप एसडीके के माध्यम से सेजमेकर के साथ इंटरैक्ट कर रहे हैं, जंपस्टार्ट क्षमताओं के उपयोग को अनलॉक करता है।

इस पोस्ट में, हमें यह घोषणा करते हुए खुशी हो रही है कि सभी प्रशिक्षण योग्य जम्पस्टार्ट मॉडल अब वृद्धिशील प्रशिक्षण का समर्थन करते हैं। वृद्धिशील प्रशिक्षण आपको एक ऐसे मॉडल को प्रशिक्षित करने की अनुमति देता है जिसे आपने विस्तारित डेटासेट का उपयोग करके पहले से ही ठीक कर लिया है जिसमें एक अंतर्निहित पैटर्न होता है जिसका पिछले फाइन-ट्यूनिंग रन में ध्यान नहीं दिया जाता है, जिसके परिणामस्वरूप मॉडल का प्रदर्शन खराब होता है। वृद्धिशील प्रशिक्षण से समय और संसाधन दोनों की बचत होती है क्योंकि आपको मॉडल को नए सिरे से प्रशिक्षित करने की आवश्यकता नहीं होती है। यदि आप सीधे जंपस्टार्ट एपीआई कोड में जाना चाहते हैं जिसे हम इस पोस्ट में समझाते हैं, तो आप इसका संदर्भ ले सकते हैं नमूना नोटबुक.

जम्पस्टार्ट सिंहावलोकन

जम्पस्टार्ट एक बहुआयामी उत्पाद है जिसमें सेजमेकर पर एमएल के साथ शीघ्रता से आरंभ करने में आपकी मदद करने के लिए विभिन्न क्षमताएं शामिल हैं। लेखन के समय, जम्पस्टार्ट आपको निम्नलिखित कार्य करने में सक्षम बनाता है:

  • सामान्य एमएल कार्यों के लिए पूर्व-प्रशिक्षित मॉडल तैनात करें - जम्पस्टार्ट आपको बड़े, सार्वजनिक रूप से उपलब्ध डेटासेट पर पूर्व-प्रशिक्षित मॉडलों की आसान तैनाती प्रदान करके बिना किसी विकास प्रयास के सामान्य एमएल कार्यों को संबोधित करने में सक्षम बनाता है। एमएल अनुसंधान समुदाय ने हाल ही में विकसित अधिकांश मॉडलों को सार्वजनिक रूप से उपयोग के लिए उपलब्ध कराने में बड़ी मात्रा में प्रयास किए हैं; जम्पस्टार्ट 300 से अधिक मॉडलों का एक संग्रह होस्ट करता है, जिसमें 15 सबसे लोकप्रिय एमएल कार्य जैसे ऑब्जेक्ट डिटेक्शन, टेक्स्ट वर्गीकरण और टेक्स्ट जेनरेशन शामिल हैं, जिससे शुरुआती लोगों के लिए उनका उपयोग करना आसान हो जाता है। ये मॉडल लोकप्रिय मॉडल हब, जैसे कि TensorFlow, PyTorch, Hugging Face और MXNet हब से तैयार किए गए हैं।
  • पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें - जंपस्टार्ट आपको अपना स्वयं का प्रशिक्षण एल्गोरिदम लिखने की आवश्यकता के बिना पूर्व-प्रशिक्षित मॉडल को ठीक करने की अनुमति देता है। एमएल में, एक डोमेन में सीखे गए ज्ञान को दूसरे डोमेन में स्थानांतरित करने की क्षमता को कहा जाता है सीखने का स्थानांतरण. आप अपने छोटे डेटासेट पर सटीक मॉडल तैयार करने के लिए ट्रांसफर लर्निंग का उपयोग कर सकते हैं, जिसमें मूल मॉडल के प्रशिक्षण में शामिल प्रशिक्षण लागत की तुलना में बहुत कम प्रशिक्षण लागत शामिल है। जम्पस्टार्ट में लाइटजीबीएम, कैटबूस्ट, एक्सजीबूस्ट और स्किकिट-लर्न पर आधारित लोकप्रिय प्रशिक्षण एल्गोरिदम भी शामिल हैं जिन्हें आप सारणीबद्ध प्रतिगमन और वर्गीकरण के लिए शुरू से ही प्रशिक्षित कर सकते हैं।
  • पूर्व-निर्मित समाधानों का उपयोग करें - जंपस्टार्ट सामान्य एमएल उपयोग के मामलों जैसे मांग पूर्वानुमान और औद्योगिक और वित्तीय अनुप्रयोगों के लिए 17 समाधानों का एक सेट प्रदान करता है, जिसे आप कुछ ही क्लिक के साथ तैनात कर सकते हैं। समाधान एंड-टू-एंड एमएल एप्लिकेशन हैं जो किसी विशेष व्यावसायिक उपयोग के मामले को हल करने के लिए विभिन्न एडब्ल्यूएस सेवाओं को एक साथ जोड़ते हैं। वे उपयोग करते हैं एडब्ल्यूएस CloudFormation त्वरित परिनियोजन के लिए टेम्प्लेट और संदर्भ आर्किटेक्चर, जिसका अर्थ है कि वे पूरी तरह से अनुकूलन योग्य हैं।
  • सेजमेकर एल्गोरिदम के लिए नोटबुक उदाहरणों का उपयोग करें - सेजमेकर डेटा वैज्ञानिकों और एमएल चिकित्सकों को प्रशिक्षण और एमएल मॉडल को जल्दी से तैनात करने में मदद करने के लिए अंतर्निहित एल्गोरिदम का एक सूट प्रदान करता है। जंपस्टार्ट नमूना नोटबुक प्रदान करता है जिसका उपयोग आप इन एल्गोरिदम को तुरंत लागू करने के लिए कर सकते हैं।
  • प्रशिक्षण वीडियो और ब्लॉग की समीक्षा करें - जम्पस्टार्ट कई ब्लॉग पोस्ट और वीडियो भी प्रदान करता है जो आपको सिखाते हैं कि सेजमेकर के भीतर विभिन्न कार्यात्मकताओं का उपयोग कैसे करें।

जम्पस्टार्ट कस्टम वीपीसी सेटिंग्स को स्वीकार करता है और AWS प्रमुख प्रबंधन सेवा (AWS KMS) एन्क्रिप्शन कुंजियाँ, ताकि आप अपने एंटरप्राइज़ परिवेश में उपलब्ध मॉडलों और समाधानों का सुरक्षित रूप से उपयोग कर सकें। आप अपनी सुरक्षा सेटिंग्स को स्टूडियो के भीतर या सेजमेकर पायथन एसडीके के माध्यम से जम्पस्टार्ट में पास कर सकते हैं।

छवि वर्गीकरण

छवि वर्गीकरण से तात्पर्य किसी छवि को प्रशिक्षण डेटासेट में किसी एक वर्ग लेबल में वर्गीकृत करना है। आप किसी भी संख्या में वर्गों से संबंधित छवियों वाले किसी भी डेटासेट के लिए मॉडल को फाइन-ट्यून कर सकते हैं। जंपस्टार्ट पर फाइन-ट्यूनिंग के लिए उपलब्ध मॉडल संबंधित फीचर एक्सट्रैक्टर मॉडल में एक वर्गीकरण परत जोड़ता है और परत मापदंडों को यादृच्छिक मानों के लिए आरंभ करता है। वर्गीकरण परत का आउटपुट आयाम इनपुट डेटा में वर्गों की संख्या के आधार पर निर्धारित किया जाता है। फ़ाइन-ट्यूनिंग चरण फ़ीचर एक्सट्रैक्टर मॉडल के मापदंडों को स्थिर रखते हुए, वर्गीकरण परत मापदंडों को ट्यून करता है, और फ़ाइन-ट्यून किए गए मॉडल को लौटाता है। इसका उद्देश्य इनपुट डेटा पर पूर्वानुमान त्रुटि को कम करना है।

हमारे डेटासेट के लिए, इनपुट एक निर्देशिका है जिसमें कक्षाओं की संख्या जितनी उप-निर्देशिकाएँ होती हैं। प्रत्येक उप-निर्देशिका में .jpg प्रारूप में उस वर्ग से संबंधित छवियां होनी चाहिए। यदि प्रशिक्षण डेटा में दो वर्गों की छवियां हैं तो इनपुट निर्देशिका निम्नलिखित पदानुक्रम की तरह दिखनी चाहिए: roses और dandelion:

input_directory |--roses |--abc.jpg |--def.jpg |--dandelion |--ghi.jpg |--jkl.jpg

फ़ोल्डरों के नाम, कक्षाएं और .jpg फ़ाइल नाम कुछ भी हो सकते हैं।

हम प्रदान करते हैं tf_flowers1 मॉडल को फाइन-ट्यूनिंग के लिए एक डिफ़ॉल्ट डेटासेट के रूप में डेटासेट। इस डेटासेट में पांच प्रकार के फूलों की छवियां शामिल हैं। डेटासेट यहां से डाउनलोड किया गया है TensorFlow.

वॉकथ्रू अवलोकन

निम्नलिखित अनुभाग स्टूडियो यूआई और जंपस्टार्ट एपीआई दोनों के माध्यम से जम्पस्टार्ट के साथ छवि वर्गीकरण करने के लिए चरण-दर-चरण डेमो प्रदान करते हैं।

हम निम्नलिखित चरणों से गुजरते हैं:

  1. स्टूडियो यूआई के माध्यम से जम्पस्टार्ट तक पहुँचें:
    1. पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें।
    2. सुव्यवस्थित मॉडल तैनात करें.
    3. सुव्यवस्थित मॉडल को क्रमिक रूप से प्रशिक्षित करें और पुनः तैनात करें।
  2. सेजमेकर पायथन एसडीके के साथ प्रोग्रामेटिक रूप से जम्पस्टार्ट का प्रयोग करें:
    1. पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें।
    2. सुव्यवस्थित मॉडल तैनात करें.
    3. सुव्यवस्थित मॉडल को क्रमिक रूप से प्रशिक्षित करें और पुनः तैनात करें।

Studio UI के माध्यम से जम्पस्टार्ट तक पहुँचें

इस अनुभाग में, हम प्रदर्शित करते हैं कि स्टूडियो यूआई के माध्यम से जम्पस्टार्ट मॉडल को कैसे ठीक किया जाए और तैनात किया जाए। इसके अतिरिक्त, हम दिखाते हैं कि जिस मॉडल को आपने पहले ठीक किया है, उसे क्रमिक रूप से कैसे प्रशिक्षित किया जाए।

पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें

निम्नलिखित वीडियो आपको दिखाता है कि जंपस्टार्ट पर पूर्व-प्रशिक्षित छवि वर्गीकरण मॉडल कैसे ढूंढें और इसे कैसे ठीक करें। मॉडल पृष्ठ में मॉडल के बारे में बहुमूल्य जानकारी, इसका उपयोग कैसे करें, अपेक्षित डेटा प्रारूप और कुछ फाइन-ट्यूनिंग विवरण शामिल हैं।

प्रदर्शन उद्देश्यों के लिए, हम डिफ़ॉल्ट रूप से प्रदान किए गए डेटासेट का उपयोग करके मॉडल को ठीक करते हैं, जो कि है tf_flowers डेटासेट, फूलों की विभिन्न किस्मों से बना है। आपके स्वयं के डेटासेट पर फ़ाइन-ट्यूनिंग में डेटा का सही फ़ॉर्मेटिंग लेना (जैसा कि मॉडल पेज पर बताया गया है), इसे अपलोड करना शामिल है अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3), और डेटा स्रोत कॉन्फ़िगरेशन में इसका स्थान निर्दिष्ट करना।

हम डिफ़ॉल्ट रूप से निर्धारित समान हाइपरपैरामीटर मान (युगों की संख्या, सीखने की दर और बैच आकार) का उपयोग करते हैं। हम अपने सेजमेकर प्रशिक्षण इंस्टेंस के रूप में GPU-समर्थित ml.p3.2xlarge इंस्टेंस का भी उपयोग करते हैं।

आप सीधे स्टूडियो कंसोल पर अपने प्रशिक्षण कार्य की निगरानी कर सकते हैं, और इसके पूरा होने पर आपको सूचित किया जाएगा।

फ़ाइन-ट्यून किए गए मॉडल को परिनियोजित करें

प्रशिक्षण पूरा होने के बाद, आप उसी पृष्ठ से सुव्यवस्थित मॉडल को तैनात कर सकते हैं जिसमें प्रशिक्षण कार्य का विवरण होता है। अपने मॉडल को तैनात करने के लिए, हम एक अलग इंस्टेंस प्रकार, ml.p2.xlarge चुनते हैं। यह अभी भी कम अनुमान विलंबता के लिए आवश्यक GPU त्वरण प्रदान करता है, लेकिन कम कीमत पर। सेजमेकर होस्टिंग इंस्टेंस को कॉन्फ़िगर करने के बाद, चुनें तैनाती. आपका स्थायी समापन बिंदु उठने और चलने में 5-10 मिनट लग सकते हैं।

तब आपका समापन बिंदु चालू है और अनुमान अनुरोधों का जवाब देने के लिए तैयार है!

अनुमान के लिए अपने समय को तेज करने के लिए, जम्पस्टार्ट एक नमूना नोटबुक प्रदान करता है जो आपको दिखाता है कि आपके नए परिनियोजित समापन बिंदु पर अनुमान कैसे चलाया जाए। चुनना नोटबुक खोलें के अंतर्गत समापनबिंदु का प्रयोग करें स्टूडियो से.

सुव्यवस्थित मॉडल को क्रमिक रूप से प्रशिक्षित करें और तैनात करें

जब फ़ाइन-ट्यूनिंग पूरी हो जाती है, तो आप प्रदर्शन को बढ़ावा देने के लिए मॉडल को और प्रशिक्षित कर सकते हैं। यह चरण प्रारंभिक फाइन-ट्यूनिंग प्रक्रिया के समान है, सिवाय इसके कि हम शुरुआती बिंदु के रूप में पहले से ही फाइन-ट्यून किए गए मॉडल का उपयोग करते हैं। आप नए डेटा का उपयोग कर सकते हैं, लेकिन डेटासेट प्रारूप समान होना चाहिए (कक्षाओं का समान सेट)।

सेजमेकर एसडीके के साथ प्रोग्रामेटिक रूप से जम्पस्टार्ट का उपयोग करें

पिछले अनुभागों में, हमने दिखाया कि कैसे आप जम्पस्टार्ट यूआई का उपयोग करके कुछ ही क्लिक में किसी मॉडल को अंतःक्रियात्मक रूप से फाइन-ट्यून, तैनात और वृद्धिशील रूप से प्रशिक्षित कर सकते हैं। आप जम्पस्टार्ट के मॉडल का भी उपयोग कर सकते हैं और सेजमेकर एसडीके में एकीकृत एपीआई का उपयोग करके प्रोग्रामेटिक रूप से आसान फाइन-ट्यूनिंग कर सकते हैं। अब हम एक त्वरित उदाहरण देखेंगे कि आप पिछली प्रक्रिया को कैसे दोहरा सकते हैं। इस डेमो के सभी चरण संलग्न नोटबुक में उपलब्ध हैं जम्पस्टार्ट का परिचय - छवि वर्गीकरण.

पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें

किसी चयनित मॉडल को फाइन-ट्यून करने के लिए, हमें उस मॉडल का यूआरआई, साथ ही प्रशिक्षण स्क्रिप्ट और प्रशिक्षण के लिए उपयोग की जाने वाली कंटेनर छवि प्राप्त करने की आवश्यकता है। शुक्र है, ये तीन इनपुट पूरी तरह से मॉडल नाम, संस्करण (उपलब्ध मॉडलों की सूची के लिए, देखें) पर निर्भर करते हैं जम्पस्टार्ट उपलब्ध मॉडल तालिका), और उदाहरण का प्रकार जिस पर आप प्रशिक्षण लेना चाहते हैं। इसे निम्नलिखित कोड स्निपेट में प्रदर्शित किया गया है:

from sagemaker import image_uris, model_uris, script_uris model_id, model_version = "pytorch-ic-mobilenet-v2", "1.0.0"
training_instance_type = "ml.p3.2xlarge" # Retrieve the docker image
train_image_uri = image_uris.retrieve( region=None, framework=None, model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training") # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

हम पुनः प्राप्त करते हैं model_id यह उसी मॉडल के अनुरूप है जिसका हमने पहले उपयोग किया था। पहचानकर्ता में आईसी छवि वर्गीकरण से मेल खाती है।

अब आप सेजमेकर एसडीके का उपयोग करके इस जम्पस्टार्ट मॉडल को अपने स्वयं के कस्टम डेटासेट पर फाइन-ट्यून कर सकते हैं। हम उसी का प्रयोग करते हैं tf_flowers अमेज़ॅन S3 पर सार्वजनिक रूप से होस्ट किया गया डेटासेट, आसानी से भावना विश्लेषण पर केंद्रित है। आपके डेटासेट को फ़ाइन-ट्यूनिंग के लिए संरचित किया जाना चाहिए, जैसा कि पिछले अनुभाग में बताया गया है। निम्नलिखित उदाहरण कोड देखें:

# URI of your training dataset
training_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tf_flowers/"
training_job_name = name_from_base(f"jumpstart-example-{model_id}-transfer-learning") # Create SageMaker Estimator instance
ic_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location,
) # Launch a SageMaker Training job by passing s3 path of the training data
ic_estimator.fit({"training": training_dataset_s3_path}, logs=True)

हम अपने चयनित मॉडल के लिए वही डिफ़ॉल्ट हाइपरपैरामीटर प्राप्त करते हैं जो हमने पिछले अनुभाग में देखे थे, का उपयोग करते हुए sagemaker.hyperparameters.retrieve_default(). फिर हम एक सेजमेकर अनुमानक को इंस्टेंट करते हैं और अपने मॉडल को फाइन-ट्यूनिंग शुरू करने के लिए .fit विधि को कॉल करते हैं, इसे हमारे प्रशिक्षण डेटा के लिए अमेज़ॅन S3 URI पास करते हैं। जैसा कि आप देख सकते हैं, entry_point प्रदान की गई स्क्रिप्ट का नाम है transfer_learning.py (अन्य कार्यों और मॉडलों के लिए समान), और इनपुट डेटा चैनल को पास किया गया .fit नाम होना चाहिए training.

सुव्यवस्थित मॉडल का परिनियोजन

जब प्रशिक्षण पूरा हो जाता है, तो आप अपने फाइन-ट्यून मॉडल को तैनात कर सकते हैं। ऐसा करने के लिए, हमें केवल अनुमान स्क्रिप्ट यूआरआई प्राप्त करने की आवश्यकता है (कोड जो निर्धारित करता है कि मॉडल को एक बार तैनात करने के लिए कैसे उपयोग किया जाता है) और अनुमान कंटेनर छवि यूआरआई, जिसमें हमारे द्वारा चुने गए मॉडल को होस्ट करने के लिए उपयुक्त मॉडल सर्वर शामिल है। निम्नलिखित कोड देखें:

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve( region=None, framework=None, image_scope="inference", model_id=model_id, model_version=model_version, instance_type=inference_instance_type,
)
# Retrieve the inference script uri
deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference"
) endpoint_name = name_from_base(f"jumpstart-example-FT-{model_id}-") # Use the estimator from the previous step to deploy to a SageMaker endpoint
finetuned_predictor = ic_estimator.deploy( initial_instance_count=1, instance_type=inference_instance_type, entry_point="inference.py", image_uri=deploy_image_uri, source_dir=deploy_source_uri, endpoint_name=endpoint_name,
)

कुछ मिनटों के बाद, हमारा मॉडल तैनात हो जाता है और हम वास्तविक समय में इससे पूर्वानुमान प्राप्त कर सकते हैं!

इसके बाद, हम यह अनुमान लगाने के लिए समापन बिंदु का आह्वान करते हैं कि उदाहरण छवि में किस प्रकार के फूल मौजूद हैं। हम उपयोग करते हैं query_endpoint और parse_response सहायक कार्य, जिन्हें साथ में परिभाषित किया गया है नोटबुक.

query_response = finetuned_predictor.predict( img, {"ContentType": "application/x-image", "Accept": "application/json;verbose"} )
model_predictions = json.loads(query_response)
predicted_label = model_predictions["predicted_label"]
display( HTML( f'<img src={image_filename} alt={image_filename} align="left" style="width: 250px;"/>' f"<figcaption>Predicted Label: {predicted_label}</figcaption>" )
)

सुव्यवस्थित मॉडल को क्रमिक रूप से प्रशिक्षित करें और पुनः तैनात करें

हम एक सुव्यवस्थित मॉडल को नई छवियों पर और प्रशिक्षित करके उसके प्रदर्शन को बढ़ा सकते हैं। इसके लिए आप किसी भी संख्या में नई या पुरानी छवियों का उपयोग कर सकते हैं, हालाँकि डेटासेट प्रारूप समान रहना चाहिए (कक्षाओं का समान सेट)। वृद्धिशील प्रशिक्षण चरण एक महत्वपूर्ण अंतर के साथ फाइन-ट्यूनिंग प्रक्रिया के समान है: प्रारंभिक फाइन-ट्यूनिंग में हम एक पूर्व-प्रशिक्षित मॉडल के साथ शुरू करते हैं, जबकि वृद्धिशील प्रशिक्षण में हम एक मौजूदा फाइन-ट्यूनिंग मॉडल के साथ शुरू करते हैं। निम्नलिखित कोड देखें:

last_trained_model_path = f"{s3_output_location}/{last_training_job_name}/output/model.tar.gz"
incremental_s3_output_location = f"s3://{output_bucket}/{incremental_output_prefix}/output"incremental_train_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=last_trained_model_path, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=incremental_s3_output_location, base_job_name=incremental_training_job_name,
) incremental_train_estimator.fit({"training": training_dataset_s3_path}, logs=True)

जब प्रशिक्षण पूरा हो जाता है, तो हम मॉडल को तैनात करने के लिए पिछले अनुभाग में वर्णित चरणों का ही उपयोग कर सकते हैं।

निष्कर्ष

जम्पस्टार्ट सेजमेकर की एक क्षमता है जो आपको एमएल के साथ शीघ्रता से शुरुआत करने की अनुमति देती है। जंपस्टार्ट छवि वर्गीकरण, ऑब्जेक्ट डिटेक्शन, टेक्स्ट वर्गीकरण, वाक्य जोड़ी वर्गीकरण और प्रश्न उत्तर जैसी सामान्य एमएल समस्याओं को हल करने के लिए ओपन-सोर्स पूर्व-प्रशिक्षित मॉडल का उपयोग करता है।

इस पोस्ट में, हमने आपको दिखाया कि पूर्व-प्रशिक्षित छवि वर्गीकरण मॉडल को कैसे ठीक करें और तैनात करें। हमने यह भी दिखाया कि छवि वर्गीकरण के लिए एक सुव्यवस्थित मॉडल को क्रमिक रूप से कैसे प्रशिक्षित किया जाए। जंपस्टार्ट के साथ, आप बिना किसी कोड की आवश्यकता के इस प्रक्रिया को आसानी से निष्पादित कर सकते हैं। समाधान स्वयं आज़माएँ और हमें टिप्पणियों में बताएं कि यह कैसा चल रहा है। जम्पस्टार्ट के बारे में अधिक जानने के लिए, AWS re:Invent 2020 वीडियो देखें अमेज़ॅन सेजमेकर जम्पस्टार्ट के साथ मिनटों में एमएल के साथ शुरुआत करें.

संदर्भ

  1. टेंसरफ़्लो टीम, 2019

लेखक के बारे में

अमेज़ॅन सेजमेकर जम्पस्टार्ट प्लेटोब्लॉकचेन डेटा इंटेलिजेंस के साथ वृद्धिशील प्रशिक्षण। लंबवत खोज. ऐ.डॉ विवेक मदनी अमेज़ॅन सेजमेकर जम्पस्टार्ट टीम के साथ एक एप्लाइड साइंटिस्ट हैं। उन्होंने पीएचडी की उपाधि प्राप्त की। अर्बाना-शैंपेन में इलिनोइस विश्वविद्यालय से और जॉर्जिया टेक में पोस्ट डॉक्टरल शोधकर्ता थे। वह मशीन लर्निंग और एल्गोरिदम डिजाइन में एक सक्रिय शोधकर्ता हैं और उन्होंने ईएमएनएलपी, आईसीएलआर, सीओएलटी, एफओसीएस और सोडा सम्मेलनों में पत्र प्रकाशित किए हैं।

अमेज़ॅन सेजमेकर जम्पस्टार्ट प्लेटोब्लॉकचेन डेटा इंटेलिजेंस के साथ वृद्धिशील प्रशिक्षण। लंबवत खोज. ऐ.जोआओ मौरा Amazon वेब सर्विसेज में AI/ML स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। वह ज्यादातर एनएलपी उपयोग के मामलों पर केंद्रित है और ग्राहकों को गहन शिक्षण मॉडल प्रशिक्षण और तैनाती को अनुकूलित करने में मदद करता है। वह लो-कोड एमएल सॉल्यूशंस और एमएल-स्पेशलाइज्ड हार्डवेयर के सक्रिय प्रस्तावक भी हैं।

अमेज़ॅन सेजमेकर जम्पस्टार्ट प्लेटोब्लॉकचेन डेटा इंटेलिजेंस के साथ वृद्धिशील प्रशिक्षण। लंबवत खोज. ऐ.डॉ आशीष खेतानी के साथ एक वरिष्ठ अनुप्रयुक्त वैज्ञानिक हैं अमेज़न SageMaker जम्पस्टार्ट और अमेज़ॅन सेजमेकर बिल्ट-इन एल्गोरिदम और मशीन लर्निंग एल्गोरिदम विकसित करने में मदद करता है। वह मशीन लर्निंग और सांख्यिकीय अनुमान में एक सक्रिय शोधकर्ता हैं और उन्होंने न्यूरिप्स, आईसीएमएल, आईसीएलआर, जेएमएलआर, एसीएल और ईएमएनएलपी सम्मेलनों में कई पत्र प्रकाशित किए हैं।

समय टिकट:

से अधिक AWS मशीन लर्निंग