Amazon SageMaker जम्पस्टार्ट मॉडल और एल्गोरिदम अब API के माध्यम से उपलब्ध हैं

दिसंबर 2020 में, AWS ने सामान्य उपलब्धता की घोषणा की of अमेज़न SageMaker जम्पस्टार्ट, की क्षमता अमेज़न SageMaker जो आपको मशीन लर्निंग (एमएल) के साथ जल्दी और आसानी से आरंभ करने में मदद करता है। जम्पस्टार्ट लोकप्रिय एमएल कार्यों में पूर्व-प्रशिक्षित मॉडलों की एक विस्तृत विविधता की एक-क्लिक फ़ाइन-ट्यूनिंग और परिनियोजन प्रदान करता है, साथ ही सामान्य व्यावसायिक समस्याओं को हल करने वाले एंड-टू-एंड समाधानों का चयन भी करता है। ये सुविधाएँ एमएल प्रक्रिया के प्रत्येक चरण से भारी भारोत्तोलन को हटा देती हैं, जिससे उच्च-गुणवत्ता वाले मॉडल विकसित करना आसान हो जाता है और तैनाती के लिए समय कम हो जाता है।

पहले, सभी जम्पस्टार्ट सामग्री केवल के माध्यम से उपलब्ध थी अमेज़ॅन सैजमेकर स्टूडियो, जो प्रदान करता है उपयोगकर्ता के अनुकूल ग्राफिकल इंटरफ़ेस सुविधा के साथ बातचीत करने के लिए। आज, हम उपयोग में आसान के लॉन्च की घोषणा करते हुए उत्साहित हैं जम्पस्टार्ट एपीआई सेजमेकर पायथन एसडीके के विस्तार के रूप में। ये एपीआई आपको अपने स्वयं के डेटासेट पर जम्पस्टार्ट-समर्थित पूर्व-प्रशिक्षित मॉडलों के विशाल चयन को प्रोग्रामेटिक रूप से परिनियोजित करने और फाइन-ट्यून करने की अनुमति देते हैं। यह लॉन्च आपके कोड वर्कफ़्लोज़, एमएलओपीएस पाइपलाइनों में जम्पस्टार्ट क्षमताओं के उपयोग को अनलॉक करता है, और कहीं भी आप एसडीके के माध्यम से सेजमेकर के साथ बातचीत कर रहे हैं।

इस पोस्ट में, हम जम्पस्टार्ट की क्षमताओं की वर्तमान स्थिति पर एक अपडेट प्रदान करते हैं और उदाहरण के उपयोग के मामले के साथ जम्पस्टार्ट एपीआई के उपयोग प्रवाह के माध्यम से आपका मार्गदर्शन करते हैं।

जम्पस्टार्ट सिंहावलोकन

जम्पस्टार्ट एक बहुआयामी उत्पाद है जिसमें सेजमेकर पर एमएल के साथ शीघ्रता से आरंभ करने में आपकी मदद करने के लिए विभिन्न क्षमताएं शामिल हैं। लेखन के समय, जम्पस्टार्ट आपको निम्नलिखित कार्य करने में सक्षम बनाता है:

• सामान्य एमएल कार्यों के लिए पूर्व-प्रशिक्षित मॉडल तैनात करें - जम्पस्टार्ट आपको सार्वजनिक रूप से उपलब्ध बड़े डेटासेट पर पूर्व-प्रशिक्षित मॉडलों की आसान तैनाती प्रदान करके बिना किसी विकास प्रयास के सामान्य एमएल कार्यों को हल करने में सक्षम बनाता है। एमएल अनुसंधान समुदाय ने हाल ही में विकसित अधिकांश मॉडलों को सार्वजनिक रूप से उपयोग के लिए उपलब्ध कराने में बड़ी मात्रा में प्रयास किया है। जम्पस्टार्ट 300 से अधिक मॉडलों का एक संग्रह होस्ट करता है, जिसमें ऑब्जेक्ट डिटेक्शन, टेक्स्ट वर्गीकरण और टेक्स्ट जनरेशन जैसे 15 सबसे लोकप्रिय एमएल कार्य शामिल हैं, जिससे शुरुआती लोगों के लिए उनका उपयोग करना आसान हो जाता है। ये मॉडल लोकप्रिय मॉडल हब, जैसे कि TensorFlow, PyTorch, Hugging Face और MXNet हब से लिए गए हैं।
• पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें - जम्पस्टार्ट आपको अपने स्वयं के प्रशिक्षण एल्गोरिथम को लिखने की आवश्यकता के बिना पूर्व-प्रशिक्षित मॉडल को ठीक करने की अनुमति देता है। एमएल में, एक डोमेन में सीखे गए ज्ञान को दूसरे डोमेन में स्थानांतरित करने की क्षमता को कहा जाता है सीखने का स्थानांतरण. आप अपने छोटे डेटासेट पर सटीक मॉडल बनाने के लिए ट्रांसफर लर्निंग का उपयोग कर सकते हैं, जिसमें मूल मॉडल को स्क्रैच से प्रशिक्षित करने में शामिल लोगों की तुलना में बहुत कम प्रशिक्षण लागत होती है। जम्पस्टार्ट में लाइटजीबीएम, कैटबॉस्ट, एक्सजीबूस्ट और स्किकिट-लर्न पर आधारित लोकप्रिय प्रशिक्षण एल्गोरिदम भी शामिल हैं जिन्हें आप सारणीबद्ध डेटा प्रतिगमन और वर्गीकरण के लिए खरोंच से प्रशिक्षित कर सकते हैं।
• पूर्व-निर्मित समाधानों का उपयोग करें - जम्पस्टार्ट का एक सेट प्रदान करता है 17 पूर्व-निर्मित समाधान सामान्य एमएल उपयोग के मामलों के लिए, जैसे मांग पूर्वानुमान और औद्योगिक और वित्तीय अनुप्रयोग, जिन्हें आप कुछ ही क्लिक के साथ तैनात कर सकते हैं। समाधान एंड-टू-एंड एमएल एप्लिकेशन हैं जो एक विशेष व्यावसायिक उपयोग के मामले को हल करने के लिए विभिन्न एडब्ल्यूएस सेवाओं को एक साथ जोड़ते हैं। वे उपयोग करते हैं एडब्ल्यूएस CloudFormation त्वरित परिनियोजन के लिए टेम्प्लेट और संदर्भ आर्किटेक्चर, जिसका अर्थ है कि वे पूरी तरह से अनुकूलन योग्य हैं।
• सेजमेकर एल्गोरिदम के लिए नोटबुक उदाहरणों का उपयोग करें - सेजमेकर का एक सूट प्रदान करता है अंतर्निहित एल्गोरिदम डेटा वैज्ञानिकों और एमएल प्रैक्टिशनरों को प्रशिक्षण और एमएल मॉडल को जल्दी से तैनात करने में मदद करने के लिए। जम्पस्टार्ट नमूना नोटबुक प्रदान करता है जिसका उपयोग आप इन एल्गोरिदम का शीघ्रता से उपयोग करने के लिए कर सकते हैं।
• प्रशिक्षण वीडियो और ब्लॉग का लाभ उठाएं - जम्पस्टार्ट कई ब्लॉग पोस्ट और वीडियो भी प्रदान करता है जो आपको सिखाते हैं कि सेजमेकर के भीतर विभिन्न कार्यात्मकताओं का उपयोग कैसे करें।

जम्पस्टार्ट कस्टम वीपीसी सेटिंग्स और केएमएस एन्क्रिप्शन कुंजी स्वीकार करता है, ताकि आप अपने उद्यम परिवेश में उपलब्ध मॉडलों और समाधानों का सुरक्षित रूप से उपयोग कर सकें। आप अपनी सुरक्षा सेटिंग्स को सेजमेकर स्टूडियो के भीतर या सेजमेकर पायथन एसडीके के माध्यम से जम्पस्टार्ट में पास कर सकते हैं।

जम्पस्टार्ट-समर्थित एमएल कार्य और एपीआई उदाहरण नोटबुक

जम्पस्टार्ट वर्तमान में सबसे लोकप्रिय एमएल कार्यों में से 15 का समर्थन करता है; उनमें से 13 विज़न और एनएलपी-आधारित कार्य हैं, जिनमें से 8 नो-कोड फ़ाइन-ट्यूनिंग का समर्थन करते हैं। यह सारणीबद्ध डेटा मॉडलिंग के लिए चार लोकप्रिय एल्गोरिदम का भी समर्थन करता है। उनकी नमूना पुस्तिकाओं के कार्यों और लिंक्स को निम्न तालिका में संक्षेपित किया गया है।

कार्य के आधार पर, पिछली तालिका में लिंक की गई नमूना नोटबुक आपको सभी या निम्नलिखित प्रक्रियाओं के सबसेट पर मार्गदर्शन कर सकती हैं:

• अपने विशिष्ट कार्य के लिए जम्पस्टार्ट समर्थित पूर्व-प्रशिक्षित मॉडल चुनें।
• एक पूर्व-प्रशिक्षित मॉडल की मेजबानी करें, वास्तविक समय में उससे पूर्वानुमान प्राप्त करें और पर्याप्त रूप से परिणाम प्रदर्शित करें।
• हाइपरपैरामीटर के अपने स्वयं के चयन के साथ एक पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून करें और इसे अनुमान के लिए तैनात करें।

जम्पस्टार्ट एपीआई के साथ ऑब्जेक्ट डिटेक्शन मॉडल को फाइन-ट्यून और परिनियोजित करें

निम्नलिखित अनुभागों में, हम ऑब्जेक्ट डिटेक्शन के प्रतिनिधि कार्य पर नए जम्पस्टार्ट एपीआई का उपयोग करने का चरण-दर-चरण पूर्वाभ्यास प्रदान करते हैं। हम दिखाते हैं कि बाउंडिंग बॉक्स वाली छवि में कक्षाओं के पूर्वनिर्धारित सेट से वस्तुओं की पहचान करने के लिए पूर्व-प्रशिक्षित ऑब्जेक्ट डिटेक्शन मॉडल का उपयोग कैसे करें। अंत में, हम दिखाते हैं कि कैसे अपने स्वयं के डेटा को लाकर, अपनी व्यावसायिक आवश्यकताओं के लिए विशिष्ट छवियों में वस्तुओं का पता लगाने के लिए अपने स्वयं के डेटासेट पर एक पूर्व-प्रशिक्षित मॉडल को फाइन-ट्यून किया जाए। हम एक प्रदान करते हैं इस पूर्वाभ्यास के लिए साथ में नोटबुक.

हम निम्नलिखित उच्च-स्तरीय चरणों से गुजरते हैं:

1. पूर्व-प्रशिक्षित मॉडल पर अनुमान चलाएँ।
   1. जम्पस्टार्ट कलाकृतियों को पुनः प्राप्त करें और एक समापन बिंदु परिनियोजित करें।
   2. समापन बिंदु को क्वेरी करें, प्रतिक्रिया को पार्स करें, और मॉडल पूर्वानुमान प्रदर्शित करें।
2. अपने स्वयं के डेटासेट पर पूर्व-प्रशिक्षित मॉडल को फ़ाइन-ट्यून करें।
   1. प्रशिक्षण कलाकृतियों को पुनः प्राप्त करें।
   2. प्रशिक्षण चलाओ।

पूर्व-प्रशिक्षित मॉडल पर अनुमान चलाएं

इस खंड में, हम जम्पस्टार्ट में एक उपयुक्त पूर्व-प्रशिक्षित मॉडल का चयन करते हैं, इस मॉडल को एक सेजमेकर समापन बिंदु पर तैनात करते हैं, और यह दिखाते हैं कि परिनियोजित समापन बिंदु पर अनुमान कैसे चलाया जाए। सभी चरण में उपलब्ध हैं जुपिटर नोटबुक के साथ.

जम्पस्टार्ट कलाकृतियों को पुनः प्राप्त करें और एक समापन बिंदु तैनात करें

सेजमेकर डॉकर कंटेनरों पर आधारित एक प्लेटफॉर्म है। जम्पस्टार्ट उपलब्ध ढांचे-विशिष्ट का उपयोग करता है सेजमेकर डीप लर्निंग कंटेनर (डीएलसी)। हम चयनित कार्य के लिए प्रशिक्षण और अनुमान को संभालने के लिए कोई अतिरिक्त पैकेज, साथ ही स्क्रिप्ट प्राप्त करते हैं। अंत में, पूर्व-प्रशिक्षित मॉडल कलाकृतियों को अलग से लाया जाता है model_uris, जो मंच को लचीलापन प्रदान करता है। आप एकल प्रशिक्षण या अनुमान स्क्रिप्ट के साथ एक ही कार्य के लिए पूर्व-प्रशिक्षित किसी भी मॉडल का उपयोग कर सकते हैं। निम्नलिखित कोड देखें:

infer_model_id, infer_model_version = "pytorch-od-nvidia-ssd", "*" # Retrieve the inference docker container uri. This is the base container PyTorch image for the model selected above. deploy_image_uri = image_uris.retrieve(region=None, framework=None, image_scope="inference",model_id=infer_model_id, model_version=infer_model_version, instance_type=inference_instance_type) # Retrieve the inference script uri. This includes all dependencies and scripts for model loading, inference handling etc.
deploy_source_uri = script_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, script_scope="inference") # Retrieve the base model uri. This includes the pre-trained nvidia-ssd model and parameters.
base_model_uri = model_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, model_scope="inference")

इसके बाद, हम संसाधनों को a . में फीड करते हैं सेजमेकर मॉडल उदाहरण और एक समापन बिंदु तैनात करें:

# Create the SageMaker model instance
model = Model(image_uri=deploy_image_uri, source_dir=deploy_source_uri, model_data=base_model_uri, entry_point="inference.py", role=aws_role, predictor_cls=Predictor, name=endpoint_name) # deploy the Model. Note that we need to pass Predictor class when we deploy model through Model class for being able to run inference through the sagemaker API.
base_model_predictor = model.deploy(initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=endpoint_name)

समापन बिंदु परिनियोजन को पूरा होने में कुछ मिनट लग सकते हैं।

समापन बिंदु को क्वेरी करें, प्रतिक्रिया को पार्स करें और भविष्यवाणियां प्रदर्शित करें

एक परिनियोजित मॉडल से निष्कर्ष प्राप्त करने के लिए, एक इनपुट छवि को एक स्वीकार प्रकार के साथ बाइनरी प्रारूप में आपूर्ति करने की आवश्यकता होती है। जम्पस्टार्ट में, आप लौटाए गए बाउंडिंग बॉक्स की संख्या निर्धारित कर सकते हैं। निम्नलिखित कोड स्निपेट में, हम संलग्न करके प्रति छवि दस बाउंडिंग बॉक्स की भविष्यवाणी करते हैं ;n_predictions=10 सेवा मेरे Accept. xx बॉक्स की भविष्यवाणी करने के लिए, आप इसे बदल सकते हैं ;n_predictions=xx , या छोड़ कर सभी अनुमानित बॉक्स प्राप्त करें ;n_predictions=xx पूरी तरह से।

def query(model_predictor, image_file_name): with open(image_file_name, "rb") as file: input_img_rb = file.read() return model_predictor.predict(input_img_rb,{ "ContentType": "application/x-image", "Accept": "application/json;verbose;n_predictions=10"}) query_response = query(base_model_predictor, Naxos_Taverna)

निम्नलिखित कोड स्निपेट आपको एक झलक देता है कि ऑब्जेक्ट डिटेक्शन कैसा दिखता है। प्रत्येक वस्तु वर्ग के लिए अनुमानित प्रायिकता की कल्पना की जाती है, साथ ही इसके बाउंडिंग बॉक्स भी। हम उपयोग करते हैं parse_response और display_predictions सहायक कार्य, जिन्हें साथ में परिभाषित किया गया है नोटबुक.

normalized_boxes, classes_names, confidences = parse_response(query_response)
display_predictions(Naxos_Taverna, normalized_boxes, classes_names, confidences)

निम्न स्क्रीनशॉट भविष्यवाणी लेबल और बाउंडिंग बॉक्स के साथ एक छवि का आउटपुट दिखाता है।

अपने स्वयं के डेटासेट पर पूर्व-प्रशिक्षित मॉडल को फ़ाइन-ट्यून करें

जम्पस्टार्ट में मौजूदा ऑब्जेक्ट डिटेक्शन मॉडल या तो COCO या VOC डेटासेट पर पूर्व-प्रशिक्षित हैं। हालांकि, यदि आपको ऐसे ऑब्जेक्ट वर्गों की पहचान करने की आवश्यकता है जो मूल पूर्व-प्रशिक्षण डेटासेट में मौजूद नहीं हैं, तो आपको मॉडल को एक नए डेटासेट पर फ़ाइन-ट्यून करना होगा जिसमें ये नए ऑब्जेक्ट प्रकार शामिल हों। उदाहरण के लिए, यदि आपको रसोई के बर्तनों की पहचान करने और तैनात पूर्व-प्रशिक्षित एसएसडी मॉडल पर अनुमान चलाने की आवश्यकता है, तो मॉडल नए छवि प्रकारों की किसी भी विशेषता को नहीं पहचानता है और इसलिए आउटपुट गलत है।

इस खंड में, हम प्रदर्शित करते हैं कि जम्पस्टार्ट एपीआई का उपयोग करके नए ऑब्जेक्ट वर्गों का पता लगाने के लिए पूर्व-प्रशिक्षित मॉडल को ठीक करना कितना आसान है। अधिक विवरण के साथ पूर्ण कोड उदाहरण में उपलब्ध है नोटबंदी के साथ.

प्रशिक्षण कलाकृतियों को पुनः प्राप्त करें

प्रशिक्षण कलाकृतियों पिछले खंड में चर्चा की गई अनुमान कलाकृतियों के समान हैं। प्रशिक्षण के लिए निम्नलिखित उदाहरण कोड में एक आधार डॉकर कंटेनर, अर्थात् एमएक्सनेट कंटेनर की आवश्यकता होती है। प्रशिक्षण के लिए आवश्यक किसी भी अतिरिक्त पैकेज को प्रशिक्षण लिपियों के साथ शामिल किया गया है train_sourcer_uri. पूर्व-प्रशिक्षित मॉडल और उसके मापदंडों को अलग से पैक किया जाता है।

train_model_id, train_model_version, train_scope = "mxnet-od-ssd-512-vgg16-atrous-coco","*","training"
training_instance_type = "ml.p2.xlarge" # Retrieve the docker image. This is the base container MXNet image for the model selected above. train_image_uri = image_uris.retrieve(region=None, framework=None, model_id=train_model_id, model_version=train_model_version, image_scope=train_scope,instance_type=training_instance_type) # Retrieve the training script and dependencies. This contains all the necessary files including data processing, model training etc.
train_source_uri = script_uris.retrieve(model_id=train_model_id, model_version=train_model_version, script_scope=train_scope) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve(
model_id=train_model_id, model_version=train_model_version, model_scope=train_scope)

प्रशिक्षण चलाएं

प्रशिक्षण चलाने के लिए, हम बस कुछ अतिरिक्त मापदंडों के साथ आवश्यक कलाकृतियों को खिलाते हैं a सेजमेकर अनुमानक और कॉल करें .fit समारोह:

# Create SageMaker Estimator instance
od_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", # Entry-point file in source_dir and present in train_source_uri. instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location,
) # Launch a SageMaker Training job by passing s3 path of the training data
od_estimator.fit({"training": training_dataset_s3_path}, logs=True)

एल्गोरिथम प्रशिक्षण के दौरान, आप या तो सेजमेकर नोटबुक में इसकी प्रगति की निगरानी कर सकते हैं, जहां आप स्वयं कोड चला रहे हैं, या अमेज़ॅन क्लाउडवॉच. जब प्रशिक्षण पूरा हो जाता है, तो फाइन-ट्यून किए गए मॉडल कलाकृतियों को अपलोड किया जाता है अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस 3) प्रशिक्षण विन्यास में निर्दिष्ट आउटपुट स्थान। अब आप मॉडल को पूर्व-प्रशिक्षित मॉडल की तरह ही तैनात कर सकते हैं। आप बाकी प्रक्रिया का पालन कर सकते हैं नोटबंदी के साथ.

निष्कर्ष

इस पोस्ट में, हमने नए जारी किए गए जम्पस्टार्ट एपीआई के मूल्य और उनका उपयोग करने के तरीके का वर्णन किया है। हमने जम्पस्टार्ट में समर्थित विभिन्न एमएल कार्यों के लिए 17 उदाहरण नोटबुक्स के लिंक प्रदान किए, और आपको ऑब्जेक्ट डिटेक्शन नोटबुक के माध्यम से चलाया।

जब आप जम्पस्टार्ट के साथ प्रयोग करेंगे तो हम आपसे सुनने के लिए उत्सुक हैं।

लेखक के बारे में

डॉ विवेक मदनी अमेज़ॅन सेजमेकर जम्पस्टार्ट टीम के साथ एक अनुप्रयुक्त वैज्ञानिक है। उन्होंने अर्बाना-शैंपेन में इलिनोइस विश्वविद्यालय से पीएचडी प्राप्त की और जॉर्जिया टेक में पोस्ट-डॉक्टरल शोधकर्ता थे। वह मशीन लर्निंग और एल्गोरिथम डिज़ाइन में एक सक्रिय शोधकर्ता हैं, और उन्होंने EMNLP, ICLR, COLT, FOCS, और SODA सम्मेलनों में पेपर प्रकाशित किए हैं।

जोआओ मौरा Amazon वेब सर्विसेज में AI/ML स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। वह ज्यादातर एनएलपी उपयोग के मामलों पर केंद्रित है और ग्राहकों को डीप लर्निंग मॉडल प्रशिक्षण और तैनाती को अनुकूलित करने में मदद करता है।

डॉ आशीष खेतानी के साथ एक वरिष्ठ अनुप्रयुक्त वैज्ञानिक हैं अमेज़न SageMaker जम्पस्टार्ट और अमेज़ॅन सेजमेकर बिल्ट-इन एल्गोरिदम और मशीन लर्निंग एल्गोरिदम विकसित करने में मदद करता है। वह मशीन लर्निंग और सांख्यिकीय अनुमान में एक सक्रिय शोधकर्ता हैं और उन्होंने न्यूरोआईपीएस, आईसीएमएल, आईसीएलआर, जेएमएलआर और एसीएल सम्मेलनों में कई पत्र प्रकाशित किए हैं।

• कॉइनस्मार्ट। यूरोप का सर्वश्रेष्ठ बिटकॉइन और क्रिप्टो एक्सचेंज।
• प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। नि: शुल्क प्रवेश।
• क्रिप्टोहॉक। Altcoin रडार। मुफ्त परीक्षण।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-jumpstart-models-and-algorithms-now-available-via-api/