Amazon SageMaker JumpStart में व्याख्यात्मक नोटबुक

अमेज़न SageMaker जम्पस्टार्ट SageMaker का मशीन लर्निंग (ML) हब है जो आपको मशीन लर्निंग के साथ आरंभ करने में मदद करने के लिए विभिन्न प्रकार की समस्या के लिए पूर्व-प्रशिक्षित, सार्वजनिक रूप से उपलब्ध मॉडल प्रदान करता है।

जम्पस्टार्ट उपयोग करने वाली नोटबुक्स के उदाहरण भी प्रस्तुत करता है अमेज़न SageMaker मॉडल प्रकारों और उपयोग मामलों की एक विशाल विविधता पर स्पॉट इंस्टेंस प्रशिक्षण और प्रयोग जैसी विशेषताएं। इन उदाहरण पुस्तिकाओं में कोड होता है जो दिखाता है कि SageMaker और JumpStart का उपयोग करके ML समाधान कैसे लागू करें। उन्हें आपकी अपनी आवश्यकताओं से मेल खाने के लिए अनुकूलित किया जा सकता है और इस प्रकार अनुप्रयोग विकास को गति दे सकता है।

हाल ही में, हमने जम्पस्टार्ट में 10 नई नोटबुक्स जोड़ीं अमेज़ॅन सैजमेकर स्टूडियो. यह पोस्ट इन नई नोटबुक्स पर केंद्रित है। इस लेखन के समय, जम्पस्टार्ट 56 नोटबुक प्रदान करता है, जिसमें अत्याधुनिक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडल का उपयोग करने से लेकर प्रशिक्षण मॉडल के दौरान डेटासेट में पूर्वाग्रह को ठीक करना शामिल है।

10 नई नोटबुक्स निम्नलिखित तरीकों से आपकी मदद कर सकती हैं:

• वे आपके लिए स्टूडियो में जम्पस्टार्ट UI से चलाने के लिए उदाहरण कोड प्रदान करते हैं और देखते हैं कि कोड कैसे काम करता है
• वे विभिन्न सैजमेकर और जम्पस्टार्ट एपीआई के उपयोग को दिखाते हैं
• वे एक तकनीकी समाधान प्रदान करते हैं जिसे आप अपनी आवश्यकताओं के आधार पर और अनुकूलित कर सकते हैं

जम्पस्टार्ट के माध्यम से पेश की जाने वाली नोटबुक्स की संख्या नियमित रूप से बढ़ती जाती है क्योंकि अधिक नोटबुक्स जोड़ी जाती हैं। ये नोटबुक्स पर भी उपलब्ध हैं GitHub.

नोटबुक अवलोकन

10 नई नोटबुक इस प्रकार हैं:

• एलेक्साटीएम 20बी के साथ इन-कॉन्टेक्स्ट लर्निंग - पांच उदाहरण कार्यों पर शून्य-शॉट और कुछ-शॉट सीखने के साथ इन-कॉन्टेक्स्ट लर्निंग के लिए AlexaTM 20B का उपयोग कैसे करें: पाठ सारांश, प्राकृतिक भाषा निर्माण, मशीन अनुवाद, निष्कर्षात्मक प्रश्न उत्तर, और प्राकृतिक भाषा अनुमान और वर्गीकरण।
• सेजमेकर में फेयरनेस लीनियर लर्नर - मौजूदा मानवीय पूर्वाग्रहों की नकल करने के परिणामस्वरूप एमएल एल्गोरिदम में पूर्वाग्रह के बारे में हाल ही में चिंता हुई है। यह नोटबुक मॉडल भविष्यवाणियों को उचित रूप से समायोजित करने के लिए निष्पक्षता अवधारणाओं को लागू करती है।
• SageMaker खोज का उपयोग करके ML प्रयोग प्रबंधित करें – अमेज़ॅन सैजमेकर खोज आपको संभावित सैकड़ों और हजारों सैजमेकर मॉडल प्रशिक्षण नौकरियों से चलने वाले सबसे प्रासंगिक मॉडल प्रशिक्षण को जल्दी से खोजने और मूल्यांकन करने देता है।
• सेजमेकर न्यूरल टॉपिक मॉडल - SageMaker Neural Topic Model (NTM) एक अप्रशिक्षित लर्निंग एल्गोरिद्म है जो अवलोकनों के एक सेट को अलग-अलग श्रेणियों के मिश्रण के रूप में वर्णित करने का प्रयास करता है।
• ड्राइविंग गति के उल्लंघन की भविष्यवाणी करें - SageMaker DeepAR एल्गोरिदम का उपयोग एक साथ कई सड़कों के लिए एक मॉडल को प्रशिक्षित करने के लिए किया जा सकता है, और कई स्ट्रीट कैमरों के उल्लंघन की भविष्यवाणी की जा सकती है।
• ब्रेस्ट कैंसर की भविष्यवाणी- यह नोटबुक यूसीआई के स्तन कैंसर डायग्नोस्टिक डेटासेट का उपयोग एक अनुमानित मॉडल बनाने के लिए करती है कि स्तन द्रव्यमान छवि एक सौम्य या घातक ट्यूमर इंगित करती है या नहीं।
• कई मॉडलों से भविष्यवाणियों को इकट्ठा करें - कई स्रोतों और मॉडलों से भविष्यवाणियों के संयोजन या औसत से, हम आम तौर पर एक बेहतर पूर्वानुमान प्राप्त करते हैं। यह नोटबुक इस अवधारणा को दर्शाती है।
• SageMaker अतुल्यकालिक अनुमान – अतुल्यकालिक अनुमान निकट-वास्तविक समय की अनुमान आवश्यकताओं के लिए एक नया अनुमान विकल्प है। अनुरोधों को संसाधित होने में 15 मिनट तक का समय लग सकता है और इसका पेलोड आकार 1 जीबी तक हो सकता है।
• TensorFlow अपना खुद का मॉडल लेकर आए - जानें कि कैसे एक TensorFlow मॉडल को स्थानीय रूप से प्रशिक्षित किया जाए और इस नोटबुक का उपयोग करके SageMaker पर परिनियोजित किया जाए।
• स्किकिट-सीखें अपना खुद का मॉडल लाएं - यह नोटबुक दिखाती है कि उस मॉडल के लिए जल्दी से एक होस्टेड एंडपॉइंट बनाने के लिए SageMaker स्किकिट-लर्न कंटेनर के साथ पूर्व-प्रशिक्षित स्किकिट-लर्न मॉडल का उपयोग कैसे करें।

.. पूर्वापेक्षाएँ

इन नोटबुक्स का उपयोग करने के लिए, सुनिश्चित करें कि आपके पास एक निष्पादन भूमिका के साथ स्टूडियो तक पहुंच है जो आपको सैजमेकर कार्यक्षमता चलाने की अनुमति देती है। नीचे दिया गया छोटा वीडियो आपको जम्पस्टार्ट नोटबुक्स पर नेविगेट करने में मदद करेगा।

निम्नलिखित अनुभागों में, हम 10 नए समाधानों में से प्रत्येक के माध्यम से जाते हैं और उनके कुछ दिलचस्प विवरणों पर चर्चा करते हैं।

एलेक्साटीएम 20बी के साथ इन-कॉन्टेक्स्ट लर्निंग

AlexaTM 20B एक मल्टीटास्क, बहुभाषी, बड़े पैमाने पर अनुक्रम-से-अनुक्रम (seq2seq) मॉडल है, जो 4 भाषाओं में कॉमन क्रॉल (mC12) और विकिपीडिया डेटा के मिश्रण पर प्रशिक्षित है, जो डीनोइज़िंग और कॉज़ल लैंग्वेज मॉडलिंग (CLM) कार्यों का उपयोग करता है। यह एक-शॉट सारांश और एक-शॉट मशीन अनुवाद जैसे सामान्य संदर्भ-संबंधी भाषा कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त करता है, ओपन एआई के GPT3 और Google के PaLM जैसे डिकोडर केवल मॉडल से बेहतर प्रदर्शन करता है, जो आठ गुना बड़ा है।

इन-कॉन्टेक्स्ट लर्निंग, के रूप में भी जाना जाता है उत्साह, उस विधि को संदर्भित करता है जहां आप एक नए कार्य पर एनएलपी मॉडल का उपयोग इसे ठीक करने के बिना करते हैं। मॉडल को कुछ कार्य उदाहरण केवल अनुमान इनपुट के हिस्से के रूप में प्रदान किए जाते हैं, जिसे एक प्रतिमान के रूप में जाना जाता है कुछ-शॉट इन-कॉन्टेक्स्ट लर्निंग. कुछ मामलों में, मॉडल किसी भी प्रशिक्षण डेटा के बिना अच्छा प्रदर्शन कर सकता है, केवल भविष्यवाणी की जानी चाहिए कि क्या स्पष्टीकरण दिया जाना चाहिए। यह कहा जाता है जीरो-शॉट इन-कॉन्टेक्स्ट लर्निंग.

यह नोटबुक दर्शाती है कि जम्पस्टार्ट एपीआई के माध्यम से एलेक्साटीएम 20बी को कैसे परिनियोजित किया जाए और निष्कर्ष निकाला जाए। यह यह भी दर्शाता है कि कैसे एलेक्साटीएम 20बी का उपयोग पांच उदाहरण कार्यों के साथ संदर्भ में सीखने के लिए किया जा सकता है: पाठ सारांश, प्राकृतिक भाषा निर्माण, मशीन अनुवाद, निष्कर्षात्मक प्रश्न उत्तर, और प्राकृतिक भाषा अनुमान और वर्गीकरण।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• इन कार्यों में से प्रत्येक के लिए एकल प्रशिक्षण उदाहरण का उपयोग करके एक-शॉट पाठ सारांश, प्राकृतिक भाषा निर्माण और मशीन अनुवाद
• मॉडल का उपयोग करते हुए जीरो-शॉट प्रश्न उत्तर और प्राकृतिक भाषा अनुमान प्लस वर्गीकरण, बिना किसी प्रशिक्षण उदाहरण प्रदान करने की आवश्यकता के।

इस मॉडल के विरुद्ध अपना स्वयं का पाठ चलाने का प्रयास करें और देखें कि यह कैसे पाठ को सारांशित करता है, प्रश्नोत्तर को निकालता है, या एक भाषा से दूसरी भाषा में अनुवाद करता है।

सेजमेकर में फेयरनेस लीनियर लर्नर

मौजूदा मानवीय पूर्वाग्रहों की नकल करने के परिणामस्वरूप एमएल एल्गोरिदम में पूर्वाग्रह के बारे में हाल ही में चिंता हुई है। आजकल, कई एमएल विधियों के मजबूत सामाजिक निहितार्थ हैं, उदाहरण के लिए उनका उपयोग बैंक ऋण, बीमा दरों या विज्ञापन की भविष्यवाणी करने के लिए किया जाता है। दुर्भाग्य से, एक एल्गोरिथ्म जो ऐतिहासिक डेटा से सीखता है, वह स्वाभाविक रूप से पिछले पूर्वाग्रहों को प्राप्त करेगा। यह नोटबुक रैखिक शिक्षार्थियों के संदर्भ में SageMaker और निष्पक्ष एल्गोरिदम का उपयोग करके इस समस्या को दूर करने का तरीका प्रस्तुत करती है।

यह निष्पक्षता के पीछे कुछ अवधारणाओं और गणित को प्रस्तुत करने से शुरू होता है, फिर यह डेटा डाउनलोड करता है, एक मॉडल को प्रशिक्षित करता है, और अंत में मॉडल की भविष्यवाणियों को उचित रूप से समायोजित करने के लिए निष्पक्षता अवधारणाओं को लागू करता है।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• UCI के वयस्क डेटासेट पर एक मानक रेखीय मॉडल चलाना।
• मॉडल भविष्यवाणियों में अनुचितता दिखाना
• पूर्वाग्रह को दूर करने के लिए डेटा फिक्सिंग
• मॉडल को फिर से देखना

इस उदाहरण कोड का उपयोग करके अपना स्वयं का डेटा चलाने का प्रयास करें और पता लगाएं कि पूर्वाग्रह है या नहीं। उसके बाद, इस उदाहरण नोटबुक में प्रदान किए गए कार्यों का उपयोग करके अपने डेटासेट में पक्षपात, यदि कोई हो, को हटाने का प्रयास करें।

SageMaker खोज का उपयोग करके ML प्रयोग प्रबंधित करें

सैजमेकर सर्च आपको संभावित सैकड़ों और हजारों सैजमेकर मॉडल प्रशिक्षण नौकरियों से चलने वाले सबसे प्रासंगिक मॉडल प्रशिक्षण को जल्दी से खोजने और मूल्यांकन करने देता है। एक एमएल मॉडल विकसित करने के लिए निरंतर प्रयोग की आवश्यकता होती है, नए लर्निंग एल्गोरिदम की कोशिश करना और हाइपरपरमेटर्स को ट्यून करना, यह सब मॉडल के प्रदर्शन और सटीकता पर ऐसे परिवर्तनों के प्रभाव को देखते हुए होता है। यह पुनरावृत्त अभ्यास अक्सर सैकड़ों मॉडल प्रशिक्षण प्रयोगों और मॉडल संस्करणों के विस्फोट की ओर जाता है, एक विजेता मॉडल के अभिसरण और खोज को धीमा कर देता है। इसके अलावा, सूचना विस्फोट एक मॉडल संस्करण के वंश का पता लगाने के लिए लाइन के नीचे बहुत कठिन बना देता है - डेटासेट, एल्गोरिदम और मापदंडों का अनूठा संयोजन जो उस मॉडल को पहली बार में तैयार करता है।

यह नोटबुक दिखाती है कि SageMaker पर अपने मॉडल प्रशिक्षण कार्यों को जल्दी और आसानी से व्यवस्थित करने, ट्रैक करने और मूल्यांकन करने के लिए SageMaker Search का उपयोग कैसे करें। आप उपयोग किए गए लर्निंग एल्गोरिथम, हाइपरपैरामीटर सेटिंग्स, उपयोग किए गए प्रशिक्षण डेटासेट और यहां तक ​​कि आपके द्वारा मॉडल प्रशिक्षण नौकरियों में जोड़े गए टैग से सभी परिभाषित विशेषताओं पर खोज कर सकते हैं। आप अपने प्रशिक्षण रन की उनके प्रदर्शन मेट्रिक्स, जैसे प्रशिक्षण हानि और सत्यापन सटीकता के आधार पर जल्दी से तुलना और रैंक कर सकते हैं, जिससे विजेता मॉडल की पहचान करने के लिए लीडरबोर्ड बना सकते हैं जिन्हें उत्पादन वातावरण में तैनात किया जा सकता है। सैजमेकर सर्च लाइव वातावरण में तैनात मॉडल संस्करण के पूर्ण वंश को जल्दी से वापस ट्रेस कर सकता है, जब तक कि प्रशिक्षण और मॉडल को मान्य करने वाले डेटासेट का उपयोग नहीं किया जाता है।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• तीन बार एक रेखीय मॉडल का प्रशिक्षण
• इन प्रयोगों को व्यवस्थित और मूल्यांकन करने के लिए SageMaker Search का उपयोग करना
• लीडरबोर्ड में परिणामों की कल्पना करना
• एक समापन बिंदु पर एक मॉडल की तैनाती
• समापन बिंदु से शुरू होने वाले मॉडल के वंश का पता लगाना

भविष्य कहनेवाला मॉडल के अपने स्वयं के विकास में, आप कई प्रयोग कर सकते हैं। ऐसे प्रयोगों में SageMaker Search का उपयोग करने का प्रयास करें और अनुभव करें कि यह कैसे कई तरीकों से आपकी मदद कर सकता है।

सेजमेकर न्यूरल टॉपिक मॉडल

SageMaker Neural Topic Model (NTM) एक अप्रशिक्षित लर्निंग एल्गोरिद्म है जो अवलोकनों के एक सेट को अलग-अलग श्रेणियों के मिश्रण के रूप में वर्णित करने का प्रयास करता है। टेक्स्ट कॉर्पस के भीतर दस्तावेजों द्वारा साझा किए गए उपयोगकर्ता द्वारा निर्दिष्ट विषयों की खोज के लिए एनटीएम का सबसे अधिक उपयोग किया जाता है। यहां प्रत्येक अवलोकन एक दस्तावेज है, विशेषताएं प्रत्येक शब्द की उपस्थिति (या घटना संख्या) हैं, और श्रेणियां विषय हैं। चूंकि विधि का पर्यवेक्षण नहीं किया जाता है, इसलिए विषयों को पहले से निर्दिष्ट नहीं किया जाता है और इसकी गारंटी नहीं दी जाती है कि मानव स्वाभाविक रूप से दस्तावेज़ों को कैसे वर्गीकृत कर सकता है। विषयों को प्रत्येक दस्तावेज़ में आने वाले शब्दों पर संभाव्यता वितरण के रूप में सीखा जाता है। बदले में, प्रत्येक दस्तावेज़ को विषयों के मिश्रण के रूप में वर्णित किया गया है।

यह नोटबुक 20NewsGroups डेटासेट पर एक मॉडल को प्रशिक्षित करने के लिए SageMaker NTM एल्गोरिथ्म का उपयोग करता है। इस डेटासेट का व्यापक रूप से एक विषय मॉडलिंग बेंचमार्क के रूप में उपयोग किया गया है।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• एक NTM मॉडल तैयार करने के लिए डेटासेट पर SageMaker प्रशिक्षण कार्य बनाना
• सैजमेकर समापन बिंदु के साथ अनुमान लगाने के लिए मॉडल का उपयोग करना
• प्रशिक्षित मॉडल की खोज करना और सीखे गए विषयों की कल्पना करना

आप इस नोटबुक को अपने टेक्स्ट दस्तावेज़ों पर चलने के लिए आसानी से संशोधित कर सकते हैं और उन्हें विभिन्न विषयों में विभाजित कर सकते हैं।

ड्राइविंग गति के उल्लंघन की भविष्यवाणी करें

यह नोटबुक शिकागो शहर के स्पीड कैमरा उल्लंघन डेटासेट का विश्लेषण करके SageMaker DeepAR एल्गोरिथ्म का उपयोग करके समय श्रृंखला पूर्वानुमान प्रदर्शित करता है। डेटासेट को Data.gov द्वारा होस्ट किया जाता है, और इसे यूएस जनरल सर्विसेज एडमिनिस्ट्रेशन, टेक्नोलॉजी ट्रांसफॉर्मेशन सर्विस द्वारा प्रबंधित किया जाता है।

इन उल्लंघनों को कैमरा सिस्टम द्वारा कैप्चर किया जाता है और शिकागो डेटा पोर्टल शहर के माध्यम से जनता के जीवन को बेहतर बनाने के लिए उपलब्ध हैं। स्पीड कैमरा वॉयलेशन डेटासेट का उपयोग डेटा में पैटर्न को समझने और सार्थक अंतर्दृष्टि प्राप्त करने के लिए किया जा सकता है।

डेटासेट में कई कैमरा स्थान और दैनिक उल्लंघन मायने रखता है। कैमरे के लिए प्रत्येक दैनिक उल्लंघन गणना को एक अलग समय श्रृंखला माना जा सकता है। आप एक मॉडल को एक साथ कई सड़कों के लिए प्रशिक्षित करने के लिए SageMaker DeepAR एल्गोरिथ्म का उपयोग कर सकते हैं, और कई स्ट्रीट कैमरों के उल्लंघन की भविष्यवाणी कर सकते हैं।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• स्पॉट इंस्टेंस का उपयोग करके समय श्रृंखला डेटासेट पर SageMaker DeepAR एल्गोरिथम का प्रशिक्षण
• यातायात उल्लंघन की भविष्यवाणी करने के लिए प्रशिक्षित मॉडल पर अनुमान लगाना

इस नोटबुक के साथ, आप सीख सकते हैं कि SageMaker में दीपर एल्गोरिथम का उपयोग करके समय श्रृंखला की समस्याओं को कैसे हल किया जा सकता है और इसे अपने स्वयं के समय श्रृंखला डेटासेट पर लागू करने का प्रयास करें।

स्तन कैंसर भविष्यवाणी

यह नोटबुक यूसीआई के स्तन कैंसर डायग्नोस्टिक डेटासेट का उपयोग करके स्तन कैंसर की भविष्यवाणी के लिए एक उदाहरण लेती है। यह इस डेटासेट का उपयोग एक अनुमानित मॉडल बनाने के लिए करता है कि स्तन द्रव्यमान छवि एक सौम्य या घातक ट्यूमर को इंगित करती है या नहीं।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• सैजमेकर का उपयोग करने के लिए मूल सेटअप
• SageMaker एल्गोरिदम द्वारा उपयोग किए जाने वाले डेटासेट को Protobuf प्रारूप में कनवर्ट करना और अपलोड करना अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3)
• डेटासेट पर एक SageMaker रैखिक शिक्षार्थी मॉडल का प्रशिक्षण
• प्रशिक्षित मॉडल को होस्ट करना
• प्रशिक्षित मॉडल का उपयोग कर स्कोरिंग

आप इस नोटबुक के माध्यम से सीख सकते हैं कि SageMaker का उपयोग करके किसी व्यावसायिक समस्या को कैसे हल किया जाए, और एक मॉडल को प्रशिक्षण और होस्ट करने के लिए शामिल चरणों को समझें।

कई मॉडलों से भविष्यवाणियों को इकट्ठा करें

भविष्यवाणी कार्यों पर एमएल के व्यावहारिक अनुप्रयोगों में, एक मॉडल अक्सर पर्याप्त नहीं होता है। अधिकांश भविष्यवाणी प्रतियोगिताओं में आमतौर पर एक बेहतर पूर्वानुमान प्राप्त करने के लिए कई स्रोतों से पूर्वानुमानों के संयोजन की आवश्यकता होती है। कई स्रोतों या मॉडलों से भविष्यवाणियों के संयोजन या औसत से, हम आम तौर पर एक बेहतर पूर्वानुमान प्राप्त करते हैं। ऐसा इसलिए होता है क्योंकि मॉडल के चुनाव में काफी अनिश्चितता होती है और कई व्यावहारिक अनुप्रयोगों में कोई एक सही मॉडल नहीं होता है। इसलिए, विभिन्न मॉडलों से भविष्यवाणियों को जोड़ना फायदेमंद होता है। बायेसियन साहित्य में, इस विचार को बायेसियन मॉडल औसत के रूप में संदर्भित किया जाता है, और केवल एक मॉडल को चुनने की तुलना में बहुत बेहतर काम करने के लिए दिखाया गया है।

यह नोटबुक भविष्यवाणी करने के लिए एक उदाहरण उदाहरण प्रस्तुत करता है कि क्या कोई व्यक्ति अपनी शिक्षा, कार्य अनुभव, लिंग और अधिक के बारे में जानकारी के आधार पर प्रति वर्ष $50,000 से अधिक कमाता है।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• अपना सेजमेकर नोटबुक तैयार करना
• SageMaker का उपयोग करके Amazon S3 से डेटासेट लोड करना
• डेटा की जांच और रूपांतरण करना ताकि इसे SageMaker एल्गोरिदम को फीड किया जा सके
• SageMaker XGBoost (एक्सट्रीम ग्रेडिएंट बूस्टिंग) एल्गोरिथम का उपयोग करके एक मॉडल का अनुमान लगाना
• चल रहे अनुमान लगाने के लिए SageMaker पर मॉडल को होस्ट करना
• सैजमेकर रैखिक शिक्षार्थी पद्धति का उपयोग करके दूसरे मॉडल का अनुमान लगाना
• दोनों मॉडलों से भविष्यवाणियों का संयोजन और संयुक्त भविष्यवाणी का मूल्यांकन करना
• परीक्षण डेटासेट पर अंतिम भविष्यवाणियां उत्पन्न करना

इस नोटबुक को अपने डेटासेट पर चलाने और एकाधिक एल्गोरिदम का उपयोग करने का प्रयास करें। SageMaker और JumpStart द्वारा प्रस्तावित मॉडलों के विभिन्न संयोजनों के साथ प्रयोग करने का प्रयास करें और देखें कि मॉडल संयोजन का कौन सा संयोजन आपके अपने डेटा पर सर्वोत्तम परिणाम देता है।

SageMaker अतुल्यकालिक निष्कर्ष

SageMaker अतुल्यकालिक निष्कर्ष SageMaker में एक नई क्षमता है जो आने वाले अनुरोधों को कतारबद्ध करता है और उन्हें अतुल्यकालिक रूप से संसाधित करता है। SageMaker वर्तमान में एमएल मॉडल को तैनात करने के लिए ग्राहकों के लिए दो निष्कर्ष विकल्प प्रदान करता है: कम-विलंबता कार्यभार के लिए एक वास्तविक समय विकल्प, और बैच परिवर्तन, उपलब्ध डेटा के बैचों पर अनुमान अनुरोधों को संसाधित करने के लिए एक ऑफ़लाइन विकल्प। वास्तविक समय का अनुमान 6 एमबी से कम के पेलोड आकार वाले वर्कलोड के लिए अनुकूल है और 60 सेकंड के भीतर संसाधित किए जाने वाले अनुमान अनुरोधों की आवश्यकता होती है। बैच रूपांतरण डेटा के बैचों पर ऑफ़लाइन अनुमान लगाने के लिए उपयुक्त है।

अतुल्यकालिक अनुमान निकट-वास्तविक समय की अनुमान आवश्यकताओं के लिए एक नया अनुमान विकल्प है। अनुरोधों को संसाधित होने में 15 मिनट तक का समय लग सकता है और इसका पेलोड आकार 1 जीबी तक हो सकता है। अतुल्यकालिक निष्कर्ष उन वर्कलोड के लिए उपयुक्त है जिनकी उपसेकंड विलंबता आवश्यकताएँ नहीं हैं और विलंबता आवश्यकताओं में ढील दी गई है। उदाहरण के लिए, आपको 5 मिनट के भीतर कई एमबी की एक बड़ी छवि पर अनुमान को संसाधित करने की आवश्यकता हो सकती है। इसके अलावा, एसिंक्रोनस इंट्रेंस एंडपॉइंट्स आपको निष्क्रिय होने पर एंडपॉइंट इंस्टेंस काउंट को शून्य तक स्केल करके लागत को नियंत्रित करने देते हैं, इसलिए आप केवल तभी भुगतान करते हैं जब आपके एंडपॉइंट अनुरोध संसाधित कर रहे हों।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• एक सेजमेकर मॉडल बनाना
• इस मॉडल और अतुल्यकालिक अनुमान विन्यास का उपयोग करके एक समापन बिंदु बनाना
• इस अतुल्यकालिक समापन बिंदु के विरुद्ध भविष्यवाणियां करना

यह नोटबुक आपको SageMaker मॉडल के लिए एसिंक्रोनस समापन बिंदु को एक साथ रखने का एक कार्यशील उदाहरण दिखाता है।

TensorFlow अपना खुद का मॉडल लेकर आए

एक TensorFlow मॉडल को एक वर्गीकरण कार्य पर स्थानीय रूप से प्रशिक्षित किया जाता है जहाँ यह नोटबुक चलाई जा रही है। फिर इसे सेजमेकर एंडपॉइंट पर तैनात किया जाता है।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• IRIS डेटासेट पर स्थानीय रूप से एक TensorFlow मॉडल का प्रशिक्षण
• उस मॉडल को SageMaker में आयात करना
• इसे एक समापन बिंदु पर होस्ट करना

यदि आपके पास TensorFlow मॉडल हैं जो आपने स्वयं विकसित किए हैं, तो यह उदाहरण नोटबुक आपको अपने मॉडल को SageMaker प्रबंधित एंडपॉइंट पर होस्ट करने में मदद कर सकता है।

स्किकिट-लर्न अपना खुद का मॉडल लाओ

SageMaker में होस्ट किए गए नोटबुक वातावरण, वितरित, सर्वर रहित प्रशिक्षण और रीयल-टाइम होस्टिंग का समर्थन करने के लिए कार्यक्षमता शामिल है। यह सबसे अच्छा काम करता है जब इन तीनों सेवाओं का एक साथ उपयोग किया जाता है, लेकिन इन्हें स्वतंत्र रूप से भी इस्तेमाल किया जा सकता है। कुछ उपयोग मामलों में केवल होस्टिंग की आवश्यकता हो सकती है। हो सकता है कि मॉडल को SageMaker से पहले एक अलग सेवा में प्रशिक्षित किया गया हो।

नोटबुक निम्नलिखित प्रदर्शित करता है:

• SageMaker Scikit-learn कंटेनर के साथ एक पूर्व-प्रशिक्षित स्किकिट-लर्न मॉडल का उपयोग करके उस मॉडल के लिए जल्दी से एक होस्टेड एंडपॉइंट बनाने के लिए

यदि आपके पास स्किकिट-लर्न मॉडल हैं जो आपने स्वयं विकसित किए हैं, तो यह उदाहरण नोटबुक आपको अपने मॉडल को सेजमेकर प्रबंधित एंडपॉइंट पर होस्ट करने में मदद कर सकता है।

संसाधनों को साफ करें

जम्पस्टार्ट में एक नोटबुक चलाने के बाद, सुनिश्चित करें सभी संसाधन हटाएं ताकि प्रक्रिया में आपके द्वारा बनाए गए सभी संसाधन नष्ट हो जाएं और आपकी बिलिंग बंद हो जाए। इन नोटबुक्स में अंतिम सेल आमतौर पर बनाए गए एंडपॉइंट्स को हटा देता है।

सारांश

यह पोस्ट आपको 10 नए उदाहरण नोटबुक्स के बारे में बताती है जो हाल ही में जम्पस्टार्ट में जोड़े गए थे। हालाँकि यह पोस्ट इन 10 नई नोटबुक्स पर केंद्रित है, इस लेखन के समय कुल 56 उपलब्ध नोटबुक्स हैं। हम आपको प्रोत्साहित करते हैं कि आप स्टूडियो में लॉग इन करें और स्वयं जम्पस्टार्ट नोटबुक्स का अन्वेषण करें, और उनमें से तत्काल मूल्य प्राप्त करना शुरू करें। अधिक जानकारी के लिए, देखें अमेज़ॅन सैजमेकर स्टूडियो और सेजमेकर जम्पस्टार्ट.

---

लेखक के बारे में

डॉ. राजू पेनमाचा एडब्ल्यूएस में एआई प्लेटफॉर्म्स में एआई/एमएल स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। उन्होंने स्टैनफोर्ड विश्वविद्यालय से पीएचडी की उपाधि प्राप्त की। वह SageMaker में लो/नो-कोड सूट सेवाओं पर बारीकी से काम करता है जो ग्राहकों को आसानी से मशीन लर्निंग मॉडल और समाधान बनाने और तैनात करने में मदद करता है।