PyTorch एक मशीन लर्निंग (ML) फ्रेमवर्क है जिसका व्यापक रूप से AWS ग्राहकों द्वारा विभिन्न प्रकार के अनुप्रयोगों के लिए उपयोग किया जाता है, जैसे कि कंप्यूटर विज़न, प्राकृतिक भाषा प्रसंस्करण, सामग्री निर्माण, और बहुत कुछ। हाल ही में PyTorch 2.0 रिलीज़ के साथ, AWS ग्राहक अब वही काम कर सकते हैं जो वे PyTorch 1.x के साथ कर सकते थे, लेकिन तेज़ और बड़े पैमाने पर बेहतर प्रशिक्षण गति, कम मेमोरी उपयोग और बढ़ी हुई वितरित क्षमताओं के साथ। Torch.compile, TorchDynamo, AOTAutograd, PrimTorch, और TorchInductor सहित कई नई तकनीकों को PyTorch2.0 रिलीज़ में शामिल किया गया है। को देखें PyTorch 2.0: हमारी अगली पीढ़ी की रिलीज़ जो पहले की तरह तेज़, अधिक पाइथोनिक और गतिशील है ब्योरा हेतु।
यह पोस्ट AWS पर PyTorch 2.0 का उपयोग करके बड़े पैमाने पर, उच्च-प्रदर्शन वितरित एमएल मॉडल प्रशिक्षण और परिनियोजन के प्रदर्शन और आसानी को प्रदर्शित करता है। यह पोस्ट भावना विश्लेषण के लिए रोबर्टा (मजबूत रूप से अनुकूलित बीईआरटी प्रीट्रेनिंग दृष्टिकोण) मॉडल को फाइन-ट्यूनिंग के चरण-दर-चरण कार्यान्वयन के माध्यम से चलता है। एडब्ल्यूएस डीप लर्निंग एएमआई (एडब्ल्यूएस डलामी) और AWS डीप लर्निंग कंटेनर (डीएलसी) पर अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (Amazon EC2 p4d.24xlarge) जब PyTorch 42 टॉर्च.कंपाइल + bf2.0 + फ्यूज्ड एडमडब्ल्यू के साथ इस्तेमाल किया गया तो 16% स्पीडअप देखा गया। इसके बाद फाइन-ट्यून किए गए मॉडल को तैनात किया जाता है एडब्ल्यूएस ग्रेविटनआधारित C7g EC2 उदाहरण पर अमेज़न SageMaker PyTorch 10 की तुलना में 1.13% स्पीडअप देखा गया।
निम्नलिखित चित्र Amazon EC2 p4d.24xlarge पर AWS PyTorch 2.0 DLAMI + DLC के साथ RoBERTa मॉडल को फ़ाइन-ट्यूनिंग करने का एक प्रदर्शन बेंचमार्क दिखाता है।
का संदर्भ लें AWS Graviton प्रोसेसर के साथ अनुकूलित PyTorch 2.0 अनुमान PyTorch 2.0 के लिए AWS Graviton- आधारित उदाहरण अनुमान प्रदर्शन बेंचमार्क पर विवरण के लिए।
AWS पर PyTorch 2.0 के लिए समर्थन
PyTorch2.0 समर्थन सेवाओं तक ही सीमित नहीं है और इस पोस्ट में उदाहरण उपयोग-मामले में दिखाई गई गणना; यह AWS पर कई अन्य लोगों तक फैला हुआ है, जिसकी चर्चा हम इस खंड में करेंगे।
व्यवसाय की आवश्यकता
कई AWS ग्राहक, उद्योगों के एक विविध सेट में, कृत्रिम बुद्धिमत्ता (AI) का उपयोग करके अपने व्यवसायों को बदल रहे हैं, विशेष रूप से जनरेटिव AI और बड़े भाषा मॉडल (LLM) के क्षेत्र में जो मानव-समान पाठ उत्पन्न करने के लिए डिज़ाइन किए गए हैं। ये मूल रूप से गहन शिक्षण तकनीकों पर आधारित बड़े मॉडल हैं जिन्हें सैकड़ों अरबों मापदंडों के साथ प्रशिक्षित किया जाता है। मॉडल के आकार में वृद्धि प्रशिक्षण के समय को दिनों से लेकर हफ्तों तक और यहां तक कि कुछ मामलों में महीनों तक बढ़ा रही है। यह प्रशिक्षण और अनुमान लागत में तेजी से वृद्धि कर रहा है, जिसके लिए पहले से कहीं अधिक, त्वरित मॉडल प्रशिक्षण के अंतर्निहित समर्थन के साथ PyTorch 2.0 जैसे ढांचे और विशिष्ट वर्कलोड और प्रदर्शन आवश्यकताओं के अनुरूप AWS के अनुकूलित बुनियादी ढांचे की आवश्यकता है।
गणना का विकल्प
AWS शक्तिशाली कंप्यूट, हाई-स्पीड नेटवर्किंग और स्केलेबल हाई-परफॉर्मेंस स्टोरेज विकल्पों के व्यापक विकल्प पर PyTorch 2.0 सपोर्ट प्रदान करता है, जिसका उपयोग आप किसी भी ML प्रोजेक्ट या एप्लिकेशन के लिए कर सकते हैं और अपने प्रदर्शन और बजट आवश्यकताओं को पूरा करने के लिए अनुकूलित कर सकते हैं। यह अगले भाग में आरेख में प्रकट होता है; निचले स्तर में, हम एडब्ल्यूएस ग्रेविटॉन, एनवीडिया, एएमडी और इंटेल प्रोसेसर द्वारा संचालित कम्प्यूट इंस्टेंस का विस्तृत चयन प्रदान करते हैं।
मॉडल परिनियोजन के लिए, आप एआरएम-आधारित प्रोसेसर का उपयोग कर सकते हैं जैसे कि हाल ही में घोषित एडब्ल्यूएस ग्रेविटॉन-आधारित उदाहरण जो कि पिछले पाइटोरेक रिलीज की तुलना में Resnet2.0 के लिए 3.5 गुना गति के साथ PyTorch 50 के लिए अनुमान प्रदर्शन प्रदान करता है, और 1.4 गुना तक गति प्रदान करता है। BERT के लिए गति, AWS ग्रेविटॉन-आधारित उदाहरणों को CPU-आधारित मॉडल अनुमान समाधानों के लिए AWS पर सबसे तेज़ गणना-अनुकूलित उदाहरण बनाता है।
एमएल सेवाओं का विकल्प
AWS कंप्यूट का उपयोग करने के लिए, आप ML डेवलपमेंट, कंप्यूट और वर्कफ़्लो ऑर्केस्ट्रेशन के लिए वैश्विक क्लाउड-आधारित सेवाओं के व्यापक सेट से चयन कर सकते हैं। यह विकल्प आपको अपने व्यवसाय और क्लाउड रणनीतियों के साथ संरेखित करने और अपनी पसंद के प्लेटफॉर्म पर PyTorch 2.0 जॉब चलाने की अनुमति देता है। उदाहरण के लिए, यदि आपके पास ऑन-प्रिमाइसेस प्रतिबंध हैं या ओपन-सोर्स उत्पादों में मौजूदा निवेश हैं, तो आप Amazon EC2 का उपयोग कर सकते हैं, एडब्ल्यूएस समानांतर क्लस्टरया, एडब्ल्यूएस अल्ट्राक्लस्टर एक स्व-प्रबंधित दृष्टिकोण के आधार पर वितरित प्रशिक्षण कार्यभार चलाने के लिए। आप लागत-अनुकूलित, पूरी तरह से प्रबंधित और उत्पादन-स्तर के प्रशिक्षण बुनियादी ढांचे के लिए सेजमेकर जैसी पूरी तरह से प्रबंधित सेवा का भी उपयोग कर सकते हैं। SageMaker विभिन्न MLOps टूल के साथ भी एकीकृत होता है, जो आपको अपने मॉडल परिनियोजन को स्केल करने, अनुमान लागत कम करने, उत्पादन में मॉडल को अधिक प्रभावी ढंग से प्रबंधित करने और परिचालन बोझ को कम करने की अनुमति देता है।
इसी तरह, यदि आपके पास मौजूदा कुबेरनेट्स निवेश हैं, तो आप भी उपयोग कर सकते हैं अमेज़ॅन इलास्टिक कुबेरनेट्स सेवा (अमेज़ॅन ईकेएस) और एडब्ल्यूएस पर क्यूबफ्लो वितरित प्रशिक्षण के लिए एक एमएल पाइपलाइन को लागू करने या एडब्ल्यूएस-देशी कंटेनर ऑर्केस्ट्रेशन सेवा का उपयोग करने के लिए अमेज़ॅन इलास्टिक कंटेनर सेवा (अमेज़ॅन ईसीएस) मॉडल प्रशिक्षण और परिनियोजन के लिए। आपके एमएल प्लेटफॉर्म के निर्माण के विकल्प इन सेवाओं तक सीमित नहीं हैं; आप अपनी PyTorch 2.0 नौकरियों के लिए अपनी संगठनात्मक आवश्यकताओं के आधार पर चुन सकते हैं और चुन सकते हैं।
AWS DLAMI और AWS DLC के साथ PyTorch 2.0 को सक्षम करना
AWS सेवाओं और शक्तिशाली गणना के पूर्वोक्त स्टैक का उपयोग करने के लिए, आपको PyTorch2.0 ढांचे और इसकी आवश्यक निर्भरता का एक अनुकूलित संकलित संस्करण स्थापित करना होगा, जिनमें से कई स्वतंत्र परियोजनाएं हैं, और अंत तक उनका परीक्षण करें। आपको त्वरित गणित रूटीन के लिए सीपीयू-विशिष्ट लाइब्रेरी, त्वरित गणित और इंटर-जीपीयू संचार रूटीन के लिए जीपीयू-विशिष्ट लाइब्रेरी और जीपीयू ड्राइवर की आवश्यकता हो सकती है, जिन्हें जीपीयू लाइब्रेरी संकलित करने के लिए उपयोग किए जाने वाले जीपीयू कंपाइलर के साथ संरेखित करने की आवश्यकता होती है। यदि आपकी नौकरियों के लिए बड़े पैमाने पर मल्टी-नोड प्रशिक्षण की आवश्यकता है, तो आपको एक अनुकूलित नेटवर्क की आवश्यकता है जो न्यूनतम विलंबता और उच्चतम थ्रूपुट प्रदान कर सके। अपना स्टैक बनाने के बाद, आपको सुरक्षा भेद्यता के लिए उन्हें नियमित रूप से स्कैन और पैच करने की आवश्यकता होती है और प्रत्येक फ्रेमवर्क संस्करण अपग्रेड के बाद स्टैक का पुनर्निर्माण और पुन: परीक्षण करना होता है।
AWS क्लाउड में गहन सीखने में तेजी लाने के लिए फ्रेमवर्क, निर्भरता और उपकरणों के एक क्यूरेटेड और सुरक्षित सेट की पेशकश करके इस भारी भार को कम करने में मदद करता है। एडब्ल्यूएस DLAMIs और एडब्ल्यूएस डीएलसी. ये पूर्व-निर्मित और परीक्षण की गई मशीन छवियां और कंटेनर EC2 त्वरित कंप्यूटिंग इंस्टेंस प्रकारों पर गहन सीखने के लिए अनुकूलित हैं, जिससे आप अधिक कुशलतापूर्वक और आसानी से वितरित वर्कलोड के लिए कई नोड्स को स्केल कर सकते हैं। इसमें एक पूर्व निर्मित शामिल है लोचदार कपड़ा एडाप्टर (ईएफए), एनवीडिया जीपीयू स्टैक, और उच्च प्रदर्शन वितरित गहन शिक्षण प्रशिक्षण के लिए कई गहरे शिक्षण ढांचे (टेंसरफ्लो, एमएक्सनेट, और 2.0 की नवीनतम रिलीज के साथ पायटॉर्च)। आपको गहन शिक्षण सॉफ़्टवेयर और ड्राइवरों को स्थापित करने और समस्याओं का निवारण करने या एमएल बुनियादी ढांचे के निर्माण में समय बिताने की ज़रूरत नहीं है, न ही आपको सुरक्षा कमजोरियों के लिए इन छवियों को पैच करने या हर नए फ्रेमवर्क संस्करण के उन्नयन के बाद छवियों को फिर से बनाने की आवर्ती लागत वहन करने की आवश्यकता नहीं है। इसके बजाय, आप कम समय में बड़े पैमाने पर प्रशिक्षण नौकरियों के उच्च मूल्य वर्धित प्रयास पर ध्यान केंद्रित कर सकते हैं और अपने एमएल मॉडल पर तेजी से पुनरावृत्ति कर सकते हैं।
समाधान अवलोकन
यह देखते हुए कि GPU पर प्रशिक्षण और CPU पर अनुमान AWS ग्राहकों के लिए एक लोकप्रिय उपयोग मामला है, हमने इस पोस्ट के हिस्से के रूप में एक हाइब्रिड आर्किटेक्चर के चरण-दर-चरण कार्यान्वयन को शामिल किया है (जैसा कि निम्नलिखित आरेख में दिखाया गया है)। हम संभव की कला का पता लगाएंगे और एक RoBERTa भावना विश्लेषण मॉडल को ठीक करने के लिए NVIDIA ड्राइवर, CUDA, NCCL, EFA स्टैक, और PyTorch4 DLC सहित बेस GPU DLAMI के साथ प्रारंभ किए गए BF2 समर्थन के साथ P16 EC2.0 उदाहरण का उपयोग करेंगे। जो आपको किसी भी ओपन-सोर्स या मालिकाना पुस्तकालयों का उपयोग करने के लिए नियंत्रण और लचीलापन देता है। फिर हम अपने मॉडल को AWS Graviton3-आधारित पर होस्ट करने के लिए पूरी तरह से प्रबंधित मॉडल होस्टिंग इंफ्रास्ट्रक्चर के लिए SageMaker का उपयोग करते हैं C7g उदाहरण. हमने SageMaker पर C7g को चुना क्योंकि यह अनुमान लागत को 50% तक कम करने के लिए तुलनीय EC2 उदाहरणों के सापेक्ष साबित हुआ है वास्तविक समय अनुमान सेजमेकर पर। निम्नलिखित आरेख इस वास्तुकला को दिखाता है।
इस उपयोग मामले में मॉडल प्रशिक्षण और होस्टिंग में निम्नलिखित चरण होते हैं:
- अपने VPC में GPU DLAMI-आधारित EC2 Ubuntu उदाहरण लॉन्च करें और SSH का उपयोग करके अपने उदाहरण से कनेक्ट करें।
- अपने EC2 उदाहरण में लॉग इन करने के बाद, AWS PyTorch 2.0 DLC डाउनलोड करें।
- RoBERTa मॉडल को फ़ाइन-ट्यून करने के लिए मॉडल प्रशिक्षण स्क्रिप्ट के साथ अपना DLC कंटेनर चलाएँ।
- मॉडल प्रशिक्षण पूरा होने के बाद, सहेजे गए मॉडल, इंट्रेंस स्क्रिप्ट्स और कुछ मेटाडेटा फ़ाइलों को एक टार फ़ाइल में पैकेज करें, जिसे SageMaker इंट्रेंस मॉडल पैकेज का उपयोग और अपलोड कर सकता है अमेज़न सरल भंडारण सेवा (अमेज़न S3) बाल्टी।
- SageMaker का उपयोग करके मॉडल को परिनियोजित करें और एक HTTPS अनुमान समापन बिंदु बनाएँ। SageMaker इंट्रेंस एंडपॉइंट एक लोड बैलेंसर और विभिन्न उपलब्धता क्षेत्रों में आपके इंट्रेंस कंटेनर के एक या अधिक उदाहरण रखता है। आप इस एकल समापन बिंदु के पीछे एक ही मॉडल के या तो कई संस्करण या पूरी तरह से अलग मॉडल तैनात कर सकते हैं। इस उदाहरण में, हम एक एकल मॉडल होस्ट करते हैं।
- परीक्षण डेटा भेजकर अपने मॉडल समापन बिंदु को आमंत्रित करें और निष्कर्ष आउटपुट को सत्यापित करें।
निम्नलिखित अनुभागों में, हम मनोभाव विश्लेषण के लिए एक RoBERTa मॉडल को फ़ाइन-ट्यूनिंग दिखाते हैं। RoBERTa को Facebook AI द्वारा विकसित किया गया है, जो प्रमुख हाइपरपरमेटर्स को संशोधित करके और बड़े कॉर्पस पर पूर्व-प्रशिक्षण द्वारा लोकप्रिय BERT मॉडल में सुधार कर रहा है। इससे वैनिला BERT की तुलना में बेहतर प्रदर्शन होता है।
हम उपयोग ट्रान्सफ़ॉर्मर लगभग 124 मिलियन ट्वीट्स पर रोबर्टा मॉडल को पूर्व-प्रशिक्षित करने के लिए हगिंग फेस द्वारा लाइब्रेरी, और हम भावना विश्लेषण के लिए इसे ट्विटर डेटासेट पर फाइन-ट्यून करते हैं।
.. पूर्वापेक्षाएँ
सुनिश्चित करें कि आप निम्नलिखित पूर्वापेक्षाओं को पूरा करते हैं:
- आपके पास है AWS खाता.
- सुनिश्चित करें कि आप अंदर हैं
us-west-2
इस उदाहरण को चलाने के लिए क्षेत्र। (इस उदाहरण का परीक्षण किया गया हैus-west-2
; हालाँकि, आप किसी अन्य क्षेत्र में दौड़ सकते हैं।) - एक भूमिका बनाएँ नाम के साथ
sagemakerrole
. प्रबंधित नीतियां जोड़ेंAmazonSageMakerFullAccess
औरAmazonS3FullAccess
सेजमेकर को S3 बकेट तक पहुंच प्रदान करने के लिए। - एक EC2 भूमिका बनाएँ नाम के साथ
ec2_role
. निम्नलिखित अनुमति नीति का प्रयोग करें:
1. अपना विकास उदाहरण लॉन्च करें
हम एक p4d.24xlarge उदाहरण बनाते हैं जो 8 NVIDIA A100 Tensor Core GPU प्रदान करता है us-west-2
:
एएमआई का चयन करते समय, इसका पालन करें रिलीज नोट्स इस आदेश का उपयोग करने के लिए AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) उपयोग करने के लिए एएमआई आईडी खोजने के लिए us-west-2
:
सुनिश्चित करें कि gp3 रूट वॉल्यूम का आकार 200 GiB है।
ईबीएस वॉल्यूम एन्क्रिप्शन डिफ़ॉल्ट रूप से सक्षम नहीं है। इस समाधान को उत्पादन में ले जाते समय इसे बदलने पर विचार करें।
2. डीप लर्निंग कंटेनर डाउनलोड करें
AWS DLCs डॉकर छवियों के रूप में उपलब्ध हैं अमेज़ॅन लोचदार कंटेनर रजिस्ट्री सार्वजनिक, एक प्रबंधित AWS कंटेनर छवि रजिस्ट्री सेवा जो सुरक्षित, स्केलेबल और विश्वसनीय है। प्रत्येक डॉकर छवि सीपीयू या जीपीयू समर्थन के साथ एक विशिष्ट डीप लर्निंग फ्रेमवर्क संस्करण, पायथन संस्करण पर प्रशिक्षण या अनुमान लगाने के लिए बनाई गई है। उपलब्ध सूची से PyTorch 2.0 फ्रेमवर्क का चयन करें डीप लर्निंग कंटेनर इमेज.
अपना डीएलसी डाउनलोड करने के लिए निम्नलिखित चरणों को पूरा करें:
एक। उदाहरण के लिए एसएसएच। डिफ़ॉल्ट रूप से, EC2 के साथ प्रयुक्त सुरक्षा समूह सभी के लिए SSH पोर्ट खोलता है। यदि आप इस समाधान को उत्पादन में ले जा रहे हैं तो कृपया इस पर विचार करें:
डिफ़ॉल्ट रूप से, Amazon EC2 के साथ उपयोग किया जाने वाला सुरक्षा समूह SSH पोर्ट को सभी के लिए खोल देता है। यदि आप इस समाधान को उत्पादन में ले जा रहे हैं तो इसे बदलने पर विचार करें।
बी। इस कार्यान्वयन के शेष चरणों को चलाने के लिए आवश्यक परिवेश चर सेट करें:
अमेज़ॅन ईसीआर संसाधन-आधारित अनुमतियों के साथ सार्वजनिक छवि रिपॉजिटरी का समर्थन करता है AWS पहचान और अभिगम प्रबंधन (आईएएम) ताकि विशिष्ट उपयोगकर्ता या सेवाएं छवियों तक पहुंच सकें।
सी। डीएलसी रजिस्ट्री में लॉग इन करें:
डी। GPU समर्थन के साथ नवीनतम PyTorch 2.0 कंटेनर को अंदर खींचें us-west-2
यदि आपको "डिवाइस पर कोई स्थान नहीं बचा है" त्रुटि मिलती है, तो सुनिश्चित करें कि आप वृद्धि EC2 EBS वॉल्यूम को 200 GiB और फिर विस्तार लिनक्स फाइल सिस्टम।
3. PyTorch 2.0 के लिए अनुकूलित नवीनतम स्क्रिप्ट को क्लोन करें
निम्नलिखित कोड के साथ स्क्रिप्ट को क्लोन करें:
क्योंकि हम नवीनतम संस्करण 4.28.1 के साथ हगिंग फेस ट्रांसफॉर्मर एपीआई का उपयोग कर रहे हैं, यह पहले से ही PyTorch 2.0 समर्थन को सक्षम कर चुका है। हमने निम्नलिखित तर्क को ट्रेनर एपीआई में जोड़ा है train_sentiment.py
नई PyTorch 2.0 सुविधाओं को सक्षम करने के लिए:
- मशाल संकलन - बदलाव की सिंगल लाइन के साथ एनवीडिया ए43 जीपीयू पर औसत 100% स्पीडअप का अनुभव करें।
- बीएफ 16 डेटाटाइप - एम्पीयर या नए जीपीयू के लिए नया डेटा प्रकार समर्थन (ब्रेन फ़्लोटिंग पॉइंट)।
- जुड़े एडम डब्ल्यू अनुकूलक - प्रशिक्षण को और तेज करने के लिए जुड़े हुए एडम डब्ल्यू कार्यान्वयन। यह स्टोकास्टिक ऑप्टिमाइज़ेशन विधि ग्रेडियेंट अपडेट से वज़न क्षय को कम करके एडम में वज़न क्षय के सामान्य कार्यान्वयन को संशोधित करती है।
4. निर्भरता के साथ एक नई डॉकर छवि बनाएँ
हम हगिंग फेस ट्रांसफॉर्मर और अन्य पुस्तकालयों को स्थापित करने के लिए पूर्व-निर्मित PyTorch 2.0 DLC छवि का विस्तार करते हैं, जिन्हें हमें अपने मॉडल को ठीक करने की आवश्यकता होती है। यह आपको खरोंच से एक छवि बनाने के बिना शामिल परीक्षण और अनुकूलित गहन शिक्षण पुस्तकालयों और सेटिंग्स का उपयोग करने की अनुमति देता है। निम्नलिखित कोड देखें:
5. कंटेनर का उपयोग करके प्रशिक्षण प्रारंभ करें
मॉडल पर फ़ाइन-ट्यूनिंग शुरू करने के लिए निम्नलिखित डॉकर कमांड चलाएँ tweet_eval
भावना डेटासेट। हम डॉकर कंटेनर तर्कों का उपयोग कर रहे हैं (साझा स्मृति आकार, अधिकतम लॉक मेमोरी, और ढेर आकार) एनवीडिया द्वारा सिफारिश गहन शिक्षण कार्यभार के लिए।
आपको निम्न आउटपुट की अपेक्षा करनी चाहिए। स्क्रिप्ट सबसे पहले TweetEval डेटासेट को डाउनलोड करती है, जिसमें ट्विटर में सात विषम कार्य शामिल हैं, सभी को मल्टी-क्लास ट्वीट वर्गीकरण के रूप में तैयार किया गया है। कार्यों में विडंबना, घृणा, आपत्तिजनक, रुख, इमोजी, भावना और भावना शामिल हैं।
स्क्रिप्ट तब बेस मॉडल को डाउनलोड करती है और फाइन-ट्यूनिंग प्रक्रिया शुरू करती है। प्रत्येक युग के अंत में प्रशिक्षण और मूल्यांकन मेट्रिक्स की सूचना दी जाती है।
प्रदर्शन आँकड़े
PyTorch 2.0 और नवीनतम हगिंग फेस ट्रांसफॉर्मर लाइब्रेरी 4.28.1 के साथ, हमने 42 A4 24GB GPU के साथ एकल p8d.100xबड़े उदाहरण पर 40% स्पीडअप देखा। प्रदर्शन में सुधार मशाल के संयोजन से आता है। संकलन, बीएफ 16 डेटा प्रकार, और जुड़े हुए एडमडब्लू अनुकूलक। निम्नलिखित कोड नई सुविधाओं के साथ और बिना दो प्रशिक्षणों का अंतिम परिणाम है:
6. SageMaker के अनुमान की तैयारी करने से पहले स्थानीय रूप से प्रशिक्षित मॉडल का परीक्षण करें
आप निम्न फ़ाइलों के अंतर्गत पा सकते हैं $ml_working_dir/saved_model/
प्रशिक्षण के बाद:
आइए सुनिश्चित करें कि हम सैजमेकर अनुमान की तैयारी करने से पहले स्थानीय रूप से अनुमान लगा सकते हैं। हम सहेजे गए मॉडल को लोड कर सकते हैं और स्थानीय रूप से test_trained_model.py
स्क्रिप्ट:
आपको "कोविड के मामले तेजी से बढ़ रहे हैं!" इनपुट के साथ निम्नलिखित आउटपुट की उम्मीद करनी चाहिए:
7. सैजमेकर अनुमान के लिए मॉडल टारबॉल तैयार करें
उस निर्देशिका के अंतर्गत जहां मॉडल स्थित है, नामक एक नई निर्देशिका बनाएं code
:
नई निर्देशिका में, फ़ाइल बनाएँ inference.py
और इसमें निम्नलिखित जोड़ें:
अंत में, आपके पास निम्न फ़ोल्डर संरचना होनी चाहिए:
मॉडल पैक किए जाने के लिए तैयार है और SageMaker अनुमान के साथ उपयोग के लिए Amazon S3 पर अपलोड किया गया है:
8. एक SageMaker AWS Graviton उदाहरण पर मॉडल को परिनियोजित करें
सीपीयू की नई पीढ़ी विशिष्ट अंतर्निहित निर्देशों के कारण एमएल अनुमान में एक महत्वपूर्ण प्रदर्शन सुधार प्रदान करती है। इस उपयोग के मामले में, हम AWS Graviton3-आधारित C7g उदाहरणों के साथ पूरी तरह से प्रबंधित होस्टिंग अवसंरचना का उपयोग करते हैं। AWS ने Torch हब ResNet50 में AWS Graviton3-आधारित EC2 C7g उदाहरणों के साथ PyTorch के अनुमान के लिए 50% तक की लागत बचत और तुलनीय EC2 उदाहरणों के सापेक्ष कई हगिंग फेस मॉडल को भी मापा है।
AWS Graviton उदाहरणों में मॉडल को तैनात करने के लिए, हम AWS DLCs का उपयोग करते हैं जो PyTorch 2.0 और TorchServe 0.8.0 के लिए समर्थन प्रदान करते हैं, या आप कर सकते हैं अपने खुद के कंटेनर लाओ जो ARMv8.2 आर्किटेक्चर के अनुकूल हैं।
हम उस मॉडल का उपयोग करते हैं जिसे हमने पहले प्रशिक्षित किया था: s3://<your-s3-bucket>/twitter-roberta-base-sentiment-latest.tar.gz
. यदि आपने पहले SageMaker का उपयोग नहीं किया है, तो समीक्षा करें अमेज़ॅन सैजमेकर के साथ शुरुआत करें.
शुरू करने के लिए, सुनिश्चित करें कि सैजमेकर पैकेज अप टू डेट है:
चूंकि यह एक उदाहरण है, नाम की एक फाइल बनाएं start_endpoint.py
और निम्न कोड जोड़ें। यह मोड के साथ एक सैजमेकर इंट्रेंस एंडपॉइंट शुरू करने के लिए पायथन स्क्रिप्ट होगी:
हम उदाहरण के लिए ml.c7g.4xlarge का उपयोग कर रहे हैं और एक इमेज स्कोप के साथ PT 2.0 को पुनः प्राप्त कर रहे हैं inference_graviton
. यह हमारा AWS Graviton3 उदाहरण है।
अगला, हम वह फ़ाइल बनाते हैं जो पूर्वानुमान चलाती है। हम इन्हें अलग-अलग स्क्रिप्ट के रूप में करते हैं ताकि हम भविष्यवाणियों को जितनी बार चाहें उतनी बार चला सकें। बनाएं predict.py
निम्नलिखित कोड के साथ:
तैयार की गई स्क्रिप्ट के साथ, अब हम एक एंडपॉइंट शुरू कर सकते हैं, एंडपॉइंट के खिलाफ भविष्यवाणियां कर सकते हैं, और काम पूरा होने पर सफाई कर सकते हैं:
9. साफ करें
अंत में, हम इस उदाहरण से सफाई करना चाहते हैं। Cleanup.py बनाएं और निम्न कोड जोड़ें:
निष्कर्ष
AWS DLAMI और DLC, AWS पर कम्प्यूट और ML सेवाओं के व्यापक चयन पर गहन शिक्षण कार्यभार चलाने के लिए मानक बन गए हैं। AWS ML सेवाओं पर फ्रेमवर्क-विशिष्ट DLCs का उपयोग करने के साथ, आप Amazon EC2 पर एकल फ्रेमवर्क का भी उपयोग कर सकते हैं, जो डेवलपर्स के लिए गहन शिक्षण अनुप्रयोगों को बनाने और बनाए रखने के लिए आवश्यक भारी भारोत्तोलन को हटा देता है। को देखें DLAMI के लिए रिलीज़ नोट और उपलब्ध डीप लर्निंग कंटेनर इमेज आरंभ करना।
इस पोस्ट ने AWS पर आपके अगले मॉडल को प्रशिक्षित करने और पेश करने की कई संभावनाओं में से एक को दिखाया और कई प्रारूपों पर चर्चा की जिन्हें आप अपने व्यावसायिक उद्देश्यों को पूरा करने के लिए अपना सकते हैं। इस उदाहरण को आज़माएं या अपने व्यवसाय के लिए डेटा उत्पादकता बढ़ाने के लिए हमारी अन्य AWS ML सेवाओं का उपयोग करें। हमने एक सरल भावना विश्लेषण समस्या को शामिल किया है ताकि एमएल के लिए नए ग्राहक समझ सकें कि AWS पर PyTorch 2.0 के साथ आरंभ करना कितना सरल है। हम आगामी ब्लॉग पोस्टों में अधिक उन्नत उपयोग के मामलों, मॉडलों और AWS तकनीकों को शामिल करेंगे।
लेखक के बारे में
कंवलजीत खुर्मी Amazon Web Services में प्रिंसिपल सॉल्यूशंस आर्किटेक्ट हैं। वह AWS ग्राहकों के साथ मार्गदर्शन और तकनीकी सहायता प्रदान करने के लिए काम करता है, जिससे उन्हें AWS का उपयोग करते समय उनके समाधानों के मूल्य में सुधार करने में मदद मिलती है। कंवलजीत कंटेनरीकृत और मशीन लर्निंग एप्लिकेशन के साथ ग्राहकों की मदद करने में माहिर हैं।
माइक श्नाइडर फीनिक्स AZ में स्थित एक सिस्टम डेवलपर है। वह डीप लर्निंग कंटेनरों का सदस्य है, जो विभिन्न फ्रेमवर्क कंटेनर छवियों का समर्थन करता है, जिसमें ग्रेविटॉन इनफेरेंस शामिल है। वह बुनियादी ढांचे की दक्षता और स्थिरता के लिए समर्पित है।
लाइ वेई Amazon Web Services में सीनियर सॉफ्टवेयर इंजीनियर हैं। वह वितरित मॉडल प्रशिक्षण में तेजी लाने के लिए उपयोग में आसान, उच्च-प्रदर्शन और स्केलेबल डीप लर्निंग फ्रेमवर्क बनाने पर ध्यान केंद्रित कर रहा है। काम से बाहर, वह अपने परिवार के साथ समय बिताना, लंबी पैदल यात्रा और स्कीइंग करना पसंद करते हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
- PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/part-1-build-high-performance-ml-models-using-pytorch-2-0-on-aws/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 10
- 100
- 11
- 12
- 13
- 14
- 15% तक
- 16
- 17
- 20
- 200
- 23
- 25
- 26% तक
- 28
- 31
- 7
- 8
- 9
- a
- में तेजी लाने के
- त्वरित
- तेज
- स्वीकार करें
- पहुँच
- के पार
- कार्य
- ऐडम
- जोड़ना
- जोड़ा
- अपनाना
- उन्नत
- बाद
- के खिलाफ
- AI
- संरेखित करें
- गठबंधन
- सब
- अनुमति देना
- की अनुमति दे
- की अनुमति देता है
- साथ में
- पहले ही
- भी
- वीरांगना
- अमेज़ॅन EC2
- अमेज़ॅन वेब सेवा
- एएमडी
- राशि
- an
- विश्लेषण
- विश्लेषण करें
- और
- की घोषणा
- अन्य
- कोई
- एपीआई
- आवेदन
- अनुप्रयोगों
- दृष्टिकोण
- लगभग
- स्थापत्य
- हैं
- क्षेत्र
- तर्क
- तर्क
- कृत्रिम
- कृत्रिम बुद्धिमत्ता
- कृत्रिम बुद्धिमत्ता (AI)
- AS
- सहायता
- At
- उपलब्धता
- उपलब्ध
- औसत
- एडब्ल्यूएस
- कसरती
- आधार
- आधारित
- मूल रूप से
- BE
- क्योंकि
- बन
- किया गया
- से पहले
- शुरू करना
- पीछे
- बेंचमार्क
- मानक
- बड़ा
- अरबों
- बिन
- ब्लॉग
- वेबदैनिकी डाक
- परिवर्तन
- तल
- दिमाग
- विस्तृत
- बजट
- निर्माण
- इमारत
- बनाया गया
- में निर्मित
- बोझ
- व्यापार
- व्यवसायों
- लेकिन
- by
- कॉल
- बुलाया
- बुला
- कर सकते हैं
- क्षमताओं
- मामला
- मामलों
- CD
- परिवर्तन
- बदलना
- चुनाव
- चुनें
- वर्गीकरण
- ग्राहक
- बादल
- कोड
- COM
- संयोजन
- आता है
- संचार
- तुलनीय
- तुलना
- संगत
- पूरा
- गणना करना
- कंप्यूटर
- Computer Vision
- कंप्यूटिंग
- जुडिये
- विचार करना
- होते हैं
- कंसोल
- कंटेनर
- कंटेनरों
- सामग्री
- सामग्री निर्माण
- नियंत्रण
- मूल
- लागत
- लागत बचत
- लागत
- सका
- कवर
- बनाना
- बनाया
- निर्माण
- साख
- क्यूरेट
- वर्तमान
- ग्राहक
- अनुकूलित
- तिथि
- तारीख
- दिन
- समर्पित
- गहरा
- ध्यान लगा के पढ़ना या सीखना
- चूक
- दर्शाता
- निर्भर करता है
- तैनात
- तैनात
- तैनाती
- तैनाती
- बनाया गया
- विवरण
- विकसित
- डेवलपर
- डेवलपर्स
- विकास
- विभिन्न
- संग्रह
- चर्चा करना
- चर्चा की
- वितरित
- वितरित प्रशिक्षण
- कई
- do
- डाक में काम करनेवाला मज़दूर
- किया
- dont
- डाउनलोड
- डाउनलोड
- ड्राइवर
- ड्राइवरों
- ड्राइविंग
- दो
- गतिशील
- से प्रत्येक
- पूर्व
- आराम
- आसानी
- आसान
- प्रभाव
- प्रभावी रूप से
- दक्षता
- कुशलता
- प्रयास
- भी
- सक्षम
- सक्षम
- एन्क्रिप्शन
- समाप्त
- endpoint
- इंजीनियर
- वर्धित
- पूरी तरह से
- वातावरण
- युग
- त्रुटि
- मूल्यांकन करें
- मूल्यांकन
- और भी
- कभी
- प्रत्येक
- उदाहरण
- मौजूदा
- विस्तार
- उम्मीद
- अनुभव
- का पता लगाने
- घातीय
- निर्यात
- विस्तार
- फैली
- कपड़ा
- चेहरा
- फेसबुक
- परिवार
- और तेज
- सबसे तेजी से
- विशेषताएं
- कुछ
- आकृति
- पट्टिका
- फ़ाइलें
- अंतिम
- खोज
- प्रथम
- फिट
- लचीलापन
- चल
- फोकस
- ध्यान केंद्रित
- का पालन करें
- निम्नलिखित
- के लिए
- ढांचा
- चौखटे
- से
- पूरी तरह से
- आगे
- उत्पन्न
- उत्पन्न
- पीढ़ी
- पीढ़ियों
- उत्पादक
- जनरेटिव एआई
- मिल
- जाना
- GitHub
- देना
- देता है
- वैश्विक
- GPU
- GPUs
- समूह
- विकास
- मार्गदर्शन
- है
- होने
- he
- mmmmm
- भार उठाना
- मदद
- मदद करता है
- उच्च प्रदर्शन
- उच्चतर
- उच्चतम
- उसके
- रखती है
- मेजबान
- होस्टिंग
- कैसे
- तथापि
- एचटीएमएल
- http
- HTTPS
- हब
- सैकड़ों
- संकर
- ID
- पहचान
- if
- दिखाता है
- की छवि
- छवियों
- लागू करने के
- कार्यान्वयन
- आयात
- में सुधार
- उन्नत
- सुधार
- सुधार
- में सुधार लाने
- in
- शामिल
- शामिल
- शामिल
- सहित
- बढ़ना
- बढ़ती
- स्वतंत्र
- उद्योगों
- इंफ्रास्ट्रक्चर
- निवेश
- स्थापित
- installed
- स्थापित कर रहा है
- उदाहरण
- बजाय
- निर्देश
- एकीकृत
- इंटेल
- बुद्धि
- में
- निवेश
- IP
- व्यंग्य
- IT
- आईटी इस
- नौकरियां
- जेपीजी
- JSON
- कुंजी
- लेबल
- भाषा
- बड़ा
- बड़े पैमाने पर
- बड़ा
- विलंब
- ताज़ा
- नवीनतम प्रकाशन
- लांच
- बिक्रीसूत्र
- सीख रहा हूँ
- बाएं
- पुस्तकालयों
- पुस्तकालय
- उत्तोलक
- पसंद
- सीमित
- लाइन
- लिनक्स
- सूची
- भार
- स्थानीय स्तर पर
- स्थित
- बंद
- लॉग इन
- लॉग इन
- बंद
- कम
- सबसे कम
- मशीन
- यंत्र अधिगम
- बनाए रखना
- बनाना
- निर्माण
- प्रबंधन
- कामयाब
- बहुत
- गणित
- मैक्स
- मई..
- मिलना
- सदस्य
- याद
- मर्ज के
- मेटाडाटा
- तरीका
- मेट्रिक्स
- दस लाख
- ML
- एमएलओपीएस
- मोड
- आदर्श
- मॉडल
- मॉड्यूल
- महीने
- अधिक
- चलती
- विभिन्न
- नाम
- प्राकृतिक
- प्राकृतिक भाषा संसाधन
- आवश्यक
- आवश्यकता
- जरूरत
- की जरूरत है
- नकारात्मक
- नेटवर्क
- शुद्ध कार्यशील
- तटस्थ
- नया
- नई सुविधाएँ
- नयी तकनीकें
- अगला
- नोड्स
- नोट्स
- सूचना..
- अभी
- Nvidia
- उद्देश्य
- of
- अपमानजनक
- प्रस्ताव
- की पेशकश
- ऑफर
- on
- ONE
- खुला स्रोत
- खोलता है
- परिचालन
- इष्टतमीकरण
- अनुकूलित
- ऑप्शंस
- or
- आर्केस्ट्रा
- संगठनात्मक
- OS
- अन्य
- अन्य
- हमारी
- आउट
- उत्पादन
- बाहर
- अपना
- पैकेज
- पैक
- पैरामीटर
- भाग
- पैच
- पैच
- प्रदर्शन
- अनुमति
- अनुमतियाँ
- फ़ीनिक्स
- चुनना
- उठाया
- पाइपलाइन
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- कृप्या अ
- बिन्दु
- नीतियाँ
- नीति
- लोकप्रिय
- संभावनाओं
- पद
- पोस्ट
- संचालित
- शक्तिशाली
- भविष्यवाणी करना
- भविष्यवाणी
- भविष्यवाणियों
- तैयार करना
- तैयारी
- आवश्यक शर्तें
- पिछला
- प्रिंसिपल
- मुसीबत
- प्रक्रिया
- प्रसंस्करण
- प्रोसेसर
- उत्पादन
- उत्पादकता
- उत्पाद
- परियोजना
- परियोजनाओं
- मालिकाना
- साबित
- प्रदान करना
- प्रदान करता है
- सार्वजनिक
- रखना
- अजगर
- pytorch
- तैयार
- हाल
- हाल ही में
- आवर्ती
- को कम करने
- क्षेत्र
- रजिस्ट्री
- नियमित तौर पर
- सापेक्ष
- और
- विश्वसनीय
- शेष
- की सूचना दी
- की आवश्यकता होती है
- अपेक्षित
- आवश्यकताएँ
- की आवश्यकता होती है
- संसाधन
- प्रतिक्रिया
- प्रतिबंध
- परिणाम
- वापसी
- की समीक्षा
- भूमिका
- जड़
- रन
- दौड़ना
- sagemaker
- सेजमेकर अनुमान
- वही
- बचत
- स्केलेबल
- स्केल
- स्कैन
- scikit सीखने
- क्षेत्र
- स्कोर
- खरोंच
- लिपियों
- अनुभाग
- वर्गों
- सुरक्षित
- सुरक्षा
- देखना
- का चयन
- चयन
- भेजना
- वरिष्ठ
- भावुकता
- अलग
- सेवा
- सेवा
- सेवाएँ
- सत्र
- सेट
- सेटिंग्स
- व्यवस्था
- सात
- कई
- SHA256
- साझा
- चाहिए
- प्रदर्शन
- पता चला
- दिखाया
- दिखाता है
- महत्वपूर्ण
- सरल
- एक
- आकार
- आकार
- So
- सॉफ्टवेयर
- सॉफ्टवेयर इंजीनियर
- समाधान
- समाधान ढूंढे
- कुछ
- अंतरिक्ष
- विशेषीकृत
- माहिर
- विशिष्ट
- विशेष रूप से
- गति
- गति
- बिताना
- खर्च
- स्थिरता
- धुआँरा
- मानक
- प्रारंभ
- शुरू
- शुरू होता है
- कथन
- आँकड़े
- कदम
- कदम
- भंडारण
- भंडारण विकल्प
- रणनीतियों
- संरचना
- ऐसा
- समर्थन
- समर्थित
- सहायक
- समर्थन करता है
- प्रणाली
- सिस्टम
- अनुरूप
- कार्य
- तकनीकी
- तकनीक
- टेक्नोलॉजीज
- tensorflow
- परीक्षण
- परीक्षण किया
- से
- कि
- RSI
- क्षेत्र
- लेकिन हाल ही
- उन
- फिर
- इन
- वे
- चीज़ें
- इसका
- हालांकि?
- यहाँ
- THROUGHPUT
- टियर
- पहर
- बार
- सेवा मेरे
- उपकरण
- मशाल
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- ट्रांसफार्मर
- ट्रान्सफ़ॉर्मर
- बदलने
- कोशिश
- कलरव
- tweets
- दो
- टाइप
- प्रकार
- ठेठ
- Ubuntu
- के अंतर्गत
- समझना
- आगामी
- अपडेट
- अद्यतन
- उन्नयन
- अपलोड की गई
- प्रयोग
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ताओं
- का उपयोग
- उपयोगिता
- मूल्य
- विविधता
- विभिन्न
- सत्यापित
- संस्करण
- दृष्टि
- आयतन
- कमजोरियों
- करना चाहते हैं
- we
- वेब
- वेब सेवाओं
- सप्ताह
- भार
- में आपका स्वागत है
- कब
- कौन कौन से
- व्यापक रूप से
- मर्जी
- साथ में
- बिना
- काम
- वर्कफ़्लो
- कार्य
- लिखना
- लिख रहे हैं
- X
- आप
- आपका
- जेफिरनेट
- क्षेत्र