डेटा वैज्ञानिकों को मशीन लर्निंग (एमएल) और डेटा साइंस वर्कलोड के लिए एक सुसंगत और प्रतिलिपि प्रस्तुत करने योग्य वातावरण की आवश्यकता होती है जो निर्भरता को प्रबंधित करने में सक्षम बनाता है और सुरक्षित है। AWS डीप लर्निंग कंटेनर पहले से ही TensorFlow, PyTorch और MXNet जैसे सामान्य ढांचे में मॉडलों के प्रशिक्षण और सेवा के लिए पूर्व-निर्मित डॉकर छवियां प्रदान करता है। इस अनुभव को बेहतर बनाने के लिए, हमने 2023 ज्यूपिटरकॉन में सेजमेकर ओपन-सोर्स वितरण के एक सार्वजनिक बीटा की घोषणा की। यह विशेषज्ञता के विभिन्न स्तरों के एमएल डेवलपर्स के लिए एक एकीकृत एंड-टू-एंड एमएल अनुभव प्रदान करता है। डेवलपर्स को अब प्रयोग के लिए विभिन्न फ्रेमवर्क कंटेनरों के बीच स्विच करने की आवश्यकता नहीं है, या जैसे ही वे स्थानीय ज्यूपिटरलैब वातावरण और सेजमेकर नोटबुक से सेजमेकर पर उत्पादन नौकरियों की ओर बढ़ते हैं। ओपन-सोर्स सेजमेकर डिस्ट्रीब्यूशन डेटा साइंस, एमएल और विज़ुअलाइज़ेशन के लिए सबसे आम पैकेज और लाइब्रेरी का समर्थन करता है, जैसे कि टेन्सरफ्लो, पायटोरच, स्किकिट-लर्न, पांडा और मैटप्लोटलिब। आप कंटेनर का उपयोग यहां से शुरू कर सकते हैं अमेज़न ईसीआर पब्लिक गैलरी आज से शुरू हो रहा है।
इस पोस्ट में, हम आपको दिखाते हैं कि कैसे आप अपने स्थानीय परिवेश पर त्वरित प्रयोग करने के लिए सेजमेकर ओपन-सोर्स वितरण का उपयोग कर सकते हैं और उन्हें सेजमेकर पर नौकरियों में आसानी से बढ़ावा दे सकते हैं।
समाधान अवलोकन
हमारे उदाहरण के लिए, हम PyTorch का उपयोग करके एक छवि वर्गीकरण मॉडल का प्रशिक्षण प्रदर्शित करते हैं। हम उपयोग करते हैं KMNIST डेटासेट सार्वजनिक रूप से PyTorch पर उपलब्ध है। हम एक तंत्रिका नेटवर्क मॉडल को प्रशिक्षित करते हैं, मॉडल के प्रदर्शन का परीक्षण करते हैं, और अंत में प्रशिक्षण और परीक्षण हानि को प्रिंट करते हैं। इस उदाहरण के लिए पूरी नोटबुक यहां उपलब्ध है सेजमेकर स्टूडियो लैब उदाहरण भंडार. हम ओपन-सोर्स वितरण का उपयोग करके एक स्थानीय लैपटॉप पर प्रयोग शुरू करते हैं, इसे आगे बढ़ाते हैं अमेज़ॅन सैजमेकर स्टूडियो एक बड़े उदाहरण का उपयोग करने के लिए, और फिर नोटबुक को नोटबुक कार्य के रूप में शेड्यूल करें।
.. पूर्वापेक्षाएँ
आपको निम्नलिखित पूर्वापेक्षाएँ चाहिए:
अपना स्थानीय वातावरण सेट करें
आप सीधे अपने स्थानीय लैपटॉप पर ओपन-सोर्स वितरण का उपयोग शुरू कर सकते हैं। JupyterLab प्रारंभ करने के लिए, अपने टर्मिनल पर निम्नलिखित कमांड चलाएँ:
आप प्रतिस्थापित कर सकते हैं ECR_IMAGE_ID
में उपलब्ध किसी भी छवि टैग के साथ अमेज़न ईसीआर पब्लिक गैलरी, या चुनें latest-gpu
यदि आप ऐसी मशीन का उपयोग कर रहे हैं जो GPU का समर्थन करती है तो टैग करें।
यह कमांड JupyterLab प्रारंभ करेगा और टर्मिनल पर एक URL प्रदान करेगा, जैसे http://127.0.0.1:8888/lab?token=<token>
. JupyterLab प्रारंभ करने के लिए लिंक को कॉपी करें और इसे अपने पसंदीदा ब्राउज़र में दर्ज करें।
स्टूडियो स्थापित करें
स्टूडियो एमएल के लिए एक एंड-टू-एंड इंटीग्रेटेड डेवलपमेंट एनवायरनमेंट (आईडीई) है जो डेवलपर्स और डेटा वैज्ञानिकों को बड़े पैमाने पर एमएल मॉडल बनाने, प्रशिक्षित करने, तैनात करने और मॉनिटर करने की सुविधा देता है। स्टूडियो सामान्य फ्रेमवर्क और पैकेज के साथ प्रथम-पक्ष छवियों की एक विस्तृत सूची प्रदान करता है, जैसे डेटा साइंस, टेन्सरफ्लो, पायटोरच और स्पार्क। ये छवियां डेटा वैज्ञानिकों के लिए गणना के लिए अपनी पसंद का एक ढांचा और उदाहरण प्रकार चुनकर एमएल के साथ शुरुआत करना आसान बनाती हैं।
अब आप स्टूडियो का उपयोग करके स्टूडियो पर सेजमेकर ओपन-सोर्स वितरण का उपयोग कर सकते हैं अपनी खुद की छवि लाओ विशेषता। अपने सेजमेकर डोमेन में ओपन-सोर्स वितरण जोड़ने के लिए, निम्नलिखित चरणों को पूरा करें:
- अपने खाते में ओपन-सोर्स वितरण जोड़ें अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़ॅन ईसीआर) रिपॉजिटरी अपने टर्मिनल पर निम्नलिखित कमांड चलाकर:
- एक सेजमेकर छवि बनाएं और छवि को स्टूडियो डोमेन में संलग्न करें:
- सेजमेकर कंसोल पर, अपना डोमेन और मौजूदा उपयोगकर्ता प्रोफ़ाइल चुनकर स्टूडियो लॉन्च करें।
- वैकल्पिक रूप से, दिए गए चरणों का पालन करके स्टूडियो को पुनरारंभ करें सेजमेकर स्टूडियो को बंद करें और अपडेट करें.
नोटबुक डाउनलोड करें
स्थानीय रूप से नमूना नोटबुक डाउनलोड करें गीथहब रेपो.
अपनी पसंद की आईडीई में नोटबुक खोलें और इंस्टॉल करने के लिए नोटबुक की शुरुआत में एक सेल जोड़ें torchsummary
। torchsummary
पैकेज वितरण का हिस्सा नहीं है, और इसे नोटबुक पर स्थापित करने से यह सुनिश्चित हो जाएगा कि नोटबुक शुरू से अंत तक चलेगी। हम उपयोग करने की सलाह देते हैं conda
or micromamba
वातावरण और निर्भरता का प्रबंधन करने के लिए। नोटबुक में निम्नलिखित सेल जोड़ें और नोटबुक को सहेजें:
स्थानीय नोटबुक पर प्रयोग करें
निम्नलिखित स्क्रीनशॉट में दिखाए अनुसार अपलोड आइकन चुनकर नोटबुक को आपके द्वारा लॉन्च किए गए JupyterLab UI पर अपलोड करें।
जब यह अपलोड हो जाए, तो लॉन्च करें cv-kmnist.ipynb
स्मरण पुस्तक। आप टॉर्च, मैटप्लोटलिब, या आईपाइविजेट्स जैसी कोई निर्भरता स्थापित किए बिना, तुरंत सेल चलाना शुरू कर सकते हैं।
यदि आपने पिछले चरणों का पालन किया है, तो आप देख सकते हैं कि आप अपने लैपटॉप से स्थानीय रूप से वितरण का उपयोग कर सकते हैं। अगले चरण में, हम स्टूडियो की सुविधाओं का लाभ उठाने के लिए स्टूडियो पर समान वितरण का उपयोग करते हैं।
प्रयोग को स्टूडियो में ले जाएं (वैकल्पिक)
वैकल्पिक रूप से, आइए स्टूडियो में प्रयोग को बढ़ावा दें। स्टूडियो के फायदों में से एक यह है कि अंतर्निहित गणना संसाधन पूरी तरह से लोचदार हैं, इसलिए आप उपलब्ध संसाधनों को आसानी से ऊपर या नीचे डायल कर सकते हैं, और परिवर्तन आपके काम को बाधित किए बिना पृष्ठभूमि में स्वचालित रूप से होते हैं। यदि आप पहले से उसी नोटबुक को बड़े डेटासेट और कंप्यूट इंस्टेंस पर चलाना चाहते हैं, तो आप स्टूडियो में माइग्रेट कर सकते हैं।
आपके द्वारा पहले लॉन्च किए गए स्टूडियो यूआई पर नेविगेट करें और नोटबुक अपलोड करने के लिए अपलोड आइकन चुनें।
नोटबुक लॉन्च करने के बाद, आपको छवि और इंस्टेंस प्रकार चुनने के लिए कहा जाएगा। कर्नेल लॉन्चर पर, चुनें sagemaker-runtime
छवि के रूप में और एक ml.t3.medium
उदाहरण, फिर चुनें चुनते हैं.
अब आप अपने स्थानीय विकास परिवेश से स्टूडियो नोटबुक तक नोटबुक में किसी भी बदलाव के बिना नोटबुक को शुरू से अंत तक चला सकते हैं!
नोटबुक को कार्य के रूप में शेड्यूल करें
जब आप अपना प्रयोग पूरा कर लेते हैं, तो सेजमेकर आपकी नोटबुक के उत्पादन के लिए कई विकल्प प्रदान करता है, जैसे प्रशिक्षण कार्य और सेजमेकर पाइपलाइन। ऐसा ही एक विकल्प है नोटबुक को सीधे गैर-इंटरैक्टिव, शेड्यूल किए गए नोटबुक कार्य के रूप में चलाना सेजमेकर नोटबुक जॉब्स. उदाहरण के लिए, हो सकता है कि आप अपने मॉडल को समय-समय पर पुनः प्रशिक्षित करना चाहें, या आने वाले डेटा पर समय-समय पर अनुमान प्राप्त करना चाहें और अपने हितधारकों द्वारा उपभोग के लिए रिपोर्ट तैयार करना चाहें।
स्टूडियो से, नोटबुक जॉब लॉन्च करने के लिए नोटबुक जॉब आइकन चुनें। यदि आपने अपने लैपटॉप पर स्थानीय रूप से नोटबुक जॉब्स एक्सटेंशन स्थापित किया है, तो आप सीधे अपने लैपटॉप से नोटबुक को शेड्यूल भी कर सकते हैं। देखना अधिष्ठापन गाइड नोटबुक जॉब्स एक्सटेंशन को स्थानीय रूप से स्थापित करने के लिए।
नोटबुक कार्य स्वचालित रूप से ओपन-सोर्स वितरण की ईसीआर छवि यूआरआई का उपयोग करता है, ताकि आप सीधे नोटबुक कार्य को शेड्यूल कर सकें।
चुनें निर्धारित समय पर चलाएँ, एक शेड्यूल चुनें, उदाहरण के लिए हर सप्ताह शनिवार को, और चुनें बनाएँ. आप भी चुन सकते हैं अभी भागो यदि आप तुरंत परिणाम देखना चाहते हैं।
जब पहला नोटबुक कार्य पूरा हो जाता है, तो आप चुनकर सीधे स्टूडियो यूआई से नोटबुक आउटपुट देख सकते हैं नोटबुक के अंतर्गत आउटपुट फ़ाइलें.
अतिरिक्त मुद्दो पर विचार करना
एमएल वर्कलोड के लिए सीधे सार्वजनिक रूप से उपलब्ध ईसीआर छवि का उपयोग करने के अलावा, ओपन-सोर्स वितरण निम्नलिखित लाभ प्रदान करता है:
- छवि बनाने के लिए उपयोग की जाने वाली डॉकरफ़ाइल डेवलपर्स के लिए अपनी स्वयं की छवियां तलाशने और बनाने के लिए सार्वजनिक रूप से उपलब्ध है। आप इस छवि को आधार छवि के रूप में भी प्राप्त कर सकते हैं और प्रतिलिपि प्रस्तुत करने योग्य वातावरण के लिए अपनी कस्टम लाइब्रेरी स्थापित कर सकते हैं।
- यदि आप डॉकर के अभ्यस्त नहीं हैं और अपने JupyterLab परिवेश पर Conda परिवेश का उपयोग करना पसंद करते हैं, तो हम एक प्रदान करते हैं
env.out
प्रत्येक प्रकाशित संस्करण के लिए फ़ाइल। आप अपना स्वयं का Conda वातावरण बनाने के लिए फ़ाइल में दिए गए निर्देशों का उपयोग कर सकते हैं जो उसी वातावरण की नकल करेगा। उदाहरण के लिए, सीपीयू पर्यावरण फ़ाइल देखें cpu.env.out. - आप गहन शिक्षण और छवि प्रसंस्करण जैसे जीपीयू-संगत वर्कलोड को चलाने के लिए छवि के जीपीयू संस्करणों का उपयोग कर सकते हैं।
क्लीन अप
अपने संसाधनों को साफ करने के लिए निम्नलिखित चरणों को पूरा करें:
- यदि आपने अपनी नोटबुक को एक शेड्यूल पर चलाने के लिए शेड्यूल किया है, तो शेड्यूल को रोकें या हटा दें नोटबुक नौकरी परिभाषाएँ भविष्य की नौकरियों के लिए भुगतान से बचने के लिए टैब।
- अप्रयुक्त कंप्यूट उपयोग के लिए भुगतान से बचने के लिए सभी स्टूडियो ऐप्स बंद कर दें। देखना स्टूडियो ऐप्स बंद करें और अपडेट करें निर्देशों के लिए।
- वैकल्पिक रूप से, यदि आपने स्टूडियो डोमेन बनाया है तो उसे हटा दें।
निष्कर्ष
एमएल जीवनचक्र के विभिन्न चरणों में पुनरुत्पादित वातावरण बनाए रखना डेटा वैज्ञानिकों और डेवलपर्स के लिए सबसे बड़ी चुनौतियों में से एक है। सेजमेकर ओपन-सोर्स वितरण के साथ, हम सबसे आम एमएल फ्रेमवर्क और पैकेज के पारस्परिक रूप से संगत संस्करणों के साथ एक छवि प्रदान करते हैं। वितरण भी खुला स्रोत है, जो डेवलपर्स को पैकेज और निर्माण प्रक्रियाओं में पारदर्शिता प्रदान करता है, जिससे उनके स्वयं के वितरण को अनुकूलित करना आसान हो जाता है।
इस पोस्ट में, हमने आपको दिखाया कि अपने स्थानीय परिवेश, स्टूडियो और अपने प्रशिक्षण कार्यों के लिए कंटेनर के रूप में वितरण का उपयोग कैसे करें। यह सुविधा अभी सार्वजनिक बीटा में है. हम आपको इसे आज़माने और अपनी प्रतिक्रिया और मुद्दे साझा करने के लिए प्रोत्साहित करते हैं सार्वजनिक GitHub रिपॉजिटरी!
लेखक के बारे में
दुर्गा सूर्य अमेज़ॅन सेजमेकर सर्विस एसए टीम में एक एमएल सॉल्यूशंस आर्किटेक्ट है। वह मशीन लर्निंग को सभी के लिए सुलभ बनाने को लेकर उत्साहित हैं। AWS में अपने 4 वर्षों में, उन्होंने एंटरप्राइज़ ग्राहकों के लिए AI/ML प्लेटफ़ॉर्म स्थापित करने में मदद की है। जब वह काम नहीं कर रही होती है, तो उसे मोटरसाइकिल की सवारी, रहस्यमय उपन्यास और अपने 5 वर्षीय हस्की के साथ लंबी सैर करना पसंद है।
केतन विजयवर्गीय अमेज़ॅन वेब सर्विसेज (एडब्ल्यूएस) में एक वरिष्ठ सॉफ्टवेयर डेवलपमेंट इंजीनियर हैं। उनका फोकस क्षेत्र मशीन लर्निंग, वितरित सिस्टम और ओपन सोर्स हैं। काम के बाहर, वह अपना समय स्वयं की मेजबानी और प्रकृति का आनंद लेना पसंद करते हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- ईवीएम वित्त। विकेंद्रीकृत वित्त के लिए एकीकृत इंटरफ़ेस। यहां पहुंचें।
- क्वांटम मीडिया समूह। आईआर/पीआर प्रवर्धित। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :हैस
- :है
- :नहीं
- $यूपी
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- About
- सुलभ
- के पार
- जोड़ना
- इसके अलावा
- अतिरिक्त
- लाभ
- फायदे
- ऐ / एमएल
- सब
- पहले ही
- भी
- वीरांगना
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- अमेज़ॅन वेब सेवा (एडब्ल्यूएस)
- an
- और
- की घोषणा
- कोई
- अनुप्रयोग
- क्षुधा
- हैं
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- AS
- At
- संलग्न करना
- स्वतः
- उपलब्ध
- से बचने
- एडब्ल्यूएस
- पृष्ठभूमि
- आधार
- आधारित
- BE
- शुरू
- बीटा
- के बीच
- सबसे बड़ा
- ब्राउज़र
- निर्माण
- by
- कर सकते हैं
- कैट
- कोशिकाओं
- चुनौतियों
- परिवर्तन
- चुनाव
- चुनें
- चुनने
- वर्गीकरण
- COM
- सामान्य
- संगत
- पूरा
- गणना करना
- विन्यास
- संगत
- कंसोल
- खपत
- कंटेनर
- कंटेनरों
- बनाना
- बनाया
- वर्तमान में
- रिवाज
- ग्राहक
- अनुकूलित
- तिथि
- डेटा विज्ञान
- डेटासेट
- गहरा
- ध्यान लगा के पढ़ना या सीखना
- चूक
- तैनात
- वर्णन
- डेवलपर्स
- विकास
- विभिन्न
- सीधे
- वितरित
- वितरित प्रणाली
- वितरण
- डाक में काम करनेवाला मज़दूर
- डोमेन
- किया
- नीचे
- से प्रत्येक
- पूर्व
- आसान
- आसानी
- सक्षम बनाता है
- प्रोत्साहित करना
- समाप्त
- शुरू से अंत तक
- इंजीनियर
- सुनिश्चित
- दर्ज
- उद्यम
- वातावरण
- वातावरण
- प्रत्येक
- हर कोई
- उदाहरण
- उदाहरण
- मौजूदा
- अनुभव
- प्रयोग
- विशेषज्ञता
- का पता लगाने
- निर्यात
- विस्तार
- व्यापक
- Feature
- विशेषताएं
- प्रतिक्रिया
- पट्टिका
- अंत में
- प्रथम
- फोकस
- पीछा किया
- निम्नलिखित
- के लिए
- ढांचा
- चौखटे
- से
- पूर्ण
- पूरी तरह से
- भविष्य
- उत्पन्न
- मिल
- GitHub
- GPU
- है
- होने
- he
- मदद की
- उसे
- उसके
- कैसे
- How To
- एचटीएमएल
- HTTPS
- नायक
- if
- की छवि
- छवि वर्गीकरण
- छवियों
- तुरंत
- में सुधार
- in
- आवक
- स्थापित
- installed
- स्थापित कर रहा है
- उदाहरण
- निर्देश
- एकीकृत
- में
- मुद्दों
- IT
- खुद
- काम
- नौकरियां
- जेपीजी
- JSON
- प्रयोगशाला
- लैपटॉप
- बड़ा
- लांच
- शुभारंभ
- सीख रहा हूँ
- चलें
- स्तर
- पुस्तकालयों
- जीवन चक्र
- पसंद
- को यह पसंद है
- LINK
- सूची
- स्थानीय
- स्थानीय स्तर पर
- लॉग इन
- लंबा
- लंबे समय तक
- बंद
- प्यार करता है
- मशीन
- यंत्र अधिगम
- बनाना
- निर्माण
- प्रबंधन
- प्रबंध
- matplotlib
- हो सकता है
- विस्थापित
- ML
- आदर्श
- मॉडल
- मॉनिटर
- अधिकांश
- मोटरसाइकिल
- चाल
- विभिन्न
- आपस लगीं
- रहस्य
- नाम
- प्रकृति
- आवश्यकता
- ज़रूरत
- नेटवर्क
- तंत्रिका नेटवर्क
- नया
- अगला
- नहीं
- नोटबुक
- अभी
- of
- ऑफर
- on
- ONE
- खुला
- खुला स्रोत
- विकल्प
- ऑप्शंस
- or
- हमारी
- आउट
- बाहर
- अपना
- पैकेज
- संकुल
- पांडा
- भाग
- आवेशपूर्ण
- विराम
- का भुगतान
- प्रदर्शन
- जगह
- प्लेटफार्म
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- पद
- पसंद करते हैं
- वरीय
- आवश्यक शर्तें
- छाप
- निजी
- प्रक्रियाओं
- प्रसंस्करण
- उत्पादन
- प्रोफाइल
- को बढ़ावा देना
- प्रदान करना
- प्रदान करता है
- प्रदान कर
- सार्वजनिक
- सार्वजनिक रूप से
- प्रकाशित
- धक्का
- अजगर
- pytorch
- जल्दी से
- की सिफारिश
- की जगह
- रिपोर्ट
- कोष
- आवश्यकताएँ
- उपयुक्त संसाधन चुनें
- परिणाम
- रन
- दौड़ना
- s
- SA
- sagemaker
- SageMaker पाइपलाइन
- वही
- शनिवार
- सहेजें
- स्केल
- अनुसूची
- अनुसूचित
- विज्ञान
- वैज्ञानिकों
- scikit सीखने
- सुरक्षित
- देखना
- वरिष्ठ
- सेवा
- सेवाएँ
- सेवारत
- सेट
- सेटिंग्स
- Share
- वह
- दिखाना
- प्रदर्शन
- पता चला
- दिखाया
- सरल
- केवल
- So
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- समाधान ढूंढे
- स्रोत
- स्पार्क
- बिताना
- चरणों
- हितधारकों
- प्रारंभ
- शुरू
- शुरुआत में
- कदम
- कदम
- स्टूडियो
- ऐसा
- समर्थन करता है
- स्विच
- सिस्टम
- टैग
- लेना
- टीम
- tensorflow
- अंतिम
- परीक्षण
- कि
- RSI
- लेकिन हाल ही
- उन
- फिर
- इन
- वे
- इसका
- पहर
- सेवा मेरे
- आज
- मशाल
- रेलगाड़ी
- प्रशिक्षण
- ट्रांसपेरेंसी
- कोशिश
- टाइप
- ui
- आधारभूत
- एकीकृत
- अप्रयुक्त
- अपडेट
- अपलोड की गई
- यूआरएल
- प्रयोग
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग करता है
- का उपयोग
- संस्करण
- देखें
- दृश्य
- करना चाहते हैं
- जरूरत है
- we
- वेब
- वेब सेवाओं
- सप्ताह
- कब
- मर्जी
- साथ में
- बिना
- काम
- काम कर रहे
- साल
- आप
- आपका
- जेफिरनेट