यह पोस्ट पायथन पैकेज और वर्चुअल वातावरण को प्रबंधित करने के तरीके पर विकल्पों और अनुशंसित प्रथाओं को प्रस्तुत करता है और उनकी तुलना करता है अमेज़ॅन सैजमेकर स्टूडियो नोटबुक। एक सार्वजनिक गीथहब रेपो प्रस्तुत दृष्टिकोणों में से प्रत्येक के लिए व्यावहारिक उदाहरण प्रदान करता है।
अमेज़ॅन सैजमेकर स्टूडियो मशीन लर्निंग (एमएल) के लिए एक वेब-आधारित, एकीकृत विकास वातावरण (आईडीई) है जो आपको अपने एमएल मॉडल बनाने, प्रशिक्षित करने, डिबग करने, तैनात करने और निगरानी करने देता है। स्टूडियो आपकी उत्पादकता को बढ़ाते हुए आपके मॉडल को डेटा तैयार करने से लेकर प्रयोग करने से लेकर उत्पादन तक ले जाने के लिए आवश्यक सभी उपकरण प्रदान करता है।
स्टूडियो नोटबुक सहयोगी ज्यूपिटर नोटबुक हैं जिन्हें आप जल्दी से लॉन्च कर सकते हैं क्योंकि आपको पहले से कंप्यूट इंस्टेंस और फाइल स्टोरेज सेट करने की आवश्यकता नहीं है। जब आप स्टूडियो में एक नोटबुक खोलते हैं, तो आपको SageMaker इमेज, एक कर्नेल, एक इंस्टेंस प्रकार, और, वैकल्पिक रूप से, एक जीवनचक्र कॉन्फ़िगरेशन स्क्रिप्ट चुनकर अपना वातावरण सेट करने के लिए कहा जाता है जो इमेज स्टार्टअप पर चलता है।
स्टूडियो नोटबुक अवधारणाओं और आर्किटेक्चर के अन्य पहलुओं पर अधिक विवरण के लिए देखें अमेज़ॅन सेजमेकर स्टूडियो नोटबुक आर्किटेक्चर में गहराई से गोता लगाएँ.
स्टूडियो नोटबुक आपके एमएल विकास के सभी चरणों में आपकी सहायता करने के लिए डिज़ाइन की गई हैं, उदाहरण के लिए, एमएल वर्कफ़्लो के विचार, प्रयोग और संचालन। स्टूडियो प्री-बिल्ट के साथ आता है छवियों जिसमें नवीनतम शामिल हैं अमेज़न SageMaker पायथन एसडीके और, छवि प्रकार के आधार पर, अन्य विशिष्ट पैकेज और संसाधन, जैसे स्पार्क, MXNet, या PyTorch फ्रेमवर्क लाइब्रेरी, और उनकी आवश्यक निर्भरताएँ। प्रत्येक छवि एक या एकाधिक को होस्ट कर सकती है कर्नेल, जो विकास के लिए विभिन्न आभासी वातावरण हो सकते हैं।
अपनी विकास प्रक्रिया और चरणों के लिए सर्वोत्तम फिट सुनिश्चित करने के लिए, विशिष्ट या नवीनतम एमएल ढांचे तक पहुंच, या डेटा पहुंच और शासन आवश्यकताओं को पूरा करने के लिए, आप पूर्व-निर्मित नोटबुक वातावरण को अनुकूलित कर सकते हैं या अपनी खुद की छवियों और गुठली का उपयोग करके नए वातावरण बना सकते हैं।
यह पोस्ट स्टूडियो नोटबुक्स में संकुल प्रबंधन और पायथन आभासी वातावरण बनाने के द्वारा स्टूडियो वातावरण को अनुकूलित करने के लिए निम्नलिखित दृष्टिकोणों पर विचार करता है:
- एक कस्टम स्टूडियो कर्नेलगेटवे ऐप छवि का उपयोग करें
- स्टूडियो नोटबुक जीवनचक्र कॉन्फ़िगरेशन का उपयोग करें
- स्टूडियो का प्रयोग करें अमेज़ॅन इलास्टिक फ़ाइल सिस्टम (Amazon EFS) वॉल्यूम कोंडा वातावरण को बनाए रखने के लिए
- उपयोग
pip install
स्टूडियो कर्नेल गेटवे ऐप्स और नोटबुक कर्नेल
की तुलना में स्टूडियो नोटबुक आर्किटेक्चर के मुख्य अंतरों में से एक है SageMaker नोटबुक उदाहरण यह है कि स्टूडियो नोटबुक गुठली एक डॉकटर कंटेनर में चलती है, जिसे कहा जाता है सेजमेकर छवि कंटेनरसीधे होस्ट करने के बजाय अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (Amazon EC2) उदाहरण, जो कि SageMaker नोटबुक उदाहरणों के मामले में है।
निम्नलिखित आरेख कर्नेलगेटवे, नोटबुक कर्नेल और सेजमेकर छवियों के बीच संबंधों को दर्शाता है। (अधिक जानकारी के लिए देखें अमेज़ॅन सेजमेकर स्टूडियो नोटबुक का उपयोग करें.)
इस अंतर के कारण, आप कैसे बनाते और प्रबंधित करते हैं, इसकी कुछ विशिष्टताएँ हैं स्टूडियो नोटबुक में आभासी वातावरण, उदाहरण के लिए कोंडा वातावरण का उपयोग या कर्नेल पुनरारंभ के बीच एमएल विकास वातावरण की दृढ़ता।
निम्नलिखित खंड चार पर्यावरण अनुकूलन दृष्टिकोणों में से प्रत्येक को विस्तार से समझाते हैं, व्यावहारिक उदाहरण प्रदान करते हैं, और प्रत्येक विकल्प के लिए उपयोग मामलों की अनुशंसा करते हैं।
.. पूर्वापेक्षाएँ
उदाहरणों के साथ आरंभ करने और अपने दम पर अनुकूलन दृष्टिकोणों को आजमाने के लिए, आपको एक सक्रिय SageMaker डोमेन और डोमेन में कम से कम एक उपयोगकर्ता प्रोफ़ाइल की आवश्यकता होगी। यदि आपके पास कोई डोमेन नहीं है, तो इसमें दिए गए निर्देशों का संदर्भ लें अमेज़न सेजमेकर डोमेन पर ऑनबोर्ड.
स्टूडियो कर्नेल गेटवे कस्टम ऐप छवियां
एक स्टूडियो कर्नेलगेटवे ऐप छवि एक डॉकर कंटेनर है जो स्टूडियो में ज्यूपिटर नोटबुक चलाने के लिए आवश्यक गुठली, भाषा पैकेज और अन्य निर्भरताओं की पहचान करता है। आप इन छवियों का उपयोग वातावरण बनाने के लिए करते हैं, जिस पर आप ज्यूपिटर नोटबुक चलाते हैं। स्टूडियो कई प्रदान करता है अंतर्निहित छवियां आपके उपयोग के लिए।
यदि आपको अलग-अलग कार्यक्षमता, विशिष्ट ढांचे या लाइब्रेरी पैकेज की आवश्यकता है, तो आप अपनी स्वयं की कस्टम छवियां (बीओओआई) स्टूडियो में ला सकते हैं।
आप ऐप इमेज और इमेज वर्जन बना सकते हैं, अपने डोमेन में इमेज वर्जन अटैच कर सकते हैं और ऐप को सभी डोमेन यूजर्स या खास यूजर प्रोफाइल के लिए उपलब्ध करा सकते हैं। आप सैजमेकर कंसोल के माध्यम से ऐप छवियों का प्रबंधन कर सकते हैं अजगर के लिए एडब्ल्यूएस एसडीके (बोटो3), और AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई)। कस्टम छवि को एक में संग्रहीत करने की आवश्यकता है अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़ॅन ईसीआर) रिपॉजिटरी।
इस दृष्टिकोण के मुख्य लाभ एक उच्च स्तर के संस्करण नियंत्रण और एक एमएल रनटाइम वातावरण की पुनरुत्पादन क्षमता और पुस्तकालय पैकेजों की तत्काल उपलब्धता है क्योंकि वे छवि में स्थापित हैं। आप कस्टम ऐप इमेज बनाने के लिए व्यापक परीक्षण, शासन, सुरक्षा गार्डराइल्स और सीआई/सीडी ऑटोमेशन लागू कर सकते हैं। विकास के वातावरण के स्नैपशॉट होने से आपके संगठन की सुरक्षा और सुरक्षा प्रथाओं को सुगम और लागू किया जा सकता है।
प्रदान किया गया नोटबुक कोंडा-आधारित वातावरणों के लिए एक ऐप छवि निर्माण प्रक्रिया लागू करता है। नोटबुक दर्शाती है कि आप बहु-पर्यावरण छवियां कैसे बना सकते हैं ताकि ऐप के उपयोगकर्ताओं के पास कर्नेल का चयन हो सके जिस पर वे अपनी नोटबुक चला सकें।
एक कस्टम ऐप छवि कॉन्फ़िगर करें
आपको इस नोटबुक को SageMaker नोटबुक इंस्टेंस के रूप में चलाना चाहिए ताकि स्थानीय रूप से डॉकर का उपयोग किया जा सके और नोटबुक में डॉकर कमांड चलाए जा सकें। वैकल्पिक रूप से नोटबुक इंस्टेंस या शेल स्क्रिप्ट का उपयोग करने के लिए, आप इसका उपयोग कर सकते हैं स्टूडियो इमेज बिल्ड सीएलआई स्टूडियो में डॉकर के साथ काम करने के लिए। स्टूडियो इमेज बिल्ड सीएलआई आपको उपयोग करके सीधे अपने स्टूडियो वातावरण से सैजमेकर-संगत डॉकर छवियां बनाने देता है एडब्ल्यूएस कोडबिल्ड.
यदि आपके पास SageMaker नोटबुक इंस्टेंस नहीं है, तो इसमें दिए गए निर्देशों का पालन करें एक अमेज़न SageMaker नोटबुक इंस्टेंस बनाएँ आरंभ करना।
आपको यह भी सुनिश्चित करना चाहिए कि आपके द्वारा नोटबुक इंस्टेंस के लिए उपयोग की जाने वाली निष्पादन भूमिका में Amazon ECR और SageMaker डोमेन संचालन के लिए आवश्यक अनुमतियाँ हैं:
दो कर्नेल के साथ एक कस्टम छवि बनाने के लिए, प्रत्येक अपने कोंडा आभासी वातावरण के साथ, नोटबुक निम्नलिखित चरणों को लागू करता है:
- कोंडा वातावरण को परिभाषित करें। Conda वातावरण में ज्यूपिटर कर्नेल पैकेज स्थापित होना चाहिए, उदाहरण के लिए,
ipykernel
पायथन कर्नेल के लिए। - डॉकरफाइल को परिभाषित करें। कस्टम सैजमेकर छवि पर विचार करें विनिर्देशों अपनी छवि बनाते समय।
- स्टूडियो के साथ संगत डॉकर छवि बनाएं और छवि को ईसीआर रिपॉजिटरी में धकेलें।
- बनाओ सेजमेकर इमेज ECR रिपॉजिटरी से डॉकर छवि के साथ और एक प्रारंभिक छवि संस्करण बनाएँ। हर बार जब आप अमेज़ॅन ईसीआर में छवि को अपडेट करते हैं, तो एक नया छवि संस्करण बनाया जाना चाहिए।
- इस छवि का उपयोग करने के लिए किसी मौजूदा SageMaker डोमेन को अपडेट करें। इस ऑपरेशन के लिए, निष्पादन भूमिका की आवश्यकता है
UpdateDomain
अनुमति। छवि तुरंत डोमेन के सभी उपयोगकर्ता प्रोफाइल के लिए उपलब्ध है। यदि आप छवि को केवल एक विशिष्ट उपयोगकर्ता प्रोफ़ाइल के लिए उपलब्ध कराना चाहते हैं, तो आप इसका उपयोग कर सकते हैंUpdateUserProfile
इसके बजाय एपीआई कॉल करेंUpdateDomain
. - लांच स्टूडियो में कस्टम छवि। एक नई नोटबुक प्रारंभ करें और छवि चयन ड्रॉप-डाउन मेनू पर नई छवि चुनें।
स्टूडियो स्वचालित रूप से आपकी छवि में कोंडा वातावरण को कर्नेल चयन ड्रॉप-डाउन मेनू में संबंधित कर्नेल के रूप में पहचानता है नोटबुक वातावरण सेट करें विजेट।
इनका संदर्भ लें नमूना नोटबुक अधिक उदाहरणों के लिए और कस्टम ऐप छवि कार्यान्वयन पर मामलों का उपयोग करें।
क्लीन अप
शुल्कों से बचने के लिए, आपको SageMaker नोटबुक के सक्रिय उदाहरणों को रोकना होगा। निर्देशों के लिए, देखें क्लीन अप.
एक स्वचालित छवि संलेखन प्रक्रिया लागू करें
जैसा कि पहले ही उल्लेख किया गया है, आप इसका उपयोग कर सकते हैं स्टूडियो इमेज बिल्ड सीएलआई कोडबिल्ड और के साथ ऐप छवि निर्माण और परिनियोजन की एक स्वचालित सीआई/सीडी प्रक्रिया को लागू करने के लिए एसएम-डोकर सीएलआई. यह डॉकर छवियों के निर्माण के लिए आवश्यक अंतर्निहित सेवाओं और वर्कफ़्लो को स्वचालित रूप से सेट करके आपके डॉकर बिल्ड वातावरण के सेटअप को सार करता है।
अनुशंसित उपयोग के मामले
स्टूडियो नोटबुक वातावरण का उपयोग करते समय कस्टम ऐप छवि दृष्टिकोण निम्नलिखित परिदृश्यों के लिए उपयुक्त है:
- उत्पादन या संवेदनशील विकास उपयोग के लिए स्थिर और नियंत्रित वातावरण
- इंटरनेट एक्सेस के बिना वातावरण, जहां आप छवि में सभी आवश्यक संसाधनों और पुस्तकालयों को प्री-पैकेज करना चाहते हैं
- उच्च पर्यावरण पुन: उपयोग अनुपात और वातावरण में परिवर्तन की कम दर
- उच्च स्तर के डेटा विज्ञान संचालन, दर्जनों या सैकड़ों डेवलपर्स या टीम जिन्हें मानकीकृत कस्टम वातावरण तक पहुंच की आवश्यकता होती है
- ऐसी लाइब्रेरियों का उपयोग करें जिन्हें SageMaker प्रथम-पक्ष छवियों पर कॉन्फ़िगर नहीं किया जा सकता है
- किसी भिन्न OS या भिन्न प्रोग्रामिंग भाषा के लिए कस्टम छवियों का उपयोग करने की आवश्यकताएँ
- स्वचालित सीआई/सीडी पाइपलाइनों का उपयोग करते हुए केंद्रीकृत शासन और पर्यावरण विकास
इस दृष्टिकोण की सीमाएं
इस दृष्टिकोण के लिए परीक्षण सहित एक बहु-चरण छवि निर्माण प्रक्रिया की आवश्यकता होती है, जो छोटे या बहुत गतिशील वातावरण के लिए अधिक हो सकती है। इसके अलावा, दृष्टिकोण की निम्नलिखित सीमाओं पर विचार करें:
- नए पैकेज जोड़ने या छवि के नए संस्करण बनाने के लिए अग्रिम प्रयास की आवश्यकता है। शमन के रूप में, आप मौजूदा कस्टम छवि को पाइप के साथ अनुकूलित कर सकते हैं, भले ही वह लगातार न हो।
- एक नई कस्टम छवि संलग्न करने या डोमेन में एक नया संस्करण जोड़ने के लिए आवश्यक है
UpdateDomain
अनुमति, जो आमतौर पर उपयोगकर्ता प्रोफ़ाइल निष्पादन भूमिका से जुड़ी नहीं होती है। हम इस ऑपरेशन को करने के लिए एक समर्पित निष्पादन भूमिका के साथ एक स्वचालित पाइपलाइन का उपयोग करने की सलाह देते हैं या एक समर्पित व्यवस्थापक उपयोगकर्ता या भूमिका के लिए डोमेन को अपडेट करने की अनुमति देते हैं। - छवि संलेखन के लिए एक उच्च मैन्युअल प्रयास शामिल है। यदि आप बार-बार कस्टम इमेज बनाते और अपडेट करते हैं, तो हम एक स्वचालित पाइपलाइन को लागू करने की सलाह देते हैं।
- यदि आप Conda परिवेशों का उपयोग करते हैं, तो आपको Docker वातावरण में इसके साथ समस्याएँ आ सकती हैं। उदाहरण के लिए देखें आपके डॉकरफाइल में कोंडा पर्यावरण को सक्रिय करना. हो सकता है कि सभी कोंडा कमांड नोटबुक वर्चुअल वातावरण में काम न करें। हालाँकि, यह स्टूडियो अनुकूलन दृष्टिकोण कोंडा-आधारित परिवेशों तक सीमित नहीं है।
- आप नोटबुक में Conda परिवेशों के बीच मैन्युअल रूप से स्विच नहीं कर सकते हैं; आपको नोटबुक वातावरण सेटअप विजेट में गुठली को स्विच करना होगा।
यह भी विचार करें कि डिफ़ॉल्ट हैं कोटा प्रति डोमेन 30 कस्टम छवियां और प्रति उपयोगकर्ता प्रोफ़ाइल 5 छवियां। ये सॉफ्ट लिमिट हैं और इन्हें बढ़ाया जा सकता है।
अगले खंड अधिक हल्के दृष्टिकोणों का वर्णन करते हैं जो अन्य उपयोग मामलों के लिए बेहतर हो सकते हैं।
स्टूडियो नोटबुक जीवनचक्र विन्यास
स्टूडियो जीवनचक्र विन्यास एक शेल स्क्रिप्ट को परिभाषित करें जो कर्नेल गेटवे एप्लिकेशन के प्रत्येक पुनरारंभ पर चलता है और आवश्यक पैकेजों को स्थापित कर सकता है। मुख्य लाभ यह है कि एक डेटा वैज्ञानिक नए पैकेज के साथ कंटेनर को अनुकूलित करने के लिए किस स्क्रिप्ट को चलाना चुन सकता है। इस विकल्प के लिए कंटेनर को फिर से बनाने की आवश्यकता नहीं होती है और ज्यादातर मामलों में कस्टम छवि की बिल्कुल भी आवश्यकता नहीं होती है क्योंकि आप इसे अनुकूलित कर सकते हैं पहले से बने हुए.
एक जीवनचक्र कॉन्फ़िगरेशन प्रक्रिया सेट करें
इस प्रक्रिया को पूरा होने में करीब 5 मिनट का समय लगता है। पोस्ट दर्शाता है कि कैसे SageMaker कंसोल के माध्यम से जीवनचक्र विन्यास का उपयोग करना है। प्रदान किया गया नोटबुक दिखाता है कि Boto3 का उपयोग करके समान प्रोग्रामेटिक रूप से कैसे लागू किया जाए।
- SageMaker कंसोल पर, चुनें जीवनचक्र विन्यास नेविगेशन फलक में
- पर स्टूडियो टैब चुनें कॉन्फ़िगरेशन बनाएँ.
जीवनचक्र कॉन्फ़िगरेशन बनाने का पहला चरण प्रकार का चयन करना है।
- हर बार ज्यूपिटर कर्नेल गेटवे ऐप बनने पर निर्भरताओं को स्थापित करने के इस उपयोग मामले के लिए, चुनें ज्यूपिटर कर्नेल गेटवे ऐप और चुनें अगला.
- के लिए नाम, कॉन्फ़िगरेशन के लिए एक नाम दर्ज करें।
- में लिपियों खंड, कर्नेल प्रारंभ होने पर चलने वाली स्क्रिप्ट को परिभाषित करें। इस उदाहरण के लिए, PyArrow लाइब्रेरी को निम्न स्क्रिप्ट के साथ स्थापित किया जाएगा:
- चुनें कॉन्फ़िगरेशन बनाएँ.
अब जबकि कॉन्फ़िगरेशन बना दिया गया है, इसे डोमेन या उपयोगकर्ता प्रोफ़ाइल से जोड़ने की आवश्यकता है। जब डोमेन से जुड़ा होता है, तो उस डोमेन में सभी उपयोगकर्ता प्रोफ़ाइल इसे इनहेरिट करती हैं, जबकि जब उपयोगकर्ता प्रोफ़ाइल से जुड़ा होता है, तो यह उस विशिष्ट प्रोफ़ाइल के दायरे में होता है। इस पूर्वाभ्यास के लिए, हम स्टूडियो डोमेन मार्ग का उपयोग करते हैं।
- चुनें डोमेन नेविगेशन फलक में और अपना मौजूदा डोमेन खोलें।
- पर वातावरण टैब में व्यक्तिगत स्टूडियो ऐप्स के लिए जीवनचक्र विन्यास अनुभाग चुनते हैं, जोड़ना.
- के लिए स्रोत, चुनते हैं मौजूदा विन्यास.
- आपके द्वारा बनाए गए जीवनचक्र विन्यास का चयन करें और चुनें डोमेन से अटैच करें.
अब जब सभी कॉन्फ़िगरेशन हो गए हैं, तो स्टूडियो के भीतर स्क्रिप्ट का परीक्षण करने का समय आ गया है।
- स्टूडियो लॉन्च करें और पर लांचर टैब, पता लगाएँ नोटबुक और कंप्यूट संसाधन अनुभाग, और चुनें पर्यावरण बदलें आपके द्वारा बनाए गए जीवनचक्र विन्यास का चयन करने के लिए।
- के लिए स्टार्ट-अप स्क्रिप्ट, आपके द्वारा बनाए गए जीवनचक्र कॉन्फ़िगरेशन को चुनें, फिर चुनें चुनते हैं.
- चुनें नोटबुक बनाएं.
आप डिफ़ॉल्ट रूप से चलाने के लिए जीवनचक्र कॉन्फ़िगरेशन भी सेट कर सकते हैं व्यक्तिगत स्टूडियो ऐप्स के लिए जीवनचक्र विन्यास के खंड डोमेन इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
नई नोटबुक में, स्टार्टअप स्क्रिप्ट में स्थापित निर्भरताएँ उपलब्ध होंगी।
अनुशंसित उपयोग के मामले
यह दृष्टिकोण हल्का है, लेकिन शक्तिशाली भी है क्योंकि यह आपको शेल स्क्रिप्ट के माध्यम से अपने नोटबुक वातावरण के सेटअप को नियंत्रित करने की अनुमति देता है। उपयोग के मामले जो इस दृष्टिकोण के लिए सबसे उपयुक्त हैं, वे निम्नलिखित हैं:
- नोटबुक जीवनचक्र विन्यास में पैकेज स्थापनाओं को एकीकृत करना जो प्रत्येक कर्नेल प्रारंभ पर चलना चाहिए।
- इंटरनेट एक्सेस के बिना वातावरण। स्थानीय या सुरक्षा विरूपण साक्ष्य और पैकेज रिपॉजिटरी तक पहुँचने के लिए एक वातावरण स्थापित करने के लिए जीवनचक्र विन्यास का उपयोग करें, जैसे एडब्ल्यूएस कोडएक्टिवेशन.
- यदि आप पहले से ही जीवनचक्र कॉन्फ़िगरेशन का उपयोग करते हैं, तो आप उन्हें पैकेज इंस्टॉल शामिल करने के लिए बढ़ा सकते हैं।
- अंतर्निहित या कस्टम ऐप छवियों के शीर्ष पर कुछ अतिरिक्त पैकेजों की स्थापना।
- जब आपको कस्टम ऐप छवियों की तुलना में बाज़ार के लिए कम समय की आवश्यकता होती है।
इस दृष्टिकोण की सीमाएं
मुख्य सीमाएँ बड़े पैमाने पर जीवनचक्र विन्यास स्क्रिप्ट को प्रबंधित करने और पैकेजों की धीमी स्थापना के लिए एक उच्च प्रयास हैं। कितने पैकेज स्थापित हैं और वे कितने बड़े हैं, इस पर निर्भर करते हुए, जीवनचक्र स्क्रिप्ट का समय समाप्त भी हो सकता है। उपयोगकर्ता प्रोफ़ाइल निष्पादन भूमिका की अनुमतियों के कारण, डेटा वैज्ञानिकों या एमएल इंजीनियरों जैसे उपयोगकर्ताओं द्वारा तदर्थ स्क्रिप्ट अनुकूलन के लिए सीमित विकल्प भी हैं।
का संदर्भ लें SageMaker स्टूडियो जीवनचक्र विन्यास नमूने अधिक नमूने और उपयोग के मामलों के लिए।
Conda वातावरण को स्टूडियो EFS वॉल्यूम पर बनाए रखें
SageMaker डोमेन और स्टूडियो एक सतत भंडारण परत के रूप में EFS वॉल्यूम का उपयोग करते हैं। आप अपने Conda वातावरण को इस EFS वॉल्यूम पर सहेज सकते हैं। ये वातावरण कर्नेल, ऐप या स्टूडियो पुनरारंभ के बीच लगातार बने रहते हैं। स्टूडियो स्वचालित रूप से सभी वातावरणों को कर्नेलगेटवे गुठली के रूप में चुनता है।
डेटा वैज्ञानिक के लिए यह एक सीधी प्रक्रिया है, लेकिन पर्यावरण को चयन योग्य गुठली की सूची में प्रकट होने में 1 मिनट की देरी होती है। कर्नेल गेटवे ऐप के लिए वातावरण का उपयोग करने में समस्याएँ भी हो सकती हैं जिनकी अलग-अलग गणना आवश्यकताएँ हैं, उदाहरण के लिए GPU-आधारित ऐप पर CPU-आधारित वातावरण।
का संदर्भ लें सेजमेकर स्टूडियो पर कस्टम कोंडा वातावरण विस्तृत निर्देशों के लिए। पोस्ट के गिटहब रेपो में एक भी शामिल है नोटबुक चरण-दर-चरण मार्गदर्शिका के साथ।
स्टूडियो ईएफएस वॉल्यूम पर लगातार कॉन्डा वातावरण बनाएं
इस पूर्वाभ्यास में लगभग 10 मिनट लगने चाहिए।
- स्टूडियो पर, चुनें होम नेविगेशन फलक में
- चुनें लॉन्चर खोलें.
- लॉन्चर के भीतर, का पता लगाएं नोटबुक और कंप्यूट संसाधन अनुभाग।
- जांचें कि चुनी गई SageMaker छवि एक Conda-समर्थित प्रथम-पक्ष कर्नेल छवि है जैसे "डेटा साइंस।"
- चुनें इमेज टर्मिनल खोलें एक नए कर्नेल के साथ एक टर्मिनल विंडो खोलने के लिए।
एक संदेश "छवि टर्मिनल शुरू कर रहा है ..." प्रदर्शित करता है और कुछ क्षणों के बाद, नया टर्मिनल एक नए टैब में खुल जाएगा।
- टर्मिनल के भीतर, निम्नलिखित कमांड चलाएँ:
इन आदेशों को चलने में लगभग 3 मिनट का समय लगेगा और Conda वातावरण को संग्रहीत करने के लिए EFS वॉल्यूम पर एक निर्देशिका बनाएगा, नया Conda वातावरण बनाएगा और इसे सक्रिय करेगा, स्थापित करेगा ipykernel
निर्भरताएँ (इस निर्भरता के बिना यह समाधान काम नहीं करेगा), और अंत में एक कोंडा कॉन्फ़िगरेशन फ़ाइल बनाएँ (.condarc
), जिसमें नई कोंडा पर्यावरण निर्देशिका का संदर्भ शामिल है। क्योंकि यह एक नया कोंडा वातावरण है, कोई अतिरिक्त निर्भरताएँ स्थापित नहीं हैं। अन्य निर्भरताओं को स्थापित करने के लिए, आप संशोधित कर सकते हैं conda install
लाइन या कोंडा पर्यावरण के अंदर किसी भी अतिरिक्त निर्भरताओं को समाप्त करने और स्थापित करने के लिए निम्न आदेशों की प्रतीक्षा करें।
- इस उदाहरण के लिए, हम टर्मिनल विंडो में निम्न आदेश चलाकर NumPy लाइब्रेरी स्थापित करते हैं:
अब जब Conda वातावरण बन गया है और निर्भरताएँ स्थापित हो गई हैं, तो आप एक नोटबुक बना सकते हैं जो Amazon EFS पर बने इस Conda वातावरण का उपयोग करती है।
- स्टूडियो लॉन्चर पर, चुनें नोटबुक बनाएं.
- नई नोटबुक से, "पायथन 3 (डेटा साइंस)" कर्नेल चुनें।
- के लिए गुठली, नव निर्मित कोंडा परिवेश चुनें, फिर चुनें चुनते हैं.
यदि शुरुआत में नए कोंडा परिवेश के लिए कोई विकल्प नहीं है, तो ऐसा इसलिए हो सकता है क्योंकि इसके प्रसार में कुछ मिनट लगते हैं।
नोटबुक के भीतर वापस, ऊपरी दाएँ हाथ के कोने में कर्नेल नाम बदल गया होगा, और एक सेल के भीतर आप परीक्षण कर सकते हैं कि स्थापित निर्भरताएँ उपलब्ध हैं।
अनुशंसित उपयोग के मामले
इस दृष्टिकोण के लिए निम्नलिखित उपयोग के मामले सबसे उपयुक्त हैं:
- इंटरनेट एक्सेस के बिना वातावरण, सभी निर्भरताओं के साथ निरंतर कोंडा वातावरण में पूर्व-स्थापित
- तदर्थ वातावरण जिन्हें कर्नेल सत्रों के बीच दृढ़ता की आवश्यकता होती है
- डॉकर छवि बनाने और अमेज़ॅन ईसीआर को आगे बढ़ाने से पहले स्टूडियो में कस्टम सैजमेकर छवियों का परीक्षण
इस दृष्टिकोण की सीमाएं
हालांकि इस दृष्टिकोण के व्यावहारिक उपयोग हैं, निम्नलिखित सीमाओं पर विचार करें:
- कई छोटी फाइलों पर अमेज़ॅन ईएफएस के साथ प्रदर्शन के मुद्दे हो सकते हैं, जो कि पायथन पैकेजों का प्रबंधन करते समय बहुत आम है।
- स्टूडियो उपयोगकर्ता प्रोफाइल के बीच लगातार वातावरण साझा करना चुनौतीपूर्ण हो सकता है।
- लगातार परिवेशों का पुन: उपयोग करना चुनौतीपूर्ण हो सकता है।
- बड़े पैमाने पर प्रबंधन को संबोधित करना चुनौतीपूर्ण हो सकता है।
- दृष्टिकोण केवल विशिष्ट कोंडा-आधारित प्रथम-पक्ष सैजमेकर छवियों के साथ काम करता है, उदाहरण के लिए "डेटा साइंस," "डेटा साइंस 2.0," और "डेटा साइंस 3.0।" सभी उपलब्ध छवियों की सूची के लिए, देखें उपलब्ध अमेज़ॅन सैजमेकर छवियां.
पिप स्थापित
आप संकुल को सीधे डिफ़ॉल्ट कोंडा वातावरण या डिफ़ॉल्ट पायथन वातावरण में स्थापित कर सकते हैं।
बनाओ setup.py
or requirements.txt
सभी आवश्यक निर्भरताओं के साथ फाइल करें और चलाएं %pip install .-r requirement.txt
. हर बार जब आप कर्नेल को पुनरारंभ करते हैं या ऐप को फिर से बनाते हैं तो आपको यह आदेश चलाना होगा।
तदर्थ प्रयोग के लिए इस दृष्टिकोण की अनुशंसा की जाती है क्योंकि ये वातावरण स्थायी नहीं होते हैं।
उपयोग करने के बारे में अधिक जानकारी के लिए pip install
आदेश और सीमाएं, देखें अमेज़ॅन सेजमेकर स्टूडियो में बाहरी पुस्तकालय और कर्नेल स्थापित करें.
अनुशंसित उपयोग के मामले
यह दृष्टिकोण आपके नोटबुक वातावरण को अनुकूलित करने के लिए पैकेजों को स्थापित करने का एक मानक तरीका है। अनुशंसित उपयोग के मामले नोटबुक में तदर्थ प्रयोग के लिए गैर-उत्पादन उपयोग तक सीमित हैं:
- स्टूडियो नोटबुक में तदर्थ प्रयोग
- गैर-उत्पादक और गैर-संवेदनशील वातावरण, सैंडबॉक्स वातावरण
- इंटरनेट एक्सेस के साथ वातावरण
इस दृष्टिकोण की सीमाएं
इस दृष्टिकोण की मुख्य सीमाएँ हैं:
- कुछ उद्यम वातावरण सभी निकास और प्रवेश इंटरनेट कनेक्शन को अवरुद्ध करते हैं और आप उपयोग नहीं कर सकते
pip install
पायथन पैकेज को खींचने के लिए या ऑफ़लाइन मोड को कॉन्फ़िगर करने की आवश्यकता है - पर्यावरण की कम प्रजनन क्षमता
- संकुल डाउनलोड और स्थापित होने तक प्रतीक्षा करने की आवश्यकता है
- छवि के पुनरारंभ होने के बीच कोई दृढ़ता नहीं
निष्कर्ष
सेजमेकर स्टूडियो विकास परिवेशों के संभावित अनुकूलन की एक विस्तृत श्रृंखला प्रदान करता है। प्रत्येक उपयोगकर्ता भूमिका जैसे डेटा वैज्ञानिक; एक ML, MLOps, या DevOps इंजीनियर; और एक प्रशासक अपनी आवश्यकताओं, विकास चक्र में स्थान और उद्यम सुरक्षा के आधार पर सबसे उपयुक्त दृष्टिकोण चुन सकता है।
निम्न तालिका प्रस्तुत दृष्टिकोणों को उनके पसंदीदा उपयोग के मामलों और मुख्य सीमाओं के साथ सारांशित करती है।
दृष्टिकोण | हठ | सर्वश्रेष्ठ फ़िट उपयोग मामले | सीमाओं |
अपनी खुद की छवि लाओ | उपयोगकर्ता प्रोफाइल और डोमेन के बीच स्थायी, हस्तांतरणीय |
|
|
जीवनचक्र विन्यास | उपयोगकर्ता प्रोफाइल और डोमेन के बीच स्थायी, हस्तांतरणीय |
|
|
स्टूडियो ईएफएस वॉल्यूम पर कोंडा वातावरण | स्थायी, उपयोगकर्ता प्रोफाइल या डोमेन के बीच हस्तांतरणीय नहीं |
|
|
पिप स्थापित | क्षणिक, छवि या स्टूडियो के बीच कोई दृढ़ता फिर से शुरू नहीं होती है, उपयोगकर्ता प्रोफ़ाइल या डोमेन के बीच हस्तांतरणीय नहीं है |
|
|
यह अभी भी पहला दिन है। वास्तविक दुनिया का आभासी वातावरण और पायथन प्रबंधन इन चार दृष्टिकोणों की तुलना में कहीं अधिक जटिल है, लेकिन यह पोस्ट आपको अपने स्वयं के उपयोग के मामले को विकसित करने के लिए पहले चरणों में मदद करती है।
आप निम्नलिखित संसाधनों में अधिक उपयोग के मामले, विवरण और व्यावहारिक उदाहरण पा सकते हैं:
लेखक के बारे में
येवगेनी इलिन Amazon Web Services (AWS) में एक समाधान वास्तुकार है। उनके पास सॉफ़्टवेयर विकास और समाधान आर्किटेक्चर के सभी स्तरों पर काम करने का 20 से अधिक वर्षों का अनुभव है और उन्होंने COBOL और असेंबलर से लेकर .NET, Java और Python तक की प्रोग्रामिंग भाषाओं का उपयोग किया है। वह बड़े डेटा, एनालिटिक्स और डेटा इंजीनियरिंग पर ध्यान देने के साथ क्लाउड नेटिव सॉल्यूशंस विकसित और कोड करता है।
एलेक्स ग्रेस Amazon Web Services (AWS) में एक समाधान वास्तुकार है, जो फिनटेक डिजिटल नेटिव व्यवसायों की देखरेख करता है। लंदन में स्थित, एलेक्स यूके के कुछ प्रमुख फिनटेक के साथ काम करता है और व्यावसायिक समस्याओं को हल करने और भविष्य के विकास को बढ़ावा देने के लिए AWS के उनके उपयोग का समर्थन करता है। इससे पहले, एलेक्स ने लंदन में फिनटेक स्टार्टअप्स में एक सॉफ्टवेयर डेवलपर और टेक लीड के रूप में काम किया है और हाल ही में AWS के मशीन लर्निंग सॉल्यूशंस में विशेषज्ञता हासिल की है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/four-approaches-to-manage-python-packages-in-amazon-sagemaker-studio-notebooks/
- :है
- $यूपी
- 1
- 10
- 100
- 11
- 20 साल
- 7
- 8
- a
- About
- एब्सट्रैक्ट
- पहुँच
- लेखा
- कार्य
- सक्रिय
- Ad
- अतिरिक्त
- पता
- व्यवस्थापक
- बाद
- एलेक्स
- सब
- की अनुमति देता है
- पहले ही
- वीरांगना
- अमेज़ॅन EC2
- अमेज़न SageMaker
- अमेज़ॅन सैजमेकर स्टूडियो
- अमेज़ॅन वेब सेवा
- अमेज़ॅन वेब सेवा (एडब्ल्यूएस)
- विश्लेषिकी
- और
- एपीआई
- अनुप्रयोग
- दिखाई देते हैं
- आवेदन
- दृष्टिकोण
- दृष्टिकोण
- क्षुधा
- स्थापत्य
- हैं
- चारों ओर
- AS
- पहलुओं
- At
- संलग्न करना
- संलेखन
- स्वचालित
- स्वतः
- स्वचालन
- उपलब्धता
- उपलब्ध
- एडब्ल्यूएस
- आधारित
- BE
- क्योंकि
- से पहले
- लाभ
- लाभ
- BEST
- बेहतर
- के बीच
- बड़ा
- बड़ा डेटा
- खंड
- बढ़ाने
- लाना
- विस्तृत
- निर्माण
- इमारत
- में निर्मित
- व्यापार
- व्यवसायों
- by
- कॉल
- बुलाया
- कर सकते हैं
- मामला
- मामलों
- चुनौतियों
- चुनौतीपूर्ण
- परिवर्तन
- प्रभार
- चुनें
- चुनने
- बादल
- कोबोल
- सहयोगी
- सामान्य
- तुलना
- संगत
- पूरा
- जटिल
- व्यापक
- गणना करना
- अवधारणाओं
- विन्यास
- कनेक्शन
- विचार करना
- समझता है
- कंसोल
- कंटेनर
- शामिल हैं
- नियंत्रण
- नियंत्रित
- नियंत्रण
- कोना
- इसी
- सका
- बनाना
- बनाया
- बनाना
- निर्माण
- रिवाज
- अनुकूलन
- अनुकूलित
- चक्र
- तिथि
- डेटा प्राप्त करना
- डेटा तैयारी
- डेटा विज्ञान
- आँकड़े वाला वैज्ञानिक
- दिन
- समर्पित
- गहरा
- चूक
- देरी
- दर्शाता
- निर्भरता
- निर्भर करता है
- तैनात
- तैनाती
- वर्णन
- बनाया गया
- विस्तार
- विस्तृत
- विवरण
- डेवलपर
- डेवलपर्स
- विकासशील
- विकास
- विकसित
- अंतर
- मतभेद
- विभिन्न
- डिजिटल
- सीधे
- प्रदर्शित करता है
- डाक में काम करनेवाला मज़दूर
- नहीं करता है
- डोमेन
- डोमेन
- dont
- डाउनलोड
- दर्जनों
- गतिशील
- से प्रत्येक
- प्रभाव
- प्रयास
- इंजीनियर
- अभियांत्रिकी
- इंजीनियर्स
- सुनिश्चित
- दर्ज
- उद्यम
- वातावरण
- वातावरण
- और भी
- प्रत्येक
- उदाहरण
- उदाहरण
- निष्पादन
- मौजूदा
- अनुभव
- समझाना
- विस्तार
- बाहरी
- की सुविधा
- कुछ
- पट्टिका
- फ़ाइलें
- अंत में
- खोज
- खत्म
- फींटेच
- फिनटेक स्टार्टअप्स
- fintechs
- प्रथम
- पहला चरण
- फिट
- फोकस
- का पालन करें
- निम्नलिखित
- के लिए
- ढांचा
- चौखटे
- अक्सर
- से
- ईंधन
- कार्यक्षमता
- और भी
- भविष्य
- भविष्य की वृद्धि
- प्रवेश द्वार
- मिल
- GitHub
- देना
- सुनहरा
- अच्छा
- शासन
- विकास
- गाइड
- हाथों पर
- है
- होने
- मदद करता है
- हाई
- मेजबान
- मेजबानी
- कैसे
- How To
- तथापि
- एचटीएमएल
- http
- HTTPS
- सैकड़ों
- पहचानती
- की छवि
- छवियों
- तत्काल
- तुरंत
- लागू करने के
- कार्यान्वयन
- कार्यान्वयन
- औजार
- आयात
- in
- शामिल
- सहित
- वृद्धि हुई
- करें-
- प्रारंभिक
- स्थापित
- installed
- स्थापित कर रहा है
- उदाहरण
- बजाय
- निर्देश
- एकीकृत
- इंटरनेट
- इंटरनेट एक्सेस
- शामिल
- मुद्दों
- IT
- जावा
- जेपीजी
- भाषा
- भाषाऐं
- बड़ा
- ताज़ा
- लांच
- परत
- नेतृत्व
- प्रमुख
- सीख रहा हूँ
- चलें
- स्तर
- स्तर
- पुस्तकालयों
- पुस्तकालय
- जीवन चक्र
- हल्के
- सीमा
- सीमाओं
- सीमित
- सीमाएं
- लाइन
- सूची
- स्थानीय
- स्थानीय स्तर पर
- लंडन
- लंबा
- लग रहा है
- निम्न
- मशीन
- यंत्र अधिगम
- मुख्य
- बनाना
- प्रबंधन
- कामयाब
- प्रबंध
- प्रबंध
- गाइड
- मैन्युअल
- बहुत
- बाजार
- उल्लेख किया
- मेन्यू
- message
- हो सकता है
- मिनटों
- शमन
- ML
- एमएलओपीएस
- मॉडल
- संशोधित
- लम्हें
- मॉनिटर
- अधिक
- अधिकांश
- विभिन्न
- नाम
- देशी
- पथ प्रदर्शन
- आवश्यक
- आवश्यकता
- की जरूरत है
- जाल
- नया
- अगला
- सामान्य रूप से
- नोटबुक
- numpy
- of
- ऑफर
- ऑफ़लाइन
- on
- ONE
- खुला
- आपरेशन
- संचालन
- विकल्प
- ऑप्शंस
- OS
- अन्य
- अपना
- पैकेज
- संकुल
- पृष्ठ
- फलक
- पैरामीटर
- निष्पादन
- प्रदर्शन
- अनुमति
- अनुमतियाँ
- हठ
- स्टाफ़
- की पसंद
- पाइपलाइन
- जगह
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- संभव
- पद
- शक्तिशाली
- व्यावहारिक
- प्रथाओं
- वरीय
- प्रस्तुत
- प्रस्तुत
- पहले से
- समस्याओं
- प्रक्रिया
- प्रसंस्करण
- उत्पादन
- उत्पादन
- उत्पादकता
- प्रोफाइल
- प्रोफाइल
- प्रोग्रामिंग
- प्रोग्रामिंग की भाषाएँ
- प्रदान करना
- बशर्ते
- प्रदान करता है
- सार्वजनिक
- धक्का
- धक्का
- अजगर
- pytorch
- जल्दी से
- रेंज
- मूल्यांकन करें
- बल्कि
- अनुपात
- असली दुनिया
- हाल ही में
- पहचानता
- की सिफारिश
- की सिफारिश की
- संबंधों
- कोष
- की आवश्यकता होती है
- अपेक्षित
- आवश्यकता
- आवश्यकताएँ
- की आवश्यकता होती है
- संसाधन
- उपयुक्त संसाधन चुनें
- भूमिका
- मार्ग
- रन
- दौड़ना
- sagemaker
- वही
- सैंडबॉक्स
- सहेजें
- स्केल
- परिदृश्यों
- विज्ञान
- वैज्ञानिक
- वैज्ञानिकों
- लिपियों
- एसडीके
- अनुभाग
- वर्गों
- सुरक्षा
- चयनित
- चयन
- संवेदनशील
- सेवाएँ
- सेट
- की स्थापना
- व्यवस्था
- Share
- खोल
- चाहिए
- दिखाता है
- एक
- धीमा
- छोटा
- छोटे
- So
- नरम
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- समाधान
- समाधान ढूंढे
- हल
- कुछ
- स्पार्क
- विशेषज्ञता
- विशिष्ट
- स्थिर
- मानक
- प्रारंभ
- शुरू
- शुरू होता है
- स्टार्टअप
- स्टार्टअप
- कथन
- कदम
- कदम
- फिर भी
- रुकें
- भंडारण
- की दुकान
- संग्रहित
- सरल
- स्टूडियो
- ऐसा
- उपयुक्त
- समर्थन
- सहायक
- स्विच
- तालिका
- लेना
- लेता है
- टीमों
- तकनीक
- अंतिम
- परीक्षण
- परीक्षण
- कि
- RSI
- लेकिन हाल ही
- उन
- इन
- पहर
- सेवा मेरे
- उपकरण
- ऊपर का
- रेलगाड़ी
- प्रशिक्षण
- आधारभूत
- अपडेट
- प्रयोग
- उपयोग
- उदाहरण
- उपयोगकर्ता
- उपयोगकर्ताओं
- संस्करण
- के माध्यम से
- वास्तविक
- आयतन
- प्रतीक्षा
- walkthrough
- मार्ग..
- वेब
- वेब सेवाओं
- वेब आधारित
- कौन कौन से
- जब
- कौन
- मर्जी
- साथ में
- अंदर
- बिना
- काम
- काम किया
- काम कर रहे
- कार्य
- साल
- आप
- आपका
- जेफिरनेट