रीयल-टाइम सहयोग के लिए SageMaker Studio में साझा स्थानों का उपयोग करके मशीन लर्निंग विकास को व्यवस्थित करें

अमेज़ॅन सैजमेकर स्टूडियो मशीन लर्निंग (एमएल) के लिए पहला पूर्ण एकीकृत विकास वातावरण (आईडीई) है। यह एक एकल, वेब-आधारित दृश्य इंटरफ़ेस प्रदान करता है जहां आप डेटा तैयार करने और निर्माण, प्रशिक्षण और मॉडल की तैनाती सहित सभी एमएल विकास चरणों को पूरा कर सकते हैं।

एक के भीतर अमेज़ॅन सेजमेकर डोमेन, उपयोगकर्ता एक व्यक्तिगत अमेज़ॅन सेजमेकर स्टूडियो आईडीई एप्लिकेशन का प्रावधान कर सकते हैं, जो अमेज़ॅन की जांच करने के लिए अंतर्निहित एकीकरण के साथ एक मुफ्त ज्यूपिटर सर्वर चलाता है। SageMaker प्रयोग, आर्केस्ट्रा अमेज़न SageMaker पाइपलाइन, और भी बहुत कुछ। उपयोगकर्ता केवल अपने नोटबुक कर्नेल पर लचीली गणना के लिए भुगतान करते हैं। ये व्यक्तिगत एप्लिकेशन स्वचालित रूप से संबंधित उपयोगकर्ता के निजी को माउंट करते हैं अमेज़ॅन इलास्टिक फ़ाइल सिस्टम (अमेज़ॅन ईएफएस) होम निर्देशिका ताकि वे कोड, डेटा और अन्य फ़ाइलों को अन्य उपयोगकर्ताओं से अलग रख सकें। अमेज़ॅन सेजमेकर स्टूडियो पहले से ही निजी अनुप्रयोगों के बीच नोटबुक साझा करने का समर्थन करता है, लेकिन अतुल्यकालिक तंत्र पुनरावृत्ति प्रक्रिया को धीमा कर सकता है।

अब उसके पास Amazon SageMaker Studio में साझा स्थान, उपयोगकर्ता एक साझा आईडीई एप्लिकेशन बनाकर सहयोगी एमएल प्रयासों और पहलों को व्यवस्थित कर सकते हैं, जिसका उपयोग उपयोगकर्ता अपने स्वयं के अमेज़ॅन सेजमेकर उपयोगकर्ता प्रोफ़ाइल के साथ करते हैं। साझा स्थान में सहयोग करने वाले डेटा कार्यकर्ताओं को अमेज़ॅन सेजमेकर स्टूडियो वातावरण तक पहुंच मिलती है जहां वे वास्तविक समय में अपनी नोटबुक तक पहुंच सकते हैं, पढ़ सकते हैं, संपादित कर सकते हैं और साझा कर सकते हैं, जो उन्हें नए विचारों पर अपने साथियों के साथ पुनरावृत्ति शुरू करने का सबसे तेज़ रास्ता देता है। डेटा कार्यकर्ता वास्तविक समय सहयोग क्षमताओं का उपयोग करके एक ही नोटबुक पर समवर्ती रूप से सहयोग भी कर सकते हैं। नोटबुक प्रत्येक सह-संपादन उपयोगकर्ता को एक अलग कर्सर के साथ इंगित करता है जो उनके संबंधित उपयोगकर्ता प्रोफ़ाइल नाम को दिखाता है।

सेजमेकर स्टूडियो में साझा स्थान स्वचालित रूप से संसाधनों को टैग करते हैं, जैसे कि प्रशिक्षण कार्य, प्रसंस्करण कार्य, प्रयोग, पाइपलाइन और मॉडल रजिस्ट्री प्रविष्टियाँ, जो कार्यक्षेत्र के दायरे में बनाई गई हैं। sagemaker:space-arn. स्पेस उन संसाधनों को अमेज़ॅन सेजमेकर स्टूडियो यूजर इंटरफेस (यूआई) के भीतर फ़िल्टर करता है ताकि उपयोगकर्ताओं को केवल सेजमेकर प्रयोग, पाइपलाइन और अन्य संसाधन प्रस्तुत किए जा सकें जो उनके एमएल प्रयास के लिए प्रासंगिक हैं।

समाधान अवलोकन

चूंकि साझा स्थान स्वचालित रूप से संसाधनों को टैग करते हैं, प्रशासक आसानी से एमएल प्रयास से जुड़ी लागतों की निगरानी कर सकते हैं और जैसे टूल का उपयोग करके बजट की योजना बना सकते हैं एडब्ल्यूएस बजट और AWS लागत एक्सप्लोरर. एक प्रशासक के रूप में आपको केवल एक संलग्न करना होगा लागत आवंटन टैग एसटी sagemaker:space-arn.

एक बार यह पूरा हो जाने पर, आप यह पहचानने के लिए AWS कॉस्ट एक्सप्लोरर का उपयोग कर सकते हैं कि आपके संगठन में व्यक्तिगत एमएल प्रोजेक्ट्स की कितनी लागत आ रही है।

अमेज़ॅन सेजमेकर स्टूडियो में साझा स्थानों के साथ शुरुआत करें

इस अनुभाग में, हम अमेज़ॅन सेजमेकर स्टूडियो में साझा स्थान बनाने और उपयोग करने के लिए विशिष्ट वर्कफ़्लो का विश्लेषण करेंगे।

Amazon SageMaker Studio में एक साझा स्थान बनाएं

आप Amazon SageMaker कंसोल या का उपयोग कर सकते हैं AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) मौजूदा डोमेन में रिक्त स्थान के लिए समर्थन जोड़ने के लिए। नवीनतम जानकारी के लिए कृपया जाँच करें एक साझा स्थान बनाएँ. साझा स्थान केवल JupyterLab 3 SageMaker स्टूडियो छवि के साथ और AWS आइडेंटिटी एंड एक्सेस मैनेजमेंट (AWS IAM) प्रमाणीकरण का उपयोग करके SageMaker डोमेन के लिए काम करते हैं।

कंसोल निर्माण

निर्दिष्ट अमेज़ॅन सेजमेकर डोमेन के भीतर एक स्थान बनाने के लिए, आपको पहले एक निर्दिष्ट स्थान डिफ़ॉल्ट निष्पादन भूमिका निर्धारित करने की आवश्यकता होगी। से डोमेन विवरण पृष्ठ, का चयन करें डोमेन सेटिंग्स टैब और चयन करें संपादित करें. फिर आप एक स्पेस डिफॉल्ट निष्पादन भूमिका निर्धारित कर सकते हैं, जिसे प्रति डोमेन केवल एक बार पूरा करने की आवश्यकता है, जैसा कि निम्नलिखित चित्र में दिखाया गया है:

इसके बाद, आप जा सकते हैं अंतरिक्ष प्रबंधन अपने डोमेन में टैब करें और चुनें बनाएं बटन, जैसा कि निम्नलिखित चित्र में दिखाया गया है:

एडब्ल्यूएस सीएलआई निर्माण

आप AWS CLI से एक डिफ़ॉल्ट डोमेन स्पेस निष्पादन भूमिका भी सेट कर सकते हैं। अपने क्षेत्र की JupyterLab3 छवि ARN निर्धारित करने के लिए, जाँच करें डिफ़ॉल्ट JupyterLab संस्करण सेट करना.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

एक बार यह आपके डोमेन के लिए पूरा हो जाए, तो आप सीएलआई से एक साझा स्थान बना सकते हैं।

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

अमेज़ॅन सेजमेकर स्टूडियो में एक साझा स्थान लॉन्च करें

उपयोगकर्ता चयन करके साझा स्थान लॉन्च कर सकते हैं लांच उनके Amazon SageMaker डोमेन के लिए AWS कंसोल के भीतर उनके उपयोगकर्ता प्रोफ़ाइल के आगे बटन।

चयन करने के बाद Spaces सहयोगात्मक अनुभाग के अंतर्गत, फिर लॉन्च करने के लिए कौन सा स्पेस चुनें:

वैकल्पिक रूप से, उपयोगकर्ता AWS CLI के माध्यम से एक स्थान लॉन्च करने के लिए पूर्व-हस्ताक्षरित URL उत्पन्न कर सकते हैं:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

वास्तविक समय सहयोग

एक बार अमेज़ॅन सेजमेकर स्टूडियो साझा स्पेस आईडीई लोड हो जाने के बाद, उपयोगकर्ता इसका चयन कर सकते हैं सहयोगियों यह देखने के लिए बाएं पैनल पर टैब करें कि कौन से उपयोगकर्ता आपके स्थान पर और किस नोटबुक पर सक्रिय रूप से काम कर रहे हैं। यदि एक से अधिक व्यक्ति एक ही नोटबुक पर काम कर रहे हैं, तो आपको दूसरे उपयोगकर्ता के प्रोफ़ाइल नाम के साथ एक कर्सर दिखाई देगा जहां वे संपादन कर रहे हैं:

निम्नलिखित स्क्रीनशॉट में, आप एक ही नोटबुक को संपादित करने और देखने वाले किसी व्यक्ति के अलग-अलग उपयोगकर्ता अनुभव देख सकते हैं:

निष्कर्ष

इस पोस्ट में, हमने आपको दिखाया कि कैसे सेजमेकर स्टूडियो में साझा स्थान अमेज़ॅन सेजमेकर स्टूडियो में एक वास्तविक समय सहयोगी आईडीई अनुभव जोड़ता है। स्वचालित टैगिंग उपयोगकर्ताओं को अपने अमेज़ॅन सेजमेकर संसाधनों का दायरा और फ़िल्टर करने में मदद करती है, जिसमें शामिल हैं: उपयोगकर्ता उत्पादकता को अधिकतम करने के लिए प्रयोग, पाइपलाइन और मॉडल रजिस्ट्री प्रविष्टियाँ। इसके अतिरिक्त, प्रशासक किसी दिए गए स्थान से जुड़ी लागतों की निगरानी करने और एडब्ल्यूएस लागत एक्सप्लोरर और एडब्ल्यूएस बजट का उपयोग करके उचित बजट निर्धारित करने के लिए इन लागू टैग का उपयोग कर सकते हैं।

अपने विशिष्ट मशीन सीखने के प्रयासों के लिए अमेज़न सेजमेकर स्टूडियो में साझा स्थान स्थापित करके आज ही अपनी टीम के सहयोग में तेजी लाएँ!

लेखक के बारे में

शॉन मॉर्गन एडब्ल्यूएस में एआई/एमएल सॉल्यूशंस आर्किटेक्ट हैं। उनके पास सेमीकंडक्टर और अकादमिक अनुसंधान क्षेत्रों में अनुभव है, और ग्राहकों को एडब्ल्यूएस पर अपने लक्ष्यों तक पहुंचने में मदद करने के लिए अपने अनुभव का उपयोग करते हैं। अपने खाली समय में, शॉन एक सक्रिय ओपन-सोर्स योगदानकर्ता / अनुरक्षक है और TensorFlow ऐड-ऑन के लिए विशेष रुचि समूह लीड है।

हान झांग Amazon Web Services में सीनियर सॉफ्टवेयर इंजीनियर हैं। वह Amazon SageMaker Notebooks और Amazon SageMaker Studio की लॉन्च टीम का हिस्सा हैं, और ग्राहकों के लिए सुरक्षित मशीन लर्निंग वातावरण बनाने पर ध्यान केंद्रित कर रही हैं। अपने खाली समय में, वह प्रशांत नॉर्थवेस्ट में लंबी पैदल यात्रा और स्कीइंग का आनंद लेती हैं।

अर्कपरावा दे AWS में एक वरिष्ठ सॉफ्टवेयर इंजीनियर हैं। वह 7 साल से अधिक समय से अमेज़न पर है और वर्तमान में अमेज़न सैजमेकर स्टूडियो आईडीई अनुभव को बेहतर बनाने पर काम कर रहा है। आप उसे ढूंढ सकते हैं लिंक्डइन.

कुणाल झा AWS में वरिष्ठ उत्पाद प्रबंधक हैं। वह सभी एमएल विकास चरणों के लिए पसंद के आईडीई के रूप में अमेज़ॅन सेजमेकर स्टूडियो के निर्माण पर केंद्रित है। अपने खाली समय में, कुणाल स्कीइंग और पैसिफिक नॉर्थवेस्ट की खोज का आनंद लेते हैं। आप उसे ढूंढ सकते हैं लिंक्डइन.