एडब्ल्यूएस सीडीके और एडब्ल्यूएस सर्विस कैटलॉग का उपयोग करके अमेज़ॅन सेजमेकर कैनवास के साथ एमएल वातावरण का प्रावधान और प्रबंधन करें

उपयोग के मामलों की एक विस्तृत श्रृंखला में मशीन लर्निंग (एमएल) का प्रसार हर उद्योग में प्रचलित हो रहा है। हालांकि, यह उन एमएल प्रैक्टिशनरों की संख्या में वृद्धि को पीछे छोड़ देता है जो परंपरागत रूप से व्यावसायिक परिणामों को प्राप्त करने के लिए इन तकनीकी समाधानों को लागू करने के लिए जिम्मेदार रहे हैं।

आज के उद्यम में, गैर-एमएल प्रैक्टिशनरों द्वारा उपयोग की जाने वाली मशीन लर्निंग की आवश्यकता है जो डेटा के साथ कुशल हैं, जो एमएल की नींव है। इसे साकार करने के लिए, एमएल के मूल्य को पूरे उद्यम में नो-कोड एमएल प्लेटफॉर्म के माध्यम से महसूस किया जा रहा है। ये प्लेटफ़ॉर्म अलग-अलग व्यक्तियों को सक्षम करते हैं, उदाहरण के लिए, व्यापार विश्लेषकों को, कोड की एक भी पंक्ति लिखे बिना एमएल का उपयोग करने और त्वरित, सरल और सहज तरीके से व्यावसायिक समस्याओं का समाधान प्रदान करने में सक्षम बनाता है। अमेज़ॅन सेजमेकर कैनवास एक दृश्य बिंदु-और-क्लिक सेवा है जो व्यापार विश्लेषकों को किसी भी एमएल अनुभव की आवश्यकता के बिना या कोड की एक पंक्ति लिखने की आवश्यकता के बिना सटीक भविष्यवाणियां उत्पन्न करके व्यावसायिक समस्याओं को हल करने के लिए एमएल का उपयोग करने में सक्षम बनाती है। कैनवास ने उपयोग में आसान सहज ज्ञान युक्त अंतरफलक के साथ उद्यम में एमएल के उपयोग का विस्तार किया है जो व्यवसायों को समाधानों को जल्दी से लागू करने में मदद करता है।

यद्यपि कैनवास ने एमएल के लोकतंत्रीकरण को सक्षम किया है, फिर भी एमएल वातावरण को सुरक्षित तरीके से प्रावधान और तैनात करने की चुनौती अभी भी बनी हुई है। आमतौर पर, अधिकांश बड़े उद्यमों में यह केंद्रीय आईटी टीमों की जिम्मेदारी होती है। इस पोस्ट में, हम चर्चा करते हैं कि आईटी टीमें कैसे सुरक्षित एमएल वातावरण का प्रबंधन, प्रावधान और प्रबंधन कर सकती हैं अमेज़ॅन सेजमेकर कैनवास, AWS क्लाउड डेवलपमेंट किट (एडब्ल्यूएस सीडीके) और AWS सेवा सूची. पोस्ट आईटी प्रशासकों के लिए इसे जल्दी और बड़े पैमाने पर प्राप्त करने के लिए एक चरण-दर-चरण मार्गदर्शिका प्रस्तुत करता है।

एडब्ल्यूएस सीडीके और एडब्ल्यूएस सेवा कैटलॉग का अवलोकन

AWS CDK आपके क्लाउड एप्लिकेशन संसाधनों को परिभाषित करने के लिए एक ओपन-सोर्स सॉफ़्टवेयर डेवलपमेंट फ्रेमवर्क है। यह आपके अनुप्रयोगों को मॉडलिंग के लिए प्रोग्रामिंग भाषाओं की परिचित और अभिव्यंजक शक्ति का उपयोग करता है, जबकि संसाधनों को सुरक्षित और दोहराने योग्य तरीके से प्रावधान करता है।

एडब्ल्यूएस सेवा कैटलॉग आपको तैनात आईटी सेवाओं, अनुप्रयोगों, संसाधनों और मेटाडेटा को केंद्रीय रूप से प्रबंधित करने देता है। AWS सेवा कैटलॉग के साथ, आप कोड (IaC) टेम्प्लेट के रूप में बुनियादी ढांचे के साथ क्लाउड संसाधनों को बना, साझा, व्यवस्थित और नियंत्रित कर सकते हैं और तेज़ और सीधे प्रावधान को सक्षम कर सकते हैं।

समाधान अवलोकन

हम तीन चरणों में कैनवास का उपयोग करके एमएल वातावरण का प्रावधान सक्षम करते हैं:

1. सबसे पहले, हम साझा करते हैं कि आप AWS सेवा कैटलॉग का उपयोग करके कैनवास के स्वीकृत उपयोग के लिए आवश्यक संसाधनों के पोर्टफोलियो का प्रबंधन कैसे कर सकते हैं।
2. फिर, हम AWS CDK का उपयोग करके कैनवास के लिए AWS सेवा कैटलॉग पोर्टफोलियो का एक उदाहरण परिनियोजित करते हैं।
3. अंत में, हम प्रदर्शित करते हैं कि आप मांग पर कैनवास के वातावरण को मिनटों में कैसे व्यवस्थित कर सकते हैं।

.. पूर्वापेक्षाएँ

कैनवास, एडब्ल्यूएस सीडीके, और एडब्ल्यूएस सेवा कैटलॉग के साथ एमएल वातावरण का प्रावधान करने के लिए, आपको निम्नलिखित करने की आवश्यकता है:

1. एडब्ल्यूएस खाते तक पहुंच प्राप्त करें जहां सेवा कैटलॉग पोर्टफोलियो तैनात किया जाएगा। सुनिश्चित करें कि आपके पास अपने खाते में AWS CDK स्टैक को परिनियोजित करने के लिए क्रेडेंशियल और अनुमतियाँ हैं। एडब्ल्यूएस सीडीके कार्यशाला एक सहायक संसाधन है जिसे आप सहायता की आवश्यकता होने पर संदर्भित कर सकते हैं।
2. हम निम्नलिखित संसाधनों में विस्तृत अवधारणाओं के माध्यम से हाइलाइट की गई कुछ सर्वोत्तम प्रथाओं का पालन करने की अनुशंसा करते हैं:
3. क्लोन इस GitHub भंडार अपने वातावरण में।

एडब्ल्यूएस सेवा कैटलॉग का उपयोग करके अमेज़ॅन सेजमेकर कैनवास के साथ प्रावधान अनुमोदित एमएल वातावरण

विनियमित उद्योगों और अधिकांश बड़े उद्यमों में, आपको आईटी टीमों द्वारा एमएल वातावरण के प्रावधान और प्रबंधन के लिए अनिवार्य आवश्यकताओं का पालन करने की आवश्यकता है। इनमें एक सुरक्षित, निजी नेटवर्क, डेटा एन्क्रिप्शन, केवल अधिकृत और प्रमाणित उपयोगकर्ताओं को अनुमति देने के लिए नियंत्रण शामिल हो सकते हैं जैसे कि AWS पहचान और अभिगम प्रबंधन (IAM) कैनवास जैसे समाधानों तक पहुँचने और ऑडिट उद्देश्यों के लिए सख्त लॉगिंग और निगरानी के लिए।

एक आईटी प्रशासक के रूप में, आप सेजमेकर कैनवास के साथ उत्पाद पोर्टफोलियो में सुरक्षित, प्रतिलिपि प्रस्तुत करने योग्य एमएल वातावरण बनाने और व्यवस्थित करने के लिए एडब्ल्यूएस सेवा कैटलॉग का उपयोग कर सकते हैं। इसे IaC नियंत्रणों का उपयोग करके प्रबंधित किया जाता है जो पहले बताई गई आवश्यकताओं को पूरा करने के लिए एम्बेडेड होते हैं, और मिनटों में मांग पर प्रावधान किए जा सकते हैं। आप यह भी नियंत्रित कर सकते हैं कि उत्पादों को लॉन्च करने के लिए इस पोर्टफोलियो का उपयोग कौन कर सकता है।

निम्नलिखित चित्र इस वास्तुकला को दर्शाता है।

उदाहरण प्रवाह

इस खंड में, हम सेजमेकर कैनवास के साथ एडब्ल्यूएस सेवा कैटलॉग पोर्टफोलियो का एक उदाहरण प्रदर्शित करते हैं। पोर्टफोलियो में कैनवास पर्यावरण के विभिन्न पहलू शामिल हैं जो सर्विस कैटलॉग पोर्टफोलियो का हिस्सा हैं:

• स्टूडियो डोमेन - कैनवास एक ऐसा एप्लिकेशन है जो के भीतर चलता है स्टूडियो डोमेन. डोमेन में शामिल हैं a अमेज़ॅन इलास्टिक फ़ाइल सिस्टम (अमेज़ॅन ईएफएस) वॉल्यूम, अधिकृत उपयोगकर्ताओं की सूची, और सुरक्षा, आवेदन, नीति, और की एक श्रृंखला अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (वीपीसी) विन्यास। एक एडब्ल्यूएस खाता प्रति क्षेत्र एक डोमेन से जुड़ा हुआ है।
• अमेज़न S3 बाल्टी - Studio डोमेन बनने के बाद, an अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बकेट को स्थानीय फ़ाइलों से डेटासेट आयात करने की अनुमति देने के लिए कैनवास के लिए प्रावधान किया गया है, जिसे स्थानीय फ़ाइल अपलोड के रूप में भी जाना जाता है। यह बकेट ग्राहक के खाते में है और एक बार प्रावधान किया जाता है।
• कैनवास उपयोगकर्ता - सेजमेकर कैनवास एक ऐसा एप्लिकेशन है जहां आप प्रत्येक कैनवास उपयोगकर्ता के लिए स्टूडियो डोमेन के भीतर उपयोगकर्ता प्रोफाइल जोड़ सकते हैं, जो डेटासेट आयात करने, कोड लिखे बिना एमएल मॉडल बनाने और प्रशिक्षित करने और मॉडल पर पूर्वानुमान चलाने के लिए आगे बढ़ सकते हैं।
• कैनवास सत्रों का शेड्यूल्ड शटडाउन - कैनवास उपयोगकर्ता अपने कार्यों के साथ कैनवास इंटरफ़ेस से लॉग आउट कर सकते हैं। वैकल्पिक रूप से, व्यवस्थापक कैनवास सत्र बंद कर सकते हैं से एडब्ल्यूएस प्रबंधन कंसोल कैनवास सत्रों के प्रबंधन के भाग के रूप में। एडब्ल्यूएस सेवा कैटलॉग पोर्टफोलियो के इस भाग में, एक AWS लाम्बा समारोह निर्धारित समय अंतराल पर कैनवास सत्रों को स्वचालित रूप से बंद करने के लिए बनाया और प्रावधान किया गया है। यह खुले सत्रों को प्रबंधित करने और उपयोग में न होने पर उन्हें बंद करने में मदद करता है।

यह उदाहरण प्रवाह में पाया जा सकता है गिटहब भंडार त्वरित संदर्भ के लिए।

एडब्ल्यूएस सीडीके के साथ प्रवाह परिनियोजित करें

इस खंड में, हम एडब्ल्यूएस सीडीके का उपयोग करके पहले वर्णित प्रवाह को तैनात करते हैं। इसके परिनियोजित होने के बाद, आप संस्करण ट्रैकिंग भी कर सकते हैं और पोर्टफोलियो का प्रबंधन कर सकते हैं।

पोर्टफोलियो स्टैक में पाया जा सकता है app.py और उत्पाद के नीचे ढेर हो जाता है products/ फ़ोल्डर। आप IAM भूमिकाओं पर पुनरावृति कर सकते हैं, AWS प्रमुख प्रबंधन सेवा (एडब्ल्यूएस केएमएस) कुंजी, और वीपीसी सेटअप studio_constructs/ फ़ोल्डर। स्टैक को अपने खाते में परिनियोजित करने से पहले, आप निम्न पंक्तियों को संपादित कर सकते हैं app.py और अपनी पसंद की IAM भूमिका के लिए पोर्टफोलियो एक्सेस प्रदान करें।

आप प्रासंगिक IAM उपयोगकर्ताओं, समूहों और भूमिकाओं के लिए पोर्टफोलियो तक पहुंच का प्रबंधन कर सकते हैं। देखना उपयोगकर्ताओं को पहुंच प्रदान करना अधिक जानकारी के लिए.

पोर्टफोलियो को अपने खाते में तैनात करें

अब आप एडब्ल्यूएस सीडीके को स्थापित करने के लिए निम्न आदेश चला सकते हैं और सुनिश्चित कर सकते हैं कि पोर्टफोलियो को तैनात करने के लिए आपके पास सही निर्भरताएं हैं:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

पोर्टफोलियो को अपने खाते में परिनियोजित करने के लिए निम्नलिखित कमांड चलाएँ:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

पहले दो आदेशों का उपयोग करके आपकी खाता आईडी और वर्तमान क्षेत्र प्राप्त करें AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) आपके कंप्यूटर पर। इसके बाद, cdk bootstrap और cdk deploy स्थानीय रूप से संपत्ति बनाएं, और कुछ ही मिनटों में स्टैक को परिनियोजित करें।

पोर्टफोलियो अब AWS सर्विस कैटलॉग में पाया जा सकता है, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

ऑन-डिमांड प्रावधान

पोर्टफोलियो के भीतर उत्पादों को मांग पर जल्दी और आसानी से लॉन्च किया जा सकता है प्रावधानीकरण एडब्ल्यूएस सेवा कैटलॉग कंसोल पर मेनू। स्टूडियो डोमेन और कैनवास ऑटो शटडाउन को पहले लॉन्च करना एक सामान्य प्रवाह है क्योंकि यह आमतौर पर एक बार की कार्रवाई होती है। फिर आप कैनवास उपयोगकर्ताओं को डोमेन में जोड़ सकते हैं। डोमेन आईडी और उपयोगकर्ता IAM भूमिका ARN में सहेजी जाती हैं एडब्ल्यूएस सिस्टम मैनेजर और स्वचालित रूप से उपयोगकर्ता पैरामीटर के साथ पॉप्युलेट हो जाते हैं जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

आप प्रत्येक उपयोगकर्ता से जुड़े लागत आवंटन टैग का भी उपयोग कर सकते हैं। उदाहरण के लिए, UserCostCenter एक नमूना टैग है जहां आप प्रत्येक उपयोगकर्ता का नाम जोड़ सकते हैं।

कैनवास का उपयोग करके एमएल वातावरण को नियंत्रित करने के लिए मुख्य विचार

अब जबकि हमने कैनवास पर केंद्रित AWS सेवा कैटलॉग पोर्टफोलियो का प्रावधान और परिनियोजन कर लिया है, हम डोमेन और उपयोगकर्ता प्रोफ़ाइल पर केंद्रित कैनवास-आधारित ML परिवेशों को नियंत्रित करने के लिए कुछ बातों पर प्रकाश डालना चाहेंगे।

स्टूडियो डोमेन के संबंध में निम्नलिखित विचार हैं:

• कैनवास के लिए नेटवर्किंग को स्टूडियो डोमेन स्तर पर प्रबंधित किया जाता है, जहां डोमेन को सुरक्षित कनेक्टिविटी के लिए एक निजी वीपीसी सबनेट पर तैनात किया जाता है। देखना निजी वीपीसी का उपयोग करके अमेज़ॅन सैजमेकर स्टूडियो कनेक्टिविटी को सुरक्षित करना अधिक जानने के लिए।
• डोमेन स्तर पर एक डिफ़ॉल्ट IAM निष्पादन भूमिका परिभाषित की जाती है। यह डिफ़ॉल्ट भूमिका डोमेन के सभी कैनवास उपयोगकर्ताओं को असाइन की जाती है।
• डोमेन में ईएफएस वॉल्यूम को एन्क्रिप्ट करके एडब्ल्यूएस केएमएस का उपयोग करके एन्क्रिप्शन किया जाता है। अतिरिक्त नियंत्रणों के लिए, आप अपनी स्वयं की प्रबंधित कुंजी निर्दिष्ट कर सकते हैं, जिसे ग्राहक प्रबंधित कुंजी (CMK) के रूप में भी जाना जाता है। देखना एन्क्रिप्शन का उपयोग करके डेटा को आराम से सुरक्षित रखें अधिक जानने के लिए।
• आपकी स्थानीय डिस्क से फ़ाइलें अपलोड करने की क्षमता कैनवास द्वारा उपयोग की जाने वाली S3 बकेट में क्रॉस-ओरिजिनल रिसोर्स शेयरिंग (CORS) नीति संलग्न करके की जाती है। देखना अपने उपयोगकर्ताओं को स्थानीय फ़ाइलें अपलोड करने की अनुमति दें अधिक जानने के लिए।

उपयोगकर्ता प्रोफ़ाइल के संबंध में निम्नलिखित विचार हैं:

• स्टूडियो में प्रमाणीकरण सिंगल साइन-ऑन (एसएसओ) और आईएएम दोनों के माध्यम से किया जा सकता है। यदि आपके पास कंसोल तक पहुँचने के लिए उपयोगकर्ताओं को फ़ेडरेट करने के लिए एक मौजूदा पहचान प्रदाता है, तो आप IAM का उपयोग करके प्रत्येक फ़ेडरेटेड पहचान के लिए एक स्टूडियो उपयोगकर्ता प्रोफ़ाइल असाइन कर सकते हैं। अनुभाग देखें स्टूडियो उपयोगकर्ताओं को नीति असाइन करना in पूर्ण संसाधन अलगाव के साथ टीमों और समूहों के लिए अमेज़ॅन सैजमेकर स्टूडियो को कॉन्फ़िगर करना अधिक जानने के लिए।
• आप प्रत्येक उपयोगकर्ता प्रोफ़ाइल के लिए IAM निष्पादन भूमिकाएँ असाइन कर सकते हैं। स्टूडियो का उपयोग करते समय, उपयोगकर्ता अपनी उपयोगकर्ता प्रोफ़ाइल में मैप की गई भूमिका को मानता है जो डिफ़ॉल्ट निष्पादन भूमिका को ओवरराइड करता है। आप इसका उपयोग किसी टीम के भीतर सुक्ष्म अभिगम नियंत्रण के लिए कर सकते हैं।
• आप यह सुनिश्चित करने के लिए विशेषता-आधारित अभिगम नियंत्रण (ABAC) का उपयोग करके अलगाव प्राप्त कर सकते हैं कि उपयोगकर्ता केवल अपनी टीम के लिए संसाधनों का उपयोग कर सकें। देखना पूर्ण संसाधन अलगाव के साथ टीमों और समूहों के लिए अमेज़ॅन सैजमेकर स्टूडियो को कॉन्फ़िगर करना अधिक जानने के लिए।
• आप उपयोगकर्ता प्रोफ़ाइल में लागत आवंटन टैग लागू करके बढ़िया लागत ट्रैकिंग कर सकते हैं।

क्लीन अप

ऊपर AWS CDK स्टैक द्वारा बनाए गए संसाधनों को साफ़ करने के लिए, AWS CloudFormation स्टैक पृष्ठ पर नेविगेट करें और कैनवास स्टैक को हटा दें। आप भी दौड़ सकते हैं cdk destroy ऐसा करने के लिए, रिपोजिटरी फ़ोल्डर के भीतर से।

निष्कर्ष

इस पोस्ट में, हमने साझा किया कि कैसे आप AWS सर्विस कैटलॉग और AWS CDK का उपयोग करके कैनवास के साथ ML वातावरण को जल्दी और आसानी से प्रोविज़न कर सकते हैं। हमने चर्चा की कि आप एडब्ल्यूएस सेवा कैटलॉग पर एक पोर्टफोलियो कैसे बना सकते हैं, पोर्टफोलियो का प्रावधान कर सकते हैं और इसे अपने खाते में तैनात कर सकते हैं। कैनवास का प्रावधान करते समय IT व्यवस्थापक इस पद्धति का उपयोग उपयोगकर्ताओं, सत्रों और संबद्ध लागतों को परिनियोजित और प्रबंधित करने के लिए कर सकते हैं।

कैनवास के बारे में और जानें उत्पाद पृष्ठ और डेवलपर गाइड. आगे पढ़ने के लिए, आप सीख सकते हैं कि कैसे व्यापार विश्लेषकों को कंसोल के बिना एडब्ल्यूएस एसएसओ का उपयोग करके सेजमेकर कैनवास तक पहुंचने में सक्षम बनाता है. आप भी सीख सकते हैं कैसे व्यापार विश्लेषक और डेटा वैज्ञानिक कैनवास और स्टूडियो का उपयोग करके तेजी से सहयोग कर सकते हैं.

लेखक के बारे में

डेविड गैलीटेली ईएमईए क्षेत्र में एआई/एमएल के लिए विशेषज्ञ समाधान आर्किटेक्ट हैं। वह ब्रुसेल्स में स्थित है और पूरे बेनेलक्स में ग्राहकों के साथ मिलकर काम करता है। वह बहुत छोटा था, जब से वह 7 साल की उम्र में कोड करना शुरू कर दिया था, तब से वह एक डेवलपर रहा है, उसने विश्वविद्यालय में एआई/एमएल सीखना शुरू कर दिया था, और तब से इसके साथ प्यार हो गया है।

सोफियन हमीटी AWS / ML विशेषज्ञ समाधान आर्किटेक्ट AWS में है। वह उद्योगों में ग्राहकों को उनके एआई / एमएल यात्रा में तेजी लाने और एंड-टू-एंड मशीन लर्निंग समाधान के संचालन में मदद करता है।

श्याम श्रीनिवासन एडब्ल्यूएस एआई/एमएल टीम में एक प्रमुख उत्पाद प्रबंधक है, जो अमेज़ॅन सेजमेकर कैनवास के लिए अग्रणी उत्पाद प्रबंधन है। श्याम प्रौद्योगिकी के माध्यम से दुनिया को एक बेहतर जगह बनाने की परवाह करता है और इस यात्रा में एआई और एमएल कैसे उत्प्रेरक हो सकता है, इस बारे में भावुक है।

अवि पटेल Amazon SageMaker Canvas टीम में एक सॉफ्टवेयर इंजीनियर के रूप में काम करता है। उनकी पृष्ठभूमि में फ्रंटएंड फोकस के साथ पूर्ण स्टैक काम करना शामिल है। अपने खाली समय में, वह क्रिप्टो स्पेस में ओपन सोर्स प्रोजेक्ट्स में योगदान देना और नए डेफी प्रोटोकॉल के बारे में सीखना पसंद करते हैं।

जारेड हेवुड AWS में वरिष्ठ व्यवसाय विकास प्रबंधक हैं। वह एक वैश्विक एआई/एमएल विशेषज्ञ हैं जो बिना कोड मशीन सीखने वाले ग्राहकों की मदद करते हैं। उन्होंने पिछले 5 वर्षों से ऑटोएमएल स्पेस में काम किया है और अमेज़ॅन पर अमेज़ॅन सेजमेकर जम्पस्टार्ट और अमेज़ॅन सेजमेकर कैनवास जैसे उत्पादों को लॉन्च किया है।