9 अगस्त, 2022 को, हमने के क्रॉस-अकाउंट शेयरिंग की सामान्य उपलब्धता की घोषणा की अमेज़ॅन सेजमेकर पाइपलाइन इकाइयां. अब आप इसके लिए क्रॉस-अकाउंट सपोर्ट का उपयोग कर सकते हैं अमेज़न SageMaker पाइपलाइन AWS खातों में पाइपलाइन संस्थाओं को साझा करने के लिए और साझा पाइपलाइनों को सीधे एक्सेस करने के लिए अमेज़न SageMaker एपीआई कॉल।
ग्राहक तेजी से अपना रहे हैं बहु-खाता आर्किटेक्चर सेजमेकर पाइपलाइनों के साथ मशीन लर्निंग (एमएल) वर्कफ़्लोज़ को तैनात और प्रबंधित करने के लिए। इसमें विकास या प्रयोग (देव) खातों में कार्यप्रवाह बनाना, परीक्षण या पूर्व-उत्पादन (परीक्षण) खाते में उनका परिनियोजन और परीक्षण करना और अंत में उन्हें अन्य व्यावसायिक प्रक्रियाओं के साथ एकीकृत करने के लिए उत्पादन (उत्पाद) खातों में बढ़ावा देना शामिल है। आप निम्नलिखित उपयोग के मामलों में सेजमेकर पाइपलाइनों के क्रॉस-अकाउंट शेयरिंग से लाभ उठा सकते हैं:
- जब डेटा वैज्ञानिक एक देव खाते में एमएल वर्कफ़्लो बनाते हैं, तो उन वर्कफ़्लो को एक एमएल इंजीनियर द्वारा सेजमेकर पाइपलाइन के रूप में एक समर्पित परीक्षण खाते में तैनात किया जाता है। उन कार्यप्रवाहों पर और निगरानी रखने के लिए, डेटा वैज्ञानिकों को अब परीक्षण खाते में परिनियोजित पाइपलाइन के लिए क्रॉस-अकाउंट रीड-ओनली अनुमति की आवश्यकता है।
- ML इंजीनियर, ML व्यवस्थापक और अनुपालन दल, जो एक साझा सेवा खाते से उन ML वर्कफ़्लो के परिनियोजन और संचालन का प्रबंधन करते हैं, उन्हें भी परीक्षण खाते में परिनियोजित पाइपलाइन में दृश्यता की आवश्यकता होती है। उन्हें उन एमएल वर्कफ़्लोज़ को शुरू करने, रोकने और पुनः प्रयास करने के लिए अतिरिक्त अनुमतियों की भी आवश्यकता हो सकती है।
इस पोस्ट में, हम सेजमेकर पाइपलाइनों के साथ एमएल वर्कफ़्लोज़ को विकसित करने और तैनात करने के लिए मल्टी-अकाउंट आर्किटेक्चर का एक उदाहरण प्रस्तुत करते हैं।
समाधान अवलोकन
एक बहु-खाता रणनीति आपको सॉफ़्टवेयर विकास जीवनचक्र चरणों का समर्थन करते हुए डेटा, प्रोजेक्ट और टीम अलगाव प्राप्त करने में मदद करती है। क्रॉस-अकाउंट पाइपलाइन साझाकरण एक बहु-खाता रणनीति का समर्थन करता है, कई खातों में लॉग इन और आउट करने के ओवरहेड को हटाता है और सीधे कई खातों में संसाधनों को साझा करके एमएल परीक्षण और परिनियोजन वर्कफ़्लो में सुधार करता है।
इस उदाहरण में, हमारे पास एक डेटा साइंस टीम है जो सेजमेकर पाइपलाइन के प्रारंभिक विकास के लिए एक समर्पित देव खाते का उपयोग करती है। इस पाइपलाइन को फिर एक एमएल इंजीनियर को सौंप दिया जाता है, जो एक निरंतर एकीकरण और निरंतर वितरण (सीआई/सीडी) पाइपलाइन इस पाइपलाइन को एक परीक्षण खाते में परिनियोजित करने के लिए उनके साझा सेवा खाते में। अभी भी अपने संबंधित देव और साझा सेवा खातों से तैनात पाइपलाइन की निगरानी और नियंत्रण करने में सक्षम होने के लिए, संसाधन शेयर के साथ स्थापित हैं एडब्ल्यूएस रिसोर्स एक्सेस मैनेजर परीक्षण और देव खातों में। इस सेटअप के साथ, एमएल इंजीनियर और डेटा वैज्ञानिक अब अपने संबंधित खातों से देव और परीक्षण खातों में पाइपलाइनों की निगरानी और नियंत्रण कर सकते हैं, जैसा कि निम्नलिखित आकृति में दिखाया गया है।
कार्यप्रवाह में, डेटा वैज्ञानिक और एमएल इंजीनियर निम्नलिखित चरणों का पालन करते हैं:
- डेटा साइंटिस्ट (DS) देव खाते में एक मॉडल पाइपलाइन बनाता है।
- ML इंजीनियर (MLE) मॉडल पाइपलाइन का निर्माण करता है और एक पाइपलाइन बनाता है, (इस पोस्ट के लिए, हम इसे कहते हैं
sagemaker-pipeline
). sagemaker-pipeline
कोड एक के लिए प्रतिबद्ध है AWS कोडकॉमिट साझा सेवा खाते में भंडार।- डेटा वैज्ञानिक इसके लिए AWS RAM संसाधन शेयर बनाता है
sagemaker-pipeline
और इसे साझा सेवा खाते के साथ साझा करता है, जो संसाधन हिस्सेदारी को स्वीकार करता है। - साझा सेवा खाते से, एमएल इंजीनियर अब देव खाते में पाइपलाइन रन का वर्णन, निगरानी और प्रबंधन करने में सक्षम हैं सेजमेकर एपीआई कॉल.
- साझा सेवा खाते में ट्रिगर की गई एक CI/CD पाइपलाइन कोड का उपयोग करके परीक्षण खाते में कोड बनाता है और परिनियोजित करता है AWS कोडपिपलीन.
- CI/CD पाइपलाइन बनाता है और चलता है
sagemaker-pipeline
परीक्षण खाते में। - चलने के बाद
sagemaker-pipeline
परीक्षण खाते में, CI/CD पाइपलाइन इसके लिए संसाधन साझा करती हैsagemaker-pipeline
परीक्षण खाते में। - परीक्षण से एक संसाधन साझा
sagemaker-pipeline
केवल-पढ़ने के लिए अनुमतियों के साथ देव खाते के साथ बनाया जाता है, जो संसाधन साझा स्वीकार करता है। - डेटा वैज्ञानिक अब देव खाते से सेजमेकर एपीआई कॉल का उपयोग करके परीक्षण पाइपलाइन चलाने की स्थिति का वर्णन और निगरानी करने में सक्षम है।
- परीक्षण से एक संसाधन साझा
sagemaker-pipeline
विस्तारित अनुमतियों के साथ साझा सेवा खाते के साथ बनाया जाता है, जो संसाधन साझा स्वीकार करता है। - एमएल इंजीनियर अब साझा सेवाओं के खाते से सेजमेकर एपीआई कॉल का उपयोग करके चलने वाली परीक्षण पाइपलाइन का वर्णन, निगरानी और प्रशासन करने में सक्षम है।
निम्नलिखित अनुभागों में, हम और अधिक विस्तार में जाते हैं और सेजमेकर पाइपलाइनों के लिए क्रॉस-अकाउंट शेयरिंग कैसे सेट करें, इस पर एक प्रदर्शन प्रदान करते हैं।
सभी खातों में सेजमेकर पाइपलाइन कैसे बनाएं और साझा करें
इस खंड में, हम AWS RAM और SageMaker API का उपयोग करके सभी खातों में पाइपलाइन बनाने और साझा करने के लिए आवश्यक चरणों के माध्यम से चलते हैं।
पर्यावरण स्थापित करें
सबसे पहले, हमें सेजमेकर पाइपलाइनों के क्रॉस-अकाउंट शेयरिंग को प्रदर्शित करने के लिए एक बहु-खाता वातावरण स्थापित करने की आवश्यकता है:
- दो AWS खाते (देव और परीक्षण) सेट करें। आप इसे किसी संगठन के सदस्य खातों के रूप में या स्वतंत्र खातों के रूप में सेट कर सकते हैं।
- यदि आप किसी संगठन के सदस्य के रूप में अपने खाते सेट कर रहे हैं, तो आप सक्षम कर सकते हैं आपके संगठन के साथ संसाधन साझा करना. इस सेटिंग के साथ, जब आप अपने संगठन में संसाधन साझा करते हैं, तो AWS RAM प्रधानाध्यापकों को आमंत्रण नहीं भेजता है। आपके संगठन के प्रधानाचार्य आमंत्रणों का आदान-प्रदान किए बिना साझा संसाधनों तक पहुंच प्राप्त करते हैं।
- परीक्षण खाते में, लॉन्च करें अमेज़ॅन सैजमेकर स्टूडियो और नोटबुक चलाओ ट्रेन-रजिस्टर-तैनाती-पाइपलाइन-मॉडल. यह आपके परीक्षण खाते में एक उदाहरण पाइपलाइन बनाता है। प्रदर्शन को आसान बनाने के लिए, हम पाइपलाइन लॉन्च करने के लिए परीक्षण खाते में सेजमेकर स्टूडियो का उपयोग करते हैं। वास्तविक जीवन परियोजनाओं के लिए, आपको केवल देव खाते में स्टूडियो का उपयोग करना चाहिए और अपने सीआई/सीडी टूलिंग का उपयोग करके परीक्षण खाते में सेजमेकर पाइपलाइन लॉन्च करना चाहिए।
इस पाइपलाइन को देव खाते के साथ साझा करने के लिए अगले भाग में दिए गए निर्देशों का पालन करें।
पाइपलाइन संसाधन शेयर सेट करें
अपनी पाइपलाइन को देव खाते से साझा करने के लिए, निम्नलिखित चरणों को पूरा करें:
- एडब्ल्यूएस रैम कंसोल पर, चुनें संसाधन साझा करें.
- के लिए संसाधन प्रकार चुनें, चुनें SageMaker पाइपलाइन.
- पिछले चरण में आपके द्वारा बनाई गई पाइपलाइन का चयन करें।
- चुनें अगला.
- के लिए अनुमतियाँ, अपनी संबद्ध अनुमतियां चुनें.
- चुनें अगला.
इसके बाद, आप तय करते हैं कि आप प्रिंसिपलों को कैसे एक्सेस देना चाहते हैं। - यदि आप पाइपलाइन को केवल अपने संगठन खातों में साझा करना चाहते हैं, तो चुनें केवल अपने संगठन में साझा करने की अनुमति दें; अन्यथा चुनें किसी के साथ साझा करने की अनुमति दें.
- के लिए प्रधानाध्यापकों, अपना प्रमुख प्रकार चुनें (आप अपनी साझाकरण आवश्यकता के आधार पर AWS खाते, संगठन या संगठनात्मक इकाई का उपयोग कर सकते हैं)। इस पोस्ट के लिए, हम AWS खाता स्तर पर किसी के साथ साझा करते हैं।
- अपनी प्रिंसिपल आईडी चुनें।
- चुनें अगला.
- पर समीक्षा करें और बनाएं पृष्ठ, सत्यापित करें कि आपकी जानकारी सही है और चुनें संसाधन साझा करें.
- अपने गंतव्य खाते पर नेविगेट करें (इस पोस्ट के लिए, आपका देव खाता)।
- एडब्ल्यूएस रैम कंसोल पर, के तहत मेरे साथ बांटा नेविगेशन फलक में, चुनें संसाधन शेयर.
- अपना संसाधन शेयर चुनें और चुनें संसाधन साझा स्वीकार करें.
संसाधन साझा करने की अनुमति
अपना संसाधन साझा करते समय, आप SageMaker पाइपलाइन संसाधन प्रकार से संबद्ध करने के लिए दो समर्थित अनुमति नीतियों में से एक चुन सकते हैं। दोनों नीतियां किसी भी चयनित पाइपलाइन और उसके सभी रनों तक पहुंच प्रदान करती हैं।
RSI AWSRAMDefaultPermissionSageMakerPipeline
नीति निम्नलिखित केवल-पढ़ने के कार्यों की अनुमति देती है:
RSI AWSRAMPermissionSageMakerPipelineAllowExecution
नीति में डिफ़ॉल्ट नीति से सभी केवल-पढ़ने के लिए अनुमतियां शामिल हैं, और साझा खातों को पाइपलाइन चलाने, शुरू करने, रोकने और पुनः प्रयास करने की भी अनुमति देता है।
विस्तारित पाइपलाइन चलाने की अनुमति नीति निम्नलिखित क्रियाओं की अनुमति देती है:
प्रत्यक्ष एपीआई कॉल के माध्यम से साझा पाइपलाइन इकाइयों तक पहुंचें
इस खंड में, हम आपके साथ साझा किए गए दूरस्थ खातों में चल रही पाइपलाइनों में दृश्यता प्राप्त करने के लिए विभिन्न सेजमेकर पाइपलाइन एपीआई कॉल का उपयोग कैसे कर सकते हैं, इसके बारे में हम चलते हैं। देव खाते से परीक्षण खाते में चल रही पाइपलाइन के खिलाफ एपीआई के परीक्षण के लिए, देव खाते में लॉग इन करें और उपयोग करें एडब्ल्यूएस क्लाउडशेल.
क्रॉस-अकाउंट सेजमेकर पाइपलाइन एपीआई कॉल के लिए, आपको हमेशा पाइपलाइन पहचान के रूप में अपनी पाइपलाइन एआरएन का उपयोग करने की आवश्यकता होती है। इसमें पाइपलाइन नाम की आवश्यकता वाले आदेश भी शामिल हैं, जहां आपको पाइपलाइन नाम के रूप में अपनी पाइपलाइन एआरएन का उपयोग करने की आवश्यकता है।
अपनी पाइपलाइन एआरएन प्राप्त करने के लिए, अपने परीक्षण खाते में, स्टूडियो में अपने पाइपलाइन विवरण पर नेविगेट करें सेजमेकर संसाधन.
चुनें पाइप लाइनें आपकी संसाधन सूची पर।
अपनी पाइपलाइन चुनें और अपनी पाइपलाइन पर जाएं सेटिंग टैब। आप अपने साथ पाइपलाइन एआरएन पा सकते हैं मेटाडाटा जानकारी। इस उदाहरण के लिए, आपके ARN को इस प्रकार परिभाषित किया गया है "arn:aws:sagemaker:us-east-1:<account-id>:pipeline/serial-inference-pipeline"
.
सूची पाइपलाइन निष्पादन
यह एपीआई कॉल रनों को सूचीबद्ध करता है आपकी पाइपलाइन का। निम्न कमांड चलाएँ, प्रतिस्थापित करें $SHARED_PIPELINE_ARN
CloudShell से अपनी पाइपलाइन ARN के साथ या का उपयोग करके AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) विनियोजित . के साथ कॉन्फ़िगर किया गया AWS पहचान और अभिगम प्रबंधन (मैं हूँ) भूमिका:
प्रतिक्रिया आपकी पाइपलाइन के सभी रनों को उनके साथ सूचीबद्ध करती है PipelineExecutionArn
, StartTime
, PipelineExecutionStatus
, तथा PipelineExecutionDisplayName
:
पाइपलाइन का वर्णन करें
यह एपीआई कॉल विवरण का वर्णन करता है आपकी पाइपलाइन का। निम्न कमांड चलाएँ, प्रतिस्थापित करें $SHARED_PIPELINE_ARN
आपकी पाइपलाइन एआरएन के साथ:
प्रतिक्रिया आपकी पाइपलाइन का मेटाडेटा, साथ ही इसके निर्माण और संशोधनों के बारे में जानकारी प्रदान करती है:
पाइपलाइन निष्पादन का वर्णन करें
यह एपीआई कॉल विवरण का वर्णन करता है आपकी पाइपलाइन चलाने के लिए। निम्न कमांड चलाएँ, प्रतिस्थापित करें $SHARED_PIPELINE_ARN
आपकी पाइपलाइन एआरएन के साथ:
प्रतिक्रिया आपके पाइपलाइन चलाने पर विवरण प्रदान करती है, जिसमें शामिल हैं PipelineExecutionStatus
, ExperimentName
, तथा TrialName
:
स्टार्टपाइपलाइन एक्ज़ीक्यूशन
यह एपीआई कॉल शुरू होता है एक पाइपलाइन रन। निम्न कमांड चलाएँ, प्रतिस्थापित करें $SHARED_PIPELINE_ARN
आपकी पाइपलाइन एआरएन और . के साथ $CLIENT_REQUEST_TOKEN
एक अद्वितीय, केस-संवेदी पहचानकर्ता के साथ जिसे आप इस रन के लिए जनरेट करते हैं। पहचानकर्ता में 32-128 वर्णों के बीच होना चाहिए। उदाहरण के लिए, आप का उपयोग करके एक स्ट्रिंग उत्पन्न कर सकते हैं एडब्ल्यूएस सीएलआई किलोमीटर जनरेट-रैंडम कमांड.
प्रतिक्रिया के रूप में, यह एपीआई कॉल लौटाता है PipelineExecutionArn
शुरू की गई दौड़ में:
स्टॉपपाइपलाइन निष्पादन
यह एपीआई कॉल बंद हो जाता है एक पाइपलाइन रन। निम्न कमांड चलाएँ, प्रतिस्थापित करें $PIPELINE_EXECUTION_ARN
पाइपलाइन के साथ अपनी चल रही पाइपलाइन का एआरएन चलाएं और $CLIENT_REQUEST_TOKEN
एक अद्वितीय, केस-संवेदी पहचानकर्ता के साथ जिसे आप इस रन के लिए जनरेट करते हैं। पहचानकर्ता में 32-128 वर्णों के बीच होना चाहिए। उदाहरण के लिए, आप का उपयोग करके एक स्ट्रिंग उत्पन्न कर सकते हैं एडब्ल्यूएस सीएलआई किलोमीटर जनरेट-रैंडम कमांड.
प्रतिक्रिया के रूप में, यह एपीआई कॉल लौटाता है PipelineExecutionArn
रुकी हुई पाइप लाइन :
निष्कर्ष
सेजमेकर पाइपलाइनों का क्रॉस-अकाउंट शेयरिंग आपको कई खातों में लॉग इन और आउट किए बिना, एडब्ल्यूएस खातों में सुरक्षित रूप से पाइपलाइन इकाइयों को साझा करने और सीधे एपीआई कॉल के माध्यम से साझा पाइपलाइनों तक पहुंचने की अनुमति देता है।
इस पोस्ट में, हम यह दिखाने के लिए कार्यक्षमता में डूबे हुए हैं कि आप सभी खातों में पाइपलाइन कैसे साझा कर सकते हैं और उन्हें सेजमेकर एपीआई कॉल के माध्यम से एक्सेस कर सकते हैं।
अगले चरण के रूप में, आप इस सुविधा का उपयोग अपने अगले एमएल प्रोजेक्ट के लिए कर सकते हैं।
उपयुक्त संसाधन चुनें
सेजमेकर पाइपलाइनों के साथ आरंभ करने और सभी खातों में पाइपलाइन साझा करने के लिए, निम्नलिखित संसाधनों का संदर्भ लें:
लेखक के बारे में
राम विट्ठल एडब्ल्यूएस में एमएल स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। उनके पास वितरित, हाइब्रिड और क्लाउड अनुप्रयोगों के निर्माण और निर्माण का 20 से अधिक वर्षों का अनुभव है। वह सुरक्षित और स्केलेबल एआई/एमएल और बिग डेटा सॉल्यूशंस के निर्माण के बारे में भावुक हैं ताकि उद्यम ग्राहकों को उनके व्यावसायिक परिणामों को बेहतर बनाने के लिए क्लाउड एडॉप्शन और ऑप्टिमाइज़ेशन यात्रा में मदद मिल सके। अपने खाली समय में, वह टेनिस, फोटोग्राफी और एक्शन फिल्मों का आनंद लेते हैं।
मैरा लादेइरा टंके एडब्ल्यूएस में एमएल स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। डेटा साइंस की पृष्ठभूमि के साथ, उन्हें उद्योगों में ग्राहकों के साथ 9 साल का अनुभव आर्किटेक्चर और एमएल एप्लिकेशन बनाने का है। तकनीकी नेतृत्व के रूप में, वह उभरती प्रौद्योगिकियों और नवीन समाधानों के माध्यम से ग्राहकों को व्यावसायिक मूल्य की उपलब्धि में तेजी लाने में मदद करती है। अपने खाली समय में, मायरा यात्रा करना और अपने परिवार के साथ कहीं गर्म समय बिताना पसंद करती है।
गेब्रियल ज़िल्का एडब्ल्यूएस में एक पेशेवर सेवा सलाहकार है। वह ग्राहकों की क्लाउड अपनाने की यात्रा में तेजी लाने के लिए उनके साथ मिलकर काम करता है। एमएलओपीएस डोमेन में विशिष्ट, वह एंड-टू-एंड मशीन लर्निंग जीवनचक्र को स्वचालित करके और वांछित व्यावसायिक परिणामों को प्राप्त करने में मदद करके मशीन लर्निंग वर्कलोड को उत्पादन करने पर ध्यान केंद्रित करता है। अपने खाली समय में, वह बवेरियन आल्प्स में यात्रा और लंबी पैदल यात्रा का आनंद लेते हैं।
- AI
- ai कला
- ऐ कला जनरेटर
- ऐ रोबोट
- अमेज़न SageMaker
- कृत्रिम बुद्धिमत्ता
- कृत्रिम बुद्धिमत्ता प्रमाणन
- बैंकिंग में आर्टिफिशियल इंटेलिजेंस
- आर्टिफिशियल इंटेलिजेंस रोबोट
- आर्टिफिशियल इंटेलिजेंस रोबोट
- कृत्रिम बुद्धि सॉफ्टवेयर
- AWS मशीन लर्निंग
- blockchain
- ब्लॉकचेन सम्मेलन एआई
- कॉइनजीनियस
- संवादी कृत्रिम बुद्धिमत्ता
- क्रिप्टो सम्मेलन एआई
- दल-ए
- ध्यान लगा के पढ़ना या सीखना
- इसे गूगल करें
- यंत्र अधिगम
- प्लेटो
- प्लेटो एआई
- प्लेटो डेटा इंटेलिजेंस
- प्लेटो गेम
- प्लेटोडाटा
- प्लेटोगेमिंग
- स्केल एआई
- वाक्यविन्यास
- जेफिरनेट