संगठनों के लिए कृत्रिम बुद्धिमत्ता (एआई) और मशीन लर्निंग (एमएल) के तेजी से विकसित हो रहे परिदृश्य में मशीन लर्निंग ऑपरेशंस (एमएलओपीएस) प्लेटफॉर्म का निर्माण मॉडल प्रदर्शन के आसपास की आवश्यकताओं को पूरा करते हुए डेटा विज्ञान प्रयोग और तैनाती के बीच अंतर को पाटने के लिए आवश्यक है। सुरक्षा, और अनुपालन.
नियामक और अनुपालन आवश्यकताओं को पूरा करने के लिए, ऐसे प्लेटफ़ॉर्म को डिज़ाइन करते समय मुख्य आवश्यकताएँ हैं:
- पता डेटा बहाव
- मॉडल प्रदर्शन की निगरानी करें
- स्वचालित मॉडल पुनर्प्रशिक्षण की सुविधा प्रदान करें
- मॉडल अनुमोदन के लिए एक प्रक्रिया प्रदान करें
- मॉडलों को सुरक्षित वातावरण में रखें
इस पोस्ट में, हम दिखाते हैं कि AWS सेवाओं और तृतीय-पक्ष टूलसेट के संयोजन का उपयोग करते हुए इन जरूरतों को पूरा करने के लिए MLOps फ्रेमवर्क कैसे बनाया जाए। समाधान में स्वचालित मॉडल पुनर्प्रशिक्षण, बैच अनुमान और निगरानी के साथ एक बहु-पर्यावरण सेटअप शामिल है अमेज़ॅन सैजमेकर मॉडल मॉनिटर, मॉडल संस्करण के साथ SageMaker मॉडल रजिस्ट्री, और एक सीआई/सीडी पाइपलाइन का उपयोग करके पूरे वातावरण में एमएल कोड और पाइपलाइनों को बढ़ावा देने की सुविधा प्रदान की जाती है अमेज़न SageMaker, अमेज़न EventBridge, अमेज़न सरल अधिसूचना सेवा (अमेज़न S3), हाशीकॉर्प टेराफॉर्म, GitHub, तथा जेनकींस सीआई/सीडी. हम मैमोग्राफिक मास घाव की गंभीरता (सौम्य या घातक) की भविष्यवाणी करने के लिए एक मॉडल का निर्माण करते हैं XGBoost एल्गोरिथ्म सार्वजनिक रूप से उपलब्ध का उपयोग करना यूसीआई मैमोग्राफी मास डेटासेट बनाएं और इसे एमएलओपीएस फ्रेमवर्क का उपयोग करके तैनात करें। कोड के साथ पूर्ण निर्देश इसमें उपलब्ध हैं गिटहब भंडार.
समाधान अवलोकन
निम्नलिखित आर्किटेक्चर आरेख निम्नलिखित प्रमुख घटकों के साथ एमएलओपीएस ढांचे का अवलोकन दिखाता है:
- बहु खाता रणनीति - AWS वेल-आर्किटेक्टेड सर्वोत्तम प्रथाओं का पालन करते हुए दो अलग-अलग AWS खातों में दो अलग-अलग वातावरण (dev और prod) स्थापित किए जाते हैं, और एक तीसरा खाता केंद्रीय मॉडल रजिस्ट्री में स्थापित किया जाता है:
- देव पर्यावरण -कहां ए अमेज़ॅन सेजमेकर स्टूडियो डोमेन किसी मॉडल को उच्च वातावरण में प्रचारित करने के लिए तैयार होने से पहले, मॉडल विकास, मॉडल प्रशिक्षण और एमएल पाइपलाइनों (प्रशिक्षण और अनुमान) के परीक्षण की अनुमति देने के लिए स्थापित किया गया है।
- उत्पाद पर्यावरण - जहां डेव से एमएल पाइपलाइनों को पहले चरण के रूप में बढ़ावा दिया जाता है, और समय के साथ शेड्यूल और मॉनिटर किया जाता है।
- केंद्रीय मॉडल रजिस्ट्री - अमेज़न सैजमेकर मॉडल रजिस्ट्री डेव और प्रोडक्ट परिवेश में उत्पन्न मॉडल संस्करणों को ट्रैक करने के लिए एक अलग AWS खाते में स्थापित किया गया है।
- सीआई/सीडी और स्रोत नियंत्रण - वातावरण में एमएल पाइपलाइनों की तैनाती को जेनकिंस के साथ स्थापित सीआई/सीडी के माध्यम से नियंत्रित किया जाता है, साथ ही संस्करण नियंत्रण को गिटहब के माध्यम से नियंत्रित किया जाता है। संबंधित वातावरण गिट शाखा में विलय किए गए कोड परिवर्तन दिए गए लक्ष्य वातावरण में उचित परिवर्तन करने के लिए सीआई/सीडी वर्कफ़्लो को ट्रिगर करते हैं।
- बैच की भविष्यवाणी मॉडल निगरानी के साथ - के साथ निर्मित अनुमान पाइपलाइन अमेज़न SageMaker पाइपलाइन डेटा बहाव का पता लगाने के लिए सेजमेकर मॉडल मॉनिटर का उपयोग करके मॉडल मॉनिटरिंग के साथ-साथ भविष्यवाणियां उत्पन्न करने के लिए निर्धारित आधार पर चलता है।
- स्वचालित पुनर्प्रशिक्षण तंत्र - जब भी अनुमान पाइपलाइन में डेटा बहाव का पता चलता है, तो सेजमेकर पाइपलाइन के साथ निर्मित प्रशिक्षण पाइपलाइन चालू हो जाती है। प्रशिक्षित होने के बाद, मॉडल को मॉडल अनुमोदनकर्ता द्वारा अनुमोदित करने के लिए केंद्रीय मॉडल रजिस्ट्री में पंजीकृत किया जाता है। जब यह स्वीकृत हो जाता है, तो अद्यतन मॉडल संस्करण का उपयोग अनुमान पाइपलाइन के माध्यम से पूर्वानुमान उत्पन्न करने के लिए किया जाता है।
- कोड के रूप में अवसंरचना - कोड (IaC) के रूप में बुनियादी ढांचे का उपयोग करके बनाया गया हाशीकॉर्प टेराफॉर्म, इवेंटब्रिज के साथ अनुमान पाइपलाइन के शेड्यूलिंग का समर्थन करता है, एक के आधार पर ट्रेन पाइपलाइन को ट्रिगर करता है EventBridge नियम और सूचनाएं भेजने का उपयोग कर रहे हैं अमेज़न सरल अधिसूचना सेवा (अमेज़न एसएनएस) विषयों.
एमएलओपीएस वर्कफ़्लो में निम्नलिखित चरण शामिल हैं:
- विकास खाते में सेजमेकर स्टूडियो डोमेन तक पहुंचें, गिटहब रिपॉजिटरी को क्लोन करें, प्रदान किए गए नमूना मॉडल का उपयोग करके मॉडल विकास की प्रक्रिया से गुजरें, और ट्रेन और अनुमान पाइपलाइन उत्पन्न करें।
- विकास खाते में ट्रेन पाइपलाइन चलाएँ, जो प्रशिक्षित मॉडल संस्करण के लिए मॉडल कलाकृतियाँ उत्पन्न करती है और मॉडल को केंद्रीय मॉडल रजिस्ट्री खाते में सेजमेकर मॉडल रजिस्ट्री में पंजीकृत करती है।
- केंद्रीय मॉडल रजिस्ट्री खाते में सेजमेकर मॉडल रजिस्ट्री में मॉडल को मंजूरी दें।
- GitHub रिपॉजिटरी की एक फीचर शाखा में कोड (ट्रेन और अनुमान पाइपलाइन, और इवेंटब्रिज शेड्यूल, इवेंटब्रिज नियम और एसएनएस विषय बनाने के लिए टेराफॉर्म IaC कोड) को पुश करें। कोड को GitHub रिपॉजिटरी की मुख्य शाखा में मर्ज करने के लिए एक पुल अनुरोध बनाएं।
- जेनकिंस CI/CD पाइपलाइन को ट्रिगर करें, जो GitHub रिपॉजिटरी के साथ स्थापित है। सीआई/सीडी पाइपलाइन इवेंटब्रिज शेड्यूल, इवेंटब्रिज नियम और एसएनएस विषय का प्रावधान करने के लिए टेराफॉर्म कोड के साथ-साथ ट्रेन और अनुमान पाइपलाइन बनाने के लिए कोड को उत्पाद खाते में तैनात करती है।
- अनुमान पाइपलाइन को दैनिक आधार पर चलाने के लिए निर्धारित किया गया है, जबकि जब भी अनुमान पाइपलाइन से डेटा बहाव का पता चलता है तो ट्रेन पाइपलाइन को चलाने के लिए सेट किया जाता है।
- जब भी ट्रेन या अनुमान पाइपलाइन में कोई विफलता होती है तो एसएनएस विषय के माध्यम से सूचनाएं भेजी जाती हैं।
.. पूर्वापेक्षाएँ
इस समाधान के लिए, आपके पास निम्नलिखित शर्तें होनी चाहिए:
- तीन AWS खाते (डेव, प्रोड और सेंट्रल मॉडल रजिस्ट्री खाते)
- तीन AWS खातों में से प्रत्येक में एक सेजमेकर स्टूडियो डोमेन स्थापित किया गया है (देखें)। अमेज़ॅन सेजमेकर स्टूडियो में ऑनबोर्ड या वीडियो देखें अमेज़ॅन सेजमेकर स्टूडियो में शीघ्रता से शामिल हों सेटअप निर्देशों के लिए)
- AWS पर स्थापित प्रशासनिक विशेषाधिकारों के साथ जेनकिंस (हम जेनकिंस 2.401.1 का उपयोग करते हैं)।
- जेनकींस सर्वर पर टेराफॉर्म संस्करण 1.5.5 या बाद का संस्करण स्थापित है
इस पद के लिए हम काम करते हैं us-east-1
समाधान तैनात करने के लिए क्षेत्र.
विकास और उत्पाद खातों में KMS कुंजियाँ प्रदान करें
हमारा पहला कदम बनाना है AWS प्रमुख प्रबंधन सेवा डेव और प्रोड खातों में (एडब्ल्यूएस केएमएस) कुंजियाँ।
डेव खाते में एक KMS कुंजी बनाएं और उत्पाद खाते तक पहुंच प्रदान करें
डेव खाते में KMS कुंजी बनाने के लिए निम्नलिखित चरणों को पूरा करें:
- AWS KMS कंसोल पर, चुनें ग्राहक द्वारा प्रबंधित कुंजियाँ नेविगेशन फलक में
- चुनें कुंजी बनाएं.
- के लिए मुख्य प्रकार से, चुनते हैं सममित.
- के लिए मुख्य उपयोग, चुनते हैं एन्क्रिप्ट और डिक्रिप्ट करें.
- चुनें अगला.
- उत्पादन खाते को डेव खाते में प्रावधानित KMS कुंजी तक पहुंच प्रदान करने के लिए उत्पादन खाता संख्या दर्ज करें। यह एक आवश्यक कदम है क्योंकि पहली बार जब मॉडल को देव खाते में प्रशिक्षित किया जाता है, तो मॉडल कलाकृतियों को केंद्रीय मॉडल रजिस्ट्री खाते में S3 बकेट में लिखे जाने से पहले KMS कुंजी के साथ एन्क्रिप्ट किया जाता है। मॉडल कलाकृतियों को डिक्रिप्ट करने और अनुमान पाइपलाइन को चलाने के लिए उत्पादन खाते को KMS कुंजी तक पहुंच की आवश्यकता होती है।
- चुनें अगला और अपनी कुंजी बनाना समाप्त करें।
कुंजी प्रावधानित होने के बाद, यह AWS KMS कंसोल पर दिखाई देनी चाहिए।
उत्पाद खाते में एक KMS कुंजी बनाएं
उत्पाद खाते में ग्राहक प्रबंधित KMS कुंजी बनाने के लिए पिछले अनुभाग में समान चरणों से गुजरें। आप KMS कुंजी को दूसरे खाते में साझा करने के लिए चरण छोड़ सकते हैं।
केंद्रीय मॉडल रजिस्ट्री खाते में एक मॉडल आर्टिफैक्ट S3 बकेट सेट करें
स्ट्रिंग के साथ अपनी पसंद का S3 बकेट बनाएं sagemaker
केंद्रीय मॉडल रजिस्ट्री खाते में बकेट के नाम के हिस्से के रूप में नामकरण परंपरा में, और S3 बकेट में मॉडल कलाकृतियों को पढ़ने और लिखने के लिए डेव और प्रोड दोनों खातों से अनुमति देने के लिए S3 बकेट पर बकेट नीति को अपडेट करें।
निम्नलिखित कोड S3 बकेट पर अद्यतन की जाने वाली बकेट नीति है:
अपने AWS खातों में IAM भूमिकाएँ सेट करें
अगला कदम स्थापित करना है AWS पहचान और अभिगम प्रबंधन (IAM) के लिए अनुमतियों के साथ आपके AWS खातों में भूमिकाएँ AWS लाम्बा, सेजमेकर, और जेनकिंस।
लैम्ब्डा निष्पादन भूमिका
सेट अप लैम्ब्डा निष्पादन भूमिकाएँ डेव और प्रोड खातों में, जिसका उपयोग लैम्ब्डा फ़ंक्शन के भाग के रूप में चलाया जाएगा सेजमेकर पाइपलाइन लैम्ब्डा चरण. यह चरण नवीनतम अनुमोदित मॉडल लाने के लिए अनुमान पाइपलाइन से चलेगा, जिसका उपयोग करके अनुमान उत्पन्न किया जाता है। नामकरण परंपरा के साथ विकास और उत्पाद खातों में IAM भूमिकाएँ बनाएँ arn:aws:iam::<account-id>:role/lambda-sagemaker-role
और निम्नलिखित IAM नीतियां संलग्न करें:
- नीति 1 - नाम से एक इनलाइन पॉलिसी बनाएं
cross-account-model-registry-access
, जो केंद्रीय खाते में मॉडल रजिस्ट्री में स्थापित मॉडल पैकेज तक पहुंच प्रदान करता है: - नीति 2 - संलग्न करना AmazonSageMakerFullAccess, जो कि ए AWS प्रबंधित नीति जो सेजमेकर तक पूर्ण पहुंच प्रदान करता है। यह संबंधित सेवाओं तक चुनिंदा पहुंच भी प्रदान करता है, जैसे AWS एप्लिकेशन ऑटो स्केलिंग, अमेज़न S3, अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़ॅन ईसीआर), और अमेज़न CloudWatch लॉग.
- नीति 3 - संलग्न करना AWSLambda_FullAccess, जो एक AWS प्रबंधित नीति है जो लैम्ब्डा, लैम्ब्डा कंसोल सुविधाओं और अन्य संबंधित AWS सेवाओं तक पूर्ण पहुंच प्रदान करती है।
- नीति 4 - IAM भूमिका के लिए निम्नलिखित IAM विश्वास नीति का उपयोग करें:
सेजमेकर निष्पादन भूमिका
डेव और उत्पाद खातों में स्थापित सेजमेकर स्टूडियो डोमेन में से प्रत्येक में एक निष्पादन भूमिका जुड़ी होनी चाहिए, जिसे यहां पाया जा सकता है डोमेन सेटिंग्स डोमेन विवरण पृष्ठ पर टैब करें, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है। इस भूमिका का उपयोग सेजमेकर स्टूडियो डोमेन के भीतर प्रशिक्षण कार्य, प्रसंस्करण कार्य और बहुत कुछ चलाने के लिए किया जाता है।
दोनों खातों में सेजमेकर निष्पादन भूमिका में निम्नलिखित नीतियां जोड़ें:
- नीति 1 - नाम से एक इनलाइन पॉलिसी बनाएं
cross-account-model-artifacts-s3-bucket-access
, जो केंद्रीय मॉडल रजिस्ट्री खाते में S3 बकेट तक पहुंच प्रदान करता है, जो मॉडल कलाकृतियों को संग्रहीत करता है: - नीति 2 - नाम से एक इनलाइन पॉलिसी बनाएं
cross-account-model-registry-access
, जो केंद्रीय मॉडल रजिस्ट्री खाते में मॉडल रजिस्ट्री में मॉडल पैकेज तक पहुंच प्रदान करता है: - नीति 3 - नाम से एक इनलाइन पॉलिसी बनाएं
kms-key-access-policy
, जो पिछले चरण में बनाई गई KMS कुंजी तक पहुंच प्रदान करता है। वह खाता आईडी प्रदान करें जिसमें पॉलिसी बनाई जा रही है और उस खाते में बनाई गई KMS कुंजी आईडी प्रदान करें। - नीति 4 - संलग्न करना AmazonSageMakerFullAccess, जो कि ए AWS प्रबंधित नीति जो सेजमेकर तक पूर्ण पहुंच प्रदान करता है और संबंधित सेवाओं तक पहुंच का चयन करता है।
- नीति 5 - संलग्न करना AWSLambda_FullAccess, जो एक AWS प्रबंधित नीति है जो लैम्ब्डा, लैम्ब्डा कंसोल सुविधाओं और अन्य संबंधित AWS सेवाओं तक पूर्ण पहुंच प्रदान करती है।
- नीति 6 - संलग्न करना क्लाउडवॉचइवेंट्सफुलएक्सेस, जो एक AWS प्रबंधित नीति है जो क्लाउडवॉच इवेंट तक पूर्ण पहुंच प्रदान करती है।
- नीति 7 - सेजमेकर निष्पादन आईएएम भूमिका के लिए निम्नलिखित आईएएम ट्रस्ट नीति जोड़ें:
- नीति 8 (उत्पाद खाते में सेजमेकर निष्पादन भूमिका के लिए विशिष्ट) - नाम से एक इनलाइन पॉलिसी बनाएं
cross-account-kms-key-access-policy
, जो डेव खाते में बनाई गई KMS कुंजी तक पहुंच प्रदान करता है। केंद्रीय मॉडल रजिस्ट्री खाते में संग्रहीत मॉडल कलाकृतियों को पढ़ने के लिए अनुमान पाइपलाइन के लिए यह आवश्यक है जहां मॉडल कलाकृतियों को देव खाते से केएमएस कुंजी का उपयोग करके एन्क्रिप्ट किया जाता है जब मॉडल का पहला संस्करण देव खाते से बनाया जाता है।
क्रॉस-अकाउंट जेनकींस भूमिका
एक IAM भूमिका सेट करें जिसे कहा जाता है cross-account-jenkins-role
उत्पाद खाते में, जेनकींस उत्पाद खाते में एमएल पाइपलाइनों और संबंधित बुनियादी ढांचे को तैनात करने का काम करेगा।
निम्नलिखित प्रबंधित IAM नीतियों को भूमिका में जोड़ें:
CloudWatchFullAccess
AmazonS3FullAccess
AmazonSNSFullAccess
AmazonSageMakerFullAccess
AmazonEventBridgeFullAccess
AWSLambda_FullAccess
जेनकिंस सर्वर को होस्ट करने वाले AWS खाते को अनुमति देने के लिए भूमिका पर विश्वास संबंध को अपडेट करें:
जेनकींस सर्वर से संबद्ध IAM भूमिका पर अनुमतियाँ अद्यतन करें
यह मानते हुए कि जेनकींस को AWS पर स्थापित किया गया है, निम्नलिखित नीतियों को जोड़ने के लिए जेनकींस से जुड़ी IAM भूमिका को अपडेट करें, जो जेनकींस को उत्पाद खाते में संसाधनों को तैनात करने की पहुंच प्रदान करेगी:
- नीति 1 - नाम से निम्नलिखित इनलाइन पॉलिसी बनाएं
assume-production-role-policy
: - नीति 2 - संलग्न करें
CloudWatchFullAccess
प्रबंधित IAM नीति।
केंद्रीय मॉडल रजिस्ट्री खाते में मॉडल पैकेज समूह सेट करें
केंद्रीय मॉडल रजिस्ट्री खाते में सेजमेकर स्टूडियो डोमेन से, एक मॉडल पैकेज समूह बनाएं mammo-severity-model-package
निम्नलिखित कोड स्निपेट का उपयोग करके (जिसे आप ज्यूपिटर नोटबुक का उपयोग करके चला सकते हैं):
विकास और उत्पाद खातों में IAM भूमिकाओं के लिए मॉडल पैकेज तक पहुंच स्थापित करें
डेव और उत्पाद खातों में बनाई गई सेजमेकर निष्पादन भूमिकाओं तक पहुंच प्रदान करें ताकि आप मॉडल पैकेज के भीतर मॉडल संस्करण पंजीकृत कर सकें mammo-severity-model-package
दोनों खातों से केंद्रीय मॉडल रजिस्ट्री में। केंद्रीय मॉडल रजिस्ट्री खाते में सेजमेकर स्टूडियो डोमेन से, ज्यूपिटर नोटबुक में निम्नलिखित कोड चलाएँ:
जेनकींस स्थापित करें
इस अनुभाग में, हम जेनकिंस सीआई/सीडी पाइपलाइन के माध्यम से उत्पाद खाते में एमएल पाइपलाइन और संबंधित टेराफॉर्म बुनियादी ढांचे को बनाने के लिए जेनकिंस को कॉन्फ़िगर करते हैं।
- क्लाउडवॉच कंसोल पर, नाम का एक लॉग समूह बनाएं
jenkins-log
उस उत्पाद खाते के भीतर जिसमें जेनकींस सीआई/सीडी पाइपलाइन से लॉग पुश करेगा। लॉग समूह उसी क्षेत्र में बनाया जाना चाहिए जहां जेनकींस सर्वर स्थापित है। - निम्नलिखित प्लगइन्स इंस्टॉल करें आपके जेनकींस सर्वर पर:
- क्रॉस-अकाउंट IAM भूमिका का उपयोग करके जेनकींस में AWS क्रेडेंशियल सेट करें (
cross-account-jenkins-role
) उत्पाद खाते में प्रावधान किया गया। - के लिए सिस्टम विन्यास, चुनें एडब्ल्यूएस.
- आपके द्वारा पहले बनाए गए क्रेडेंशियल और क्लाउडवॉच लॉग समूह प्रदान करें।
- जेनकींस के भीतर GitHub क्रेडेंशियल सेट करें।
- जेनकींस में एक नया प्रोजेक्ट बनाएं।
- प्रोजेक्ट का नाम दर्ज करें और चुनें पाइपलाइन.
- पर सामान्य जानकारी टैब, चयन करें गिटहब परियोजना और कांटा दर्ज करें गिटहब भंडार यूआरएल.
- चुनते हैं यह प्रोजेक्ट पैरामीटरयुक्त है.
- पर पैरामीटर जोड़ें मेनू, चुनें स्ट्रिंग पैरामीटर.
- के लिए नाम, दर्ज
prodAccount
. - के लिए डिफ़ॉल्ट मान, उत्पाद खाता आईडी दर्ज करें।
- के अंतर्गत उन्नत परियोजना विकल्पके लिए, परिभाषा, चुनते हैं एससीएम से पाइपलाइन स्क्रिप्ट.
- के लिए SCM, चुनें जाना.
- के लिए रिपोजिटरी यूआरएल, कांटा दर्ज करें गिटहब भंडार यूआरएल.
- के लिए साख, जेनकिंस में सहेजे गए GitHub क्रेडेंशियल दर्ज करें।
- दर्ज
main
में शाखाएँ बनाने के लिए अनुभाग, जिसके आधार पर सीआई/सीडी पाइपलाइन चालू हो जाएगी। - के लिए स्क्रिप्ट पथ, दर्ज
Jenkinsfile
. - चुनें सहेजें.
जेनकींस पाइपलाइन बनाई जानी चाहिए और आपके डैशबोर्ड पर दिखाई देनी चाहिए।
S3 बकेट का प्रावधान करें, डेटा एकत्र करें और तैयार करें
अपनी S3 बकेट और डेटा सेट करने के लिए निम्नलिखित चरणों को पूरा करें:
- स्ट्रिंग के साथ अपनी पसंद का S3 बकेट बनाएं
sagemaker
डेटासेट और मॉडल कलाकृतियों को संग्रहीत करने के लिए डेव और प्रोड दोनों खातों में बकेट के नाम के हिस्से के रूप में नामकरण परंपरा में। - उत्पाद खाते में टेराफ़ॉर्म स्थिति बनाए रखने के लिए एक S3 बकेट सेट करें।
- सार्वजनिक रूप से उपलब्ध डाउनलोड करें और सहेजें यूसीआई मैमोग्राफी मास आपके द्वारा पहले देव खाते में बनाए गए S3 बकेट में डेटासेट।
- कांटा और क्लोन करें गिटहब भंडार डेव खाते में सेजमेकर स्टूडियो डोमेन के भीतर। रेपो में निम्नलिखित फ़ोल्डर संरचना है:
- /वातावरण - उत्पाद पर्यावरण के लिए कॉन्फ़िगरेशन स्क्रिप्ट
- /एमएलओपीएस-इन्फ्रा - टेराफ़ॉर्म कोड का उपयोग करके AWS सेवाओं को तैनात करने के लिए कोड
- /पाइपलाइन - सेजमेकर पाइपलाइन घटकों के लिए कोड
- जेनकिंसफ़ाइल - जेनकिंस सीआई/सीडी पाइपलाइन के माध्यम से तैनात करने के लिए स्क्रिप्ट
- setup.py - आवश्यक पायथन मॉड्यूल स्थापित करने और रन-पाइपलाइन कमांड बनाने की आवश्यकता है
- मैमोग्राफी-गंभीरता-मॉडलिंग.ipynb - आपको एमएल वर्कफ़्लो बनाने और चलाने की अनुमति देता है
- क्लोन किए गए GitHub रिपॉजिटरी फ़ोल्डर के भीतर डेटा नामक एक फ़ोल्डर बनाएं और सार्वजनिक रूप से उपलब्ध की एक प्रति सहेजें यूसीआई मैमोग्राफी मास डाटासेट।
- ज्यूपिटर नोटबुक का पालन करें
mammography-severity-modeling.ipynb
. - डेटासेट को प्रीप्रोसेस करने और इसे देव खाते में S3 बकेट में अपलोड करने के लिए नोटबुक में निम्नलिखित कोड चलाएँ:
कोड निम्नलिखित डेटासेट उत्पन्न करेगा:
-
- डेटा/ मैमो-ट्रेन-डेटासेट-पार्ट1.सीएसवी - मॉडल के पहले संस्करण को प्रशिक्षित करने के लिए उपयोग किया जाएगा।
- डेटा/ मैमो-ट्रेन-डेटासेट-पार्ट2.सीएसवी - मैमो-ट्रेन-डेटासेट-पार्ट1.सीएसवी डेटासेट के साथ मॉडल के दूसरे संस्करण को प्रशिक्षित करने के लिए उपयोग किया जाएगा।
- डेटा/मैमो-बैच-डेटासेट.सीएसवी - अनुमान उत्पन्न करने के लिए उपयोग किया जाएगा।
- डेटा/मैमो-बैच-डेटासेट-आउटलेर्स.सीएसवी - अनुमान पाइपलाइन को विफल करने के लिए डेटासेट में आउटलेर्स पेश करेगा। यह हमें मॉडल के स्वचालित पुनर्प्रशिक्षण को ट्रिगर करने के लिए पैटर्न का परीक्षण करने में सक्षम करेगा।
- डेटासेट अपलोड करें
mammo-train-dataset-part1.csv
उपसर्ग के अंतर्गतmammography-severity-model/train-dataset
, और डेटासेट अपलोड करेंmammo-batch-dataset.csv
औरmammo-batch-dataset-outliers.csv
उपसर्ग के लिएmammography-severity-model/batch-dataset
डेव खाते में बनाई गई S3 बकेट का: - डेटासेट अपलोड करें
mammo-train-dataset-part1.csv
औरmammo-train-dataset-part2.csv
उपसर्ग के अंतर्गतmammography-severity-model/train-dataset
Amazon S3 कंसोल के माध्यम से उत्पाद खाते में बनाए गए S3 बकेट में। - डेटासेट अपलोड करें
mammo-batch-dataset.csv
औरmammo-batch-dataset-outliers.csv
उपसर्ग के लिएmammography-severity-model/batch-dataset
उत्पाद खाते में S3 बकेट का।
रेल पाइपलाइन चलाओ
के अंतर्गत <project-name>/pipelines/train
, आप निम्नलिखित पायथन स्क्रिप्ट देख सकते हैं:
- स्क्रिप्ट/raw_preprocess.py - फीचर इंजीनियरिंग के लिए सेजमेकर प्रोसेसिंग के साथ एकीकृत
- स्क्रिप्ट/evaluate_model.py - इस मामले में, मॉडल मेट्रिक्स गणना की अनुमति देता है
auc_score
- train_pipeline.py - मॉडल प्रशिक्षण पाइपलाइन के लिए कोड शामिल है
निम्नलिखित चरणों को पूरा करें:
- स्क्रिप्ट को Amazon S3 में अपलोड करें:
- ट्रेन पाइपलाइन उदाहरण प्राप्त करें:
- ट्रेन पाइपलाइन जमा करें और इसे चलाएं:
निम्नलिखित आंकड़ा प्रशिक्षण पाइपलाइन के सफल संचालन को दर्शाता है। पाइपलाइन का अंतिम चरण मॉडल को केंद्रीय मॉडल रजिस्ट्री खाते में पंजीकृत करता है।
केंद्रीय मॉडल रजिस्ट्री में मॉडल को मंजूरी दें
केंद्रीय मॉडल रजिस्ट्री खाते में लॉग इन करें और सेजमेकर स्टूडियो डोमेन के भीतर सेजमेकर मॉडल रजिस्ट्री तक पहुंचें। मॉडल संस्करण स्थिति को स्वीकृत में बदलें।
एक बार मंजूरी मिलने के बाद, स्थिति को मॉडल संस्करण में बदला जाना चाहिए।
अनुमान पाइपलाइन चलाएँ (वैकल्पिक)
इस चरण की आवश्यकता नहीं है लेकिन आप अभी भी डेव खाते में पूर्वानुमान उत्पन्न करने के लिए अनुमान पाइपलाइन चला सकते हैं।
के अंतर्गत <project-name>/pipelines/inference
, आप निम्नलिखित पायथन स्क्रिप्ट देख सकते हैं:
- स्क्रिप्ट/lambda_helper.py - सेजमेकर पाइपलाइन लैम्ब्डा चरण का उपयोग करके केंद्रीय मॉडल रजिस्ट्री खाते से नवीनतम अनुमोदित मॉडल संस्करण खींचता है
- inference_pipeline.py - मॉडल अनुमान पाइपलाइन के लिए कोड शामिल है
निम्नलिखित चरणों को पूरा करें:
- स्क्रिप्ट को S3 बकेट में अपलोड करें:
- सामान्य बैच डेटासेट का उपयोग करके अनुमान पाइपलाइन उदाहरण प्राप्त करें:
- अनुमान पाइपलाइन सबमिट करें और इसे चलाएँ:
निम्नलिखित आंकड़ा अनुमान पाइपलाइन के सफल संचालन को दर्शाता है। पाइपलाइन का अंतिम चरण पूर्वानुमान उत्पन्न करता है और उन्हें S3 बकेट में संग्रहीत करता है। हम उपयोग करते हैं मॉनिटरबैचट्रांसफॉर्मस्टेप बैच ट्रांसफ़ॉर्म कार्य में इनपुट की निगरानी करने के लिए। यदि कोई आउटलेयर हैं, तो अनुमान पाइपलाइन विफल स्थिति में चली जाती है।
जेनकींस पाइपलाइन चलाएँ
RSI environment/
GitHub रिपॉजिटरी के फ़ोल्डर में उत्पाद खाते के लिए कॉन्फ़िगरेशन स्क्रिप्ट होती है। जेनकींस पाइपलाइन को ट्रिगर करने के लिए निम्नलिखित चरणों को पूरा करें:
- कॉन्फ़िगरेशन स्क्रिप्ट को अद्यतन करें
prod.tfvars.json
पिछले चरणों में बनाए गए संसाधनों के आधार पर: - एक बार अपडेट हो जाने पर, कोड को फोर्क्ड GitHub रिपॉजिटरी में पुश करें और कोड को मुख्य शाखा में मर्ज करें।
- जेनकींस यूआई पर जाएं, चुनें पैरामीटर्स के साथ निर्माण करें, और पिछले चरणों में बनाई गई CI/CD पाइपलाइन को ट्रिगर करें।
जब निर्माण पूर्ण और सफल हो जाता है, तो आप उत्पाद खाते में लॉग इन कर सकते हैं और सेजमेकर स्टूडियो डोमेन के भीतर ट्रेन और अनुमान पाइपलाइन देख सकते हैं।
इसके अतिरिक्त, आपको उत्पाद खाते में इवेंटब्रिज कंसोल पर तीन इवेंटब्रिज नियम दिखाई देंगे:
- अनुमान पाइपलाइन को शेड्यूल करें
- ट्रेन पाइपलाइन पर विफलता सूचना भेजें
- जब अनुमान पाइपलाइन ट्रेन पाइपलाइन को ट्रिगर करने में विफल हो जाती है, तो एक अधिसूचना भेजें
अंत में, आपको अमेज़ॅन एसएनएस कंसोल पर एक एसएनएस अधिसूचना विषय दिखाई देगा जो ईमेल के माध्यम से सूचनाएं भेजता है। आपको एक ईमेल प्राप्त होगी जिसमें आपसे इन अधिसूचना ईमेल की स्वीकृति की पुष्टि करने के लिए कहा जाएगा।
आउटलेर्स के बिना बैच डेटासेट का उपयोग करके अनुमान पाइपलाइन का परीक्षण करें
यह जांचने के लिए कि क्या अनुमान पाइपलाइन उत्पाद खाते में अपेक्षा के अनुरूप काम कर रही है, हम उत्पाद खाते में लॉग इन कर सकते हैं और आउटलेर्स के बिना बैच डेटासेट का उपयोग करके अनुमान पाइपलाइन को ट्रिगर कर सकते हैं।
उत्पाद खाते के सेजमेकर स्टूडियो डोमेन में सेजमेकर पाइपलाइन कंसोल के माध्यम से पाइपलाइन चलाएं, जहां transform_input
आउटलेर्स के बिना डेटासेट का S3 URI होगा (s3://<s3-bucket-in-prod-account>/mammography-severity-model/data/mammo-batch-dataset.csv
).
अनुमान पाइपलाइन सफल होती है और भविष्यवाणियों को S3 बकेट में वापस लिखती है।
आउटलेर्स के साथ बैच डेटासेट का उपयोग करके अनुमान पाइपलाइन का परीक्षण करें
स्वचालित पुनर्प्रशिक्षण तंत्र अपेक्षा के अनुरूप काम करता है या नहीं, यह जांचने के लिए आप आउटलेर्स के साथ बैच डेटासेट का उपयोग करके अनुमान पाइपलाइन चला सकते हैं।
उत्पाद खाते के सेजमेकर स्टूडियो डोमेन में सेजमेकर पाइपलाइन कंसोल के माध्यम से पाइपलाइन चलाएं, जहां transform_input
आउटलेर्स के साथ डेटासेट का S3 URI होगा (s3://<s3-bucket-in-prod-account>/mammography-severity-model/data/mammo-batch-dataset-outliers.csv
).
अनुमान पाइपलाइन अपेक्षा के अनुरूप विफल हो जाती है, जो इवेंटब्रिज नियम को ट्रिगर करती है, जो बदले में ट्रेन पाइपलाइन को ट्रिगर करती है।
कुछ क्षणों के बाद, आपको सेजमेकर पाइपलाइन कंसोल पर ट्रेन पाइपलाइन का एक नया रन देखना चाहिए, जो दो अलग-अलग ट्रेन डेटासेट उठाता है (mammo-train-dataset-part1.csv
और mammo-train-dataset-part2.csv
) मॉडल को पुनः प्रशिक्षित करने के लिए S3 बकेट पर अपलोड किया गया।
आपको एसएनएस विषय पर सब्सक्राइब किए गए ईमेल पर भेजी गई एक अधिसूचना भी दिखाई देगी।
अद्यतन मॉडल संस्करण का उपयोग करने के लिए, केंद्रीय मॉडल रजिस्ट्री खाते में लॉग इन करें और मॉडल संस्करण को मंजूरी दें, जिसे निर्धारित इवेंटब्रिज नियम के माध्यम से ट्रिगर किए गए अनुमान पाइपलाइन के अगले रन के दौरान उठाया जाएगा।
यद्यपि ट्रेन और अनुमान पाइपलाइन एक स्थिर डेटासेट यूआरएल का उपयोग करते हैं, आप मॉडल को फिर से प्रशिक्षित करने और वास्तविक दुनिया के परिदृश्य में भविष्यवाणियां उत्पन्न करने के लिए अद्यतन डेटासेट का उपयोग करने के लिए डेटासेट यूआरएल को ट्रेन और अनुमान पाइपलाइन को गतिशील चर के रूप में पास कर सकते हैं।
क्लीन अप
भविष्य के शुल्कों से बचने के लिए, निम्नलिखित चरणों को पूरा करें:
- सभी AWS खातों से सेजमेकर स्टूडियो डोमेन हटाएँ।
- सेजमेकर के बाहर बनाए गए सभी संसाधनों को हटा दें, जिसमें उत्पाद खाते में टेराफॉर्म के माध्यम से सेट किए गए एस3 बकेट, आईएएम भूमिकाएं, इवेंटब्रिज नियम और एसएनएस विषय शामिल हैं।
- का उपयोग करके सभी खातों में बनाई गई सेजमेकर पाइपलाइनों को हटा दें AWS कमांड लाइन इंटरफ़ेस (AWS CLI)।
निष्कर्ष
विभिन्न कार्यात्मक क्षेत्रों और टीमों में सहयोग को सक्षम करने के लिए संगठनों को अक्सर एंटरप्राइज़-व्यापी टूलसेट के साथ संरेखित करने की आवश्यकता होती है। यह सहयोग सुनिश्चित करता है कि आपका एमएलओपीएस प्लेटफॉर्म उभरती व्यावसायिक जरूरतों के अनुकूल हो सकता है और टीमों में एमएल को अपनाने में तेजी ला सकता है। इस पोस्ट में बताया गया है कि अमेज़ॅन सेजमेकर मॉडल मॉनिटर के साथ स्वचालित मॉडल रीट्रेनिंग, बैच अनुमान और मॉनिटरिंग, सेजमेकर मॉडल रजिस्ट्री के साथ मॉडल वर्जनिंग और पूरे वातावरण में एमएल कोड और पाइपलाइनों को बढ़ावा देने के लिए मल्टी-एनवायरमेंट सेटअप में एमएलओपीएस फ्रेमवर्क कैसे बनाया जाए। सीआई/सीडी पाइपलाइन। हमने AWS सेवाओं और तृतीय-पक्ष टूलसेट के संयोजन का उपयोग करके इस समाधान का प्रदर्शन किया। इस समाधान को लागू करने के निर्देशों के लिए, देखें गिटहब भंडार. आप अपने स्वयं के डेटा स्रोत और मॉडलिंग ढाँचे लाकर भी इस समाधान का विस्तार कर सकते हैं।
लेखक के बारे में
गायत्री घनकोट एडब्ल्यूएस प्रोफेशनल सर्विसेज के साथ सीनियर मशीन लर्निंग इंजीनियर हैं। वह विभिन्न डोमेन में एआई / एमएल समाधानों को विकसित करने, तैनात करने और समझाने के बारे में भावुक है। इस भूमिका से पहले, उन्होंने वित्तीय और खुदरा क्षेत्र में शीर्ष वैश्विक फर्मों के साथ डेटा वैज्ञानिक और एमएल इंजीनियर के रूप में कई पहलों का नेतृत्व किया। उन्होंने यूनिवर्सिटी ऑफ कोलोराडो, बोल्डर से डेटा साइंस में विशेषीकृत कंप्यूटर साइंस में मास्टर डिग्री हासिल की है।
सुनीता कोप्पर AWS प्रोफेशनल सर्विसेज के साथ एक सीनियर डेटा लेक आर्किटेक्ट हैं। वह बड़े डेटा को संसाधित करके ग्राहकों की समस्याओं को हल करने और दीर्घकालिक स्केलेबल समाधान प्रदान करने के बारे में भावुक है। इस भूमिका से पहले, उन्होंने इंटरनेट, टेलीकॉम और ऑटोमोटिव डोमेन में उत्पाद विकसित किए, और AWS ग्राहक रही हैं। उन्होंने कैलिफोर्निया विश्वविद्यालय, रिवरसाइड से डेटा साइंस में मास्टर डिग्री प्राप्त की है।
शाश्वत दास AWS व्यावसायिक सेवाओं के साथ एक DevOps सलाहकार है। उन्होंने स्वास्थ्य सेवा और जीवन विज्ञान, विमानन और विनिर्माण क्षेत्र में ग्राहकों के साथ काम किया है। वह सभी चीजों के स्वचालन के बारे में भावुक है और एडब्ल्यूएस में उद्यम-स्तरीय ग्राहक समाधानों को डिजाइन करने और बनाने में व्यापक अनुभव रखती है। काम के अलावा, वह फोटोग्राफी और सूर्योदय देखने के अपने जुनून को पूरा करती है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/promote-pipelines-in-a-multi-environment-setup-using-amazon-sagemaker-model-registry-hashicorp-terraform-github-and-jenkins-ci-cd/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 10
- 100
- 12
- 13
- 14
- 16
- 17
- 19
- 23
- 27
- 31
- 320
- 7
- 8
- 9
- a
- About
- तेज करता
- स्वीकृति
- पहुँच
- लेखा
- अकौन्टस(लेखा)
- के पार
- कार्य
- अनुकूलन
- जोड़ना
- पता
- प्रशासनिक
- दत्तक ग्रहण
- बाद
- उम्र
- AI
- संरेखित करें
- सब
- अनुमति देना
- की अनुमति देता है
- साथ में
- भी
- वीरांगना
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- an
- और
- अन्य
- कोई
- आवेदन
- उपयुक्त
- अनुमोदन करना
- अनुमोदित
- स्थापत्य
- हैं
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- चारों ओर
- कृत्रिम
- कृत्रिम बुद्धिमत्ता
- कृत्रिम बुद्धिमत्ता (AI)
- AS
- पूछ
- जुड़े
- मान लीजिये
- संलग्न करना
- स्वत:
- स्वचालित
- स्वचालित
- स्वचालन
- मोटर वाहन
- उपलब्ध
- विमानन
- से बचने
- एडब्ल्यूएस
- एडब्ल्यूएस ग्राहक
- AWS व्यावसायिक सेवाएँ
- वापस
- आधारित
- आधार
- BE
- क्योंकि
- किया गया
- से पहले
- जा रहा है
- BEST
- सर्वोत्तम प्रथाओं
- के बीच
- बड़ा
- बड़ा डेटा
- के छात्रों
- शाखा
- ब्रिजिंग
- लाना
- निर्माण
- इमारत
- बनाया गया
- व्यापार
- लेकिन
- by
- हिसाब
- कैलिफ़ोर्निया
- बुलाया
- कर सकते हैं
- मामला
- केंद्रीय
- परिवर्तन
- बदल
- परिवर्तन
- प्रभार
- चेक
- चुनाव
- चुनें
- कोड
- सहयोग
- इकट्ठा
- कोलोराडो
- स्तंभ
- स्तंभ
- COM
- संयोजन
- पूरा
- अनुपालन
- घटकों
- व्यापक
- कंप्यूटर
- कम्प्यूटर साइंस
- शर्त
- विन्यास
- पुष्टि करें
- कंसोल
- सलाहकार
- कंटेनर
- शामिल हैं
- नियंत्रण
- सम्मेलन
- बदलना
- इसी
- बनाना
- बनाया
- बनाना
- साख
- क्रॉस
- ग्राहक
- ग्राहक समाधान
- ग्राहक
- दैनिक
- डैशबोर्ड
- तिथि
- डेटा लेक
- डेटा विज्ञान
- आँकड़े वाला वैज्ञानिक
- डेटासेट
- डिक्रिप्ट
- चूक
- डिग्री
- तैनात
- तैनाती
- तैनाती
- तैनात
- डिज़ाइन बनाना
- विवरण
- पता लगाना
- पता चला
- देव
- विकसित
- विकासशील
- विकास
- dict
- विभिन्न
- डोमेन
- डोमेन
- दौरान
- गतिशील
- से प्रत्येक
- पूर्व
- प्रभाव
- भी
- ईमेल
- ईमेल
- सक्षम
- एन्क्रिप्टेड
- इंजीनियर
- सुनिश्चित
- दर्ज
- वातावरण
- वातावरण
- आवश्यक
- घटनाओं
- उद्विकासी
- निष्पादन
- अपेक्षित
- अनुभव
- समझाया
- समझा
- विस्तार
- की सुविधा
- असफल
- विफल रहे
- विफल रहता है
- विफलता
- Feature
- विशेषताएं
- कुछ
- आकृति
- पट्टिका
- अंतिम
- वित्तीय
- खत्म
- फर्मों
- प्रथम
- पहली बार
- निम्नलिखित
- के लिए
- पाया
- ढांचा
- चौखटे
- से
- पूरा
- पूर्ण
- समारोह
- कार्यात्मक
- भविष्य
- अन्तर
- उत्पन्न
- उत्पन्न
- उत्पन्न करता है
- मिल
- जाना
- GitHub
- देना
- दी
- देता है
- वैश्विक
- Go
- चला जाता है
- छात्रवृत्ति
- समूह
- है
- स्वास्थ्य सेवा
- उसे
- उच्चतर
- रखती है
- होस्टिंग
- कैसे
- How To
- एचटीएमएल
- http
- HTTPS
- ID
- पहचान
- if
- कार्यान्वयन
- आयात
- in
- शामिल
- सहित
- अनुक्रमणिका
- इंफ्रास्ट्रक्चर
- शुरू में
- पहल
- निविष्टियां
- स्थापित
- installed
- उदाहरण
- निर्देश
- एकीकृत
- बुद्धि
- इंटरनेट
- में
- परिचय कराना
- IT
- काम
- नौकरियां
- जेपीजी
- JSON
- कुंजी
- Instagram पर
- लेबल
- झील
- परिदृश्य
- बाद में
- ताज़ा
- सीख रहा हूँ
- नेतृत्व
- का लाभ उठाया
- जीवन
- जीवन विज्ञान
- लाइन
- लॉग इन
- लंबे समय तक
- मशीन
- यंत्र अधिगम
- मुख्य
- बनाए रखना
- बनाना
- कामयाब
- प्रबंध
- विनिर्माण
- हाशिया
- सामूहिक
- मास्टर की
- तंत्र
- बैठक
- मेन्यू
- मर्ज
- मेट्रिक्स
- लापता
- ML
- एमएलओपीएस
- आदर्श
- मोडलिंग
- मॉडल
- संशोधित
- मॉड्यूल
- लम्हें
- मॉनिटर
- नजर रखी
- निगरानी
- अधिक
- विभिन्न
- नाम
- नामांकित
- नामकरण
- पथ प्रदर्शन
- आवश्यकता
- जरूरत
- की जरूरत है
- नया
- अगला
- साधारण
- नोटबुक
- अधिसूचना
- सूचनाएं
- संख्या
- numpy
- of
- अक्सर
- on
- ONE
- संचालन
- or
- आदेश
- संगठनों
- अन्य
- आउट
- बाहर
- के ऊपर
- सिंहावलोकन
- अपना
- पैकेज
- पृष्ठ
- दर्द
- पांडा
- फलक
- भाग
- भागों
- पारित कर दिया
- जुनून
- आवेशपूर्ण
- पैटर्न
- प्रदर्शन
- अनुमतियाँ
- फ़ोटोग्राफ़ी
- उठाया
- की पसंद
- पाइपलाइन
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- अंक
- नीतियाँ
- नीति
- पद
- प्रथाओं
- भविष्यवाणी करना
- भविष्यवाणियों
- तैयार करना
- आवश्यक शर्तें
- पिछला
- प्रिंसिपल
- पूर्व
- विशेषाधिकारों
- प्रक्रिया
- प्रसंस्करण
- उत्पादन
- उत्पाद
- पेशेवर
- परियोजना
- को बढ़ावा देना
- प्रचारित
- पदोन्नति
- प्रदान करना
- बशर्ते
- प्रदान करता है
- प्रदान कर
- प्रावधान
- सार्वजनिक रूप से
- खींचती
- कर्मों
- धक्का
- अजगर
- जल्दी से
- तेजी
- कच्चा
- पढ़ना
- तैयार
- असली दुनिया
- क्षेत्र
- रजिस्टर
- पंजीकृत
- रजिस्टरों
- रजिस्ट्री
- नियामक
- सम्बंधित
- संबंध
- हटाना
- कोष
- का अनुरोध
- अपेक्षित
- आवश्यकताएँ
- संसाधन
- उपयुक्त संसाधन चुनें
- प्रतिक्रिया
- खुदरा
- वापसी
- नदी के किनारे
- भूमिका
- भूमिकाओं
- जड़
- नियम
- नियम
- रन
- चलाता है
- sagemaker
- SageMaker पाइपलाइन
- वही
- सहेजें
- बचाया
- स्केलेबल
- परिदृश्य
- अनुसूची
- अनुसूचित
- समयबद्धन
- विज्ञान
- विज्ञान
- वैज्ञानिक
- लिपि
- लिपियों
- मूल
- दूसरा
- अनुभाग
- सुरक्षित
- सुरक्षा
- देखना
- भेजें
- भेजना
- भेजता
- भेजा
- अलग
- सर्वर
- सेवा
- सेवाएँ
- सेट
- सेटिंग्स
- व्यवस्था
- आकार
- Share
- वह
- चाहिए
- दिखाना
- प्रदर्शन
- दिखाया
- दिखाता है
- सरल
- टुकड़ा
- So
- समाधान
- समाधान ढूंढे
- सुलझाने
- स्रोत
- सूत्रों का कहना है
- अंतरिक्ष
- विशेषीकृत
- विशिष्ट
- विभाजित
- राज्य
- कथन
- स्थिर
- स्थिति
- कदम
- कदम
- फिर भी
- की दुकान
- संग्रहित
- भंडार
- तार
- संरचना
- स्टूडियो
- सफल
- ऐसा
- समर्थन करता है
- लक्ष्य
- टीमों
- दूरसंचार
- terraform
- परीक्षण
- परीक्षण
- कि
- RSI
- उन
- फिर
- वहाँ।
- इन
- चीज़ें
- तीसरा
- तीसरे दल
- इसका
- तीन
- यहाँ
- पहर
- सेवा मेरे
- उपकरण सेट
- ऊपर का
- विषय
- ट्रैक
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- बदालना
- ट्रिगर
- शुरू हो रहा
- ट्रिगर
- <strong>उद्देश्य</strong>
- ट्रस्ट
- मोड़
- दो
- ui
- के अंतर्गत
- विश्वविद्यालय
- यूनिवर्सिटी ऑफ कैलिफोर्निया
- अपडेट
- अद्यतन
- अपलोड की गई
- यूआरएल
- us
- उपयोग
- प्रयुक्त
- का उपयोग
- उपयोगिता
- मान
- विभिन्न
- संस्करण
- संस्करणों
- के माध्यम से
- वीडियो
- दिखाई
- घड़ी
- we
- वेब
- वेब सेवाओं
- कब
- जब कभी
- जहाँ तक
- कौन कौन से
- जब
- मर्जी
- साथ में
- अंदर
- बिना
- काम
- काम किया
- वर्कफ़्लो
- काम कर रहे
- कार्य
- लिखना
- लिखा हुआ
- आप
- आपका
- यूट्यूब
- जेफिरनेट