उत्पादन में मशीन लर्निंग (एमएल) वर्कफ़्लो को बनाए रखना एक चुनौतीपूर्ण कार्य है क्योंकि इसमें एमएल कोड और मॉडल के लिए निरंतर एकीकरण और निरंतर वितरण (सीआई/सीडी) पाइपलाइन बनाने, मॉडल संस्करण, डेटा और अवधारणा बहाव के लिए निगरानी, मॉडल पुनः प्रशिक्षण और एक मैनुअल की आवश्यकता होती है। यह सुनिश्चित करने के लिए अनुमोदन प्रक्रिया कि मॉडल के नए संस्करण प्रदर्शन और अनुपालन दोनों आवश्यकताओं को पूरा करते हैं।
इस पोस्ट में, हम वर्णन करते हैं कि बैच अनुमान के लिए एक एमएलओपीएस वर्कफ़्लो कैसे बनाया जाए जो जॉब शेड्यूलिंग, मॉडल मॉनिटरिंग, रीट्रेनिंग और पंजीकरण के साथ-साथ त्रुटि प्रबंधन और अधिसूचना को स्वचालित करता है। अमेज़न SageMaker, अमेज़न EventBridge, AWS लाम्बा, अमेज़न सरल अधिसूचना सेवा (अमेज़ॅन एसएनएस), हाशीकॉर्प टेराफॉर्म, और गिटलैब सीआई/सीडी। प्रस्तुत एमएलओपीएस वर्कफ़्लो स्वचालन, निगरानी, ऑडिटेबिलिटी और स्केलेबिलिटी के माध्यम से एमएल जीवनचक्र के प्रबंधन के लिए एक पुन: प्रयोज्य टेम्पलेट प्रदान करता है, जिससे उत्पादन में बैच अनुमान कार्यभार को बनाए रखने की जटिलताओं और लागत को कम किया जा सकता है।
समाधान अवलोकन
निम्नलिखित आंकड़ा उन संगठनों के लिए एंटरप्राइज़ बैच अनुमान के लिए प्रस्तावित लक्ष्य MLOps आर्किटेक्चर को दर्शाता है जो AWS टूल और सेवाओं के संयोजन में GitLab CI/CD और टेराफ़ॉर्म इंफ्रास्ट्रक्चर को कोड (IaC) के रूप में उपयोग करते हैं। GitLab CI/CD मैक्रो-ऑर्केस्ट्रेटर, ऑर्केस्ट्रेटिंग के रूप में कार्य करता है model build
और model deploy
पाइपलाइन, जिसमें सोर्सिंग, निर्माण और प्रावधान शामिल हैं अमेज़न SageMaker पाइपलाइन और सेजमेकर पायथन एसडीके और टेराफॉर्म का उपयोग करके संसाधनों का समर्थन करना। सेजमेकर पायथन एसडीके का उपयोग प्रशिक्षण, हाइपरपैरामीटर ऑप्टिमाइजेशन (एचपीओ) के साथ प्रशिक्षण और बैच अनुमान के लिए सेजमेकर पाइपलाइन बनाने या अपडेट करने के लिए किया जाता है। टेराफॉर्म का उपयोग सेजमेकर पाइपलाइनों की निगरानी और सूचनाएं भेजने के लिए इवेंटब्रिज नियम, लैम्ब्डा फ़ंक्शन और एसएनएस विषयों जैसे अतिरिक्त संसाधन बनाने के लिए किया जाता है (उदाहरण के लिए, जब पाइपलाइन चरण विफल या सफल होता है)। सेजमेकर पाइपलाइन एमएल मॉडल प्रशिक्षण और अनुमान वर्कफ़्लो के लिए ऑर्केस्ट्रेटर के रूप में कार्य करती है।
यह आर्किटेक्चर डिज़ाइन एक बहु-खाता रणनीति का प्रतिनिधित्व करता है जहां एमएल मॉडल डेटा विज्ञान विकास खाते के भीतर एक केंद्रीय मॉडल रजिस्ट्री में निर्मित, प्रशिक्षित और पंजीकृत होते हैं (जिसमें एक विशिष्ट एप्लिकेशन डेवलपमेंट खाते की तुलना में अधिक नियंत्रण होते हैं)। फिर, GitLab CI/CD जैसे DevOps टूल से ऑटोमेशन का उपयोग करके स्टेजिंग और उत्पादन खातों में अनुमान पाइपलाइन तैनात की जाती हैं। केंद्रीय मॉडल रजिस्ट्री को वैकल्पिक रूप से साझा सेवा खाते में भी रखा जा सकता है। को देखें ऑपरेटिंग मॉडल एमएल के लिए बहु-खाता रणनीति के संबंध में सर्वोत्तम प्रथाओं के लिए।
निम्नलिखित उपखंडों में, हम वास्तुकला डिजाइन के विभिन्न पहलुओं पर विस्तार से चर्चा करते हैं।
कोड के रूप में अवसंरचना
IaC कुशल संस्करण नियंत्रण सुनिश्चित करते हुए मशीन-पठनीय फ़ाइलों के माध्यम से आईटी बुनियादी ढांचे को प्रबंधित करने का एक तरीका प्रदान करता है। इस पोस्ट और संलग्न कोड नमूने में, हम प्रदर्शित करते हैं कि कैसे उपयोग करें हाशीकॉर्प टेराफॉर्म AWS संसाधनों को प्रभावी ढंग से प्रबंधित करने के लिए GitLab CI/CD के साथ। यह दृष्टिकोण IaC के प्रमुख लाभ को रेखांकित करता है, जो आईटी बुनियादी ढांचे के प्रबंधन में एक पारदर्शी और दोहराने योग्य प्रक्रिया की पेशकश करता है।
मॉडल प्रशिक्षण और पुनर्प्रशिक्षण
इस डिज़ाइन में, सेजमेकर प्रशिक्षण पाइपलाइन एक शेड्यूल (इवेंटब्रिज के माध्यम से) या एक के आधार पर चलती है अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस3) ईवेंट ट्रिगर (उदाहरण के लिए, जब एक ट्रिगर फ़ाइल या नया प्रशिक्षण डेटा, एकल प्रशिक्षण डेटा ऑब्जेक्ट के मामले में, अमेज़ॅन एस3 में रखा जाता है) नए डेटा के साथ मॉडल को नियमित रूप से पुन: कैलिब्रेट करने के लिए। यह पाइपलाइन मॉडल में संरचनात्मक या भौतिक परिवर्तन नहीं लाती है क्योंकि यह निश्चित हाइपरपैरामीटर का उपयोग करती है जिन्हें एंटरप्राइज़ मॉडल समीक्षा प्रक्रिया के दौरान अनुमोदित किया गया है।
प्रशिक्षण पाइपलाइन नए प्रशिक्षित मॉडल संस्करण को पंजीकृत करती है अमेज़न सैजमेकर मॉडल रजिस्ट्री यदि मॉडल पूर्वनिर्धारित मॉडल प्रदर्शन सीमा से अधिक है (उदाहरण के लिए, प्रतिगमन के लिए आरएमएसई और वर्गीकरण के लिए एफ1 स्कोर)। जब मॉडल का एक नया संस्करण मॉडल रजिस्ट्री में पंजीकृत होता है, तो यह अमेज़ॅन एसएनएस के माध्यम से जिम्मेदार डेटा वैज्ञानिक को एक अधिसूचना ट्रिगर करता है। इसके बाद डेटा वैज्ञानिक को मॉडल के नवीनतम संस्करण की समीक्षा करने और उसे मैन्युअल रूप से अनुमोदित करने की आवश्यकता होती है अमेज़ॅन सैजमेकर स्टूडियो यूआई या एपीआई कॉल के माध्यम से AWS कमांड लाइन इंटरफ़ेस (AWS CLI) या Python के लिए AWS SDK (Boto3) का उपयोग अनुमान के लिए मॉडल के नए संस्करण से पहले किया जा सकता है।
सेजमेकर प्रशिक्षण पाइपलाइन और इसके सहायक संसाधन GitLab द्वारा बनाए गए हैं model build
पाइपलाइन, या तो GitLab पाइपलाइन के मैन्युअल रन के माध्यम से या स्वचालित रूप से जब कोड को मर्ज किया जाता है main
की शाखा model build
गिट भंडार.
बैच का अनुमान
सेजमेकर बैच अनुमान पाइपलाइन एक शेड्यूल पर (इवेंटब्रिज के माध्यम से) या S3 इवेंट ट्रिगर पर भी चलती है। बैच अनुमान पाइपलाइन स्वचालित रूप से मॉडल रजिस्ट्री से मॉडल के नवीनतम अनुमोदित संस्करण को खींचती है और अनुमान के लिए इसका उपयोग करती है। बैच अनुमान पाइपलाइन में प्रशिक्षण पाइपलाइन द्वारा बनाई गई बेसलाइन के विरुद्ध डेटा गुणवत्ता की जांच करने के चरण शामिल हैं, साथ ही यदि जमीनी सच्चाई लेबल उपलब्ध हैं तो मॉडल गुणवत्ता (मॉडल प्रदर्शन) भी शामिल है।
यदि बैच अनुमान पाइपलाइन डेटा गुणवत्ता के मुद्दों का पता लगाती है, तो यह अमेज़ॅन एसएनएस के माध्यम से जिम्मेदार डेटा वैज्ञानिक को सूचित करेगी। यदि यह मॉडल गुणवत्ता संबंधी समस्याओं का पता लगाता है (उदाहरण के लिए, आरएमएसई पूर्व-निर्दिष्ट सीमा से अधिक है), तो मॉडल गुणवत्ता जांच के लिए पाइपलाइन चरण विफल हो जाएगा, जो बदले में एचपीओ पाइपलाइन के साथ प्रशिक्षण शुरू करने के लिए एक इवेंटब्रिज इवेंट को ट्रिगर करेगा।
सेजमेकर बैच अनुमान पाइपलाइन और इसके सहायक संसाधन GitLab द्वारा बनाए गए हैं model deploy
पाइपलाइन, या तो GitLab पाइपलाइन के मैन्युअल रन के माध्यम से या स्वचालित रूप से जब कोड को मर्ज किया जाता है main
की शाखा model deploy
गिट भंडार.
मॉडल ट्यूनिंग और रीट्यूनिंग
एचपीओ पाइपलाइन के साथ सेजमेकर प्रशिक्षण तब चालू हो जाता है जब बैच अनुमान पाइपलाइन का मॉडल गुणवत्ता जांच चरण विफल हो जाता है। मॉडल गुणवत्ता जांच वास्तविक जमीनी सच्चाई लेबल के साथ मॉडल भविष्यवाणियों की तुलना करके की जाती है। यदि मॉडल गुणवत्ता मीट्रिक (उदाहरण के लिए, प्रतिगमन के लिए RMSE और वर्गीकरण के लिए F1 स्कोर) पूर्व-निर्दिष्ट मानदंड को पूरा नहीं करता है, तो मॉडल गुणवत्ता जांच चरण को विफल के रूप में चिह्नित किया जाता है। यदि आवश्यक हो तो जिम्मेदार डेटा वैज्ञानिक द्वारा एचपीओ पाइपलाइन के साथ सेजमेकर प्रशिक्षण को मैन्युअल रूप से (सेजमेकर स्टूडियो यूआई में या एडब्ल्यूएस सीएलआई या सेजमेकर पायथन एसडीके का उपयोग करके एपीआई कॉल के माध्यम से) भी ट्रिगर किया जा सकता है। क्योंकि मॉडल हाइपरपैरामीटर बदल रहे हैं, मॉडल रजिस्ट्री में नए मॉडल संस्करण को मंजूरी देने से पहले जिम्मेदार डेटा वैज्ञानिक को एंटरप्राइज़ मॉडल समीक्षा बोर्ड से अनुमोदन प्राप्त करने की आवश्यकता होती है।
एचपीओ पाइपलाइन और इसके सहायक संसाधनों के साथ सेजमेकर प्रशिक्षण GitLab द्वारा बनाया गया है model build
पाइपलाइन, या तो GitLab पाइपलाइन के मैन्युअल रन के माध्यम से या स्वचालित रूप से जब कोड को मर्ज किया जाता है main
की शाखा model build
गिट भंडार.
मॉडल की निगरानी
एचपीओ पाइपलाइनों के साथ प्रशिक्षण और प्रशिक्षण के हिस्से के रूप में डेटा आँकड़े और बाधाएँ आधार रेखाएँ उत्पन्न की जाती हैं। यदि मॉडल मूल्यांकन पास कर लेता है तो उन्हें अमेज़ॅन एस3 में सहेजा जाता है और मॉडल रजिस्ट्री में प्रशिक्षित मॉडल के साथ पंजीकृत भी किया जाता है। बैच अनुमान पाइपलाइन के उपयोग के लिए प्रस्तावित वास्तुकला अमेज़ॅन सैजमेकर मॉडल मॉनिटर कस्टम का उपयोग करते समय डेटा गुणवत्ता जांच के लिए अमेज़न SageMaker प्रसंस्करण मॉडल गुणवत्ता जांच के लिए कदम. यह डिज़ाइन डेटा और मॉडल गुणवत्ता जांच को अलग करता है, जो बदले में आपको केवल डेटा बहाव का पता चलने पर चेतावनी अधिसूचना भेजने की अनुमति देता है; और मॉडल गुणवत्ता उल्लंघन का पता चलने पर एचपीओ पाइपलाइन के साथ प्रशिक्षण शुरू करें।
मॉडल अनुमोदन
मॉडल रजिस्ट्री में एक नए प्रशिक्षित मॉडल के पंजीकृत होने के बाद, जिम्मेदार डेटा वैज्ञानिक को एक अधिसूचना प्राप्त होती है। यदि मॉडल को प्रशिक्षण पाइपलाइन द्वारा प्रशिक्षित किया गया है (हाइपरपैरामीटर तय होने पर नए प्रशिक्षण डेटा के साथ पुन: अंशांकन), तो एंटरप्राइज़ मॉडल समीक्षा बोर्ड से अनुमोदन की कोई आवश्यकता नहीं है। डेटा वैज्ञानिक स्वतंत्र रूप से मॉडल के नए संस्करण की समीक्षा और अनुमोदन कर सकता है। दूसरी ओर, यदि मॉडल को एचपीओ पाइपलाइन (हाइपरपैरामीटर को बदलकर पुन: ट्यूनिंग) के साथ प्रशिक्षण द्वारा प्रशिक्षित किया गया है, तो नए मॉडल संस्करण को उत्पादन में अनुमान लगाने के लिए उपयोग करने से पहले एंटरप्राइज़ समीक्षा प्रक्रिया से गुजरना होगा। जब समीक्षा प्रक्रिया पूरी हो जाती है, तो डेटा वैज्ञानिक आगे बढ़ सकता है और मॉडल रजिस्ट्री में मॉडल के नए संस्करण को मंजूरी दे सकता है। मॉडल पैकेज की स्थिति को बदलना Approved
इवेंटब्रिज के माध्यम से एक लैम्ब्डा फ़ंक्शन ट्रिगर होगा, जो बदले में गिटलैब को ट्रिगर करेगा model deploy
एपीआई कॉल के माध्यम से पाइपलाइन। यह अनुमान के लिए मॉडल के नवीनतम अनुमोदित संस्करण का उपयोग करने के लिए सेजमेकर बैच अनुमान पाइपलाइन को स्वचालित रूप से अपडेट कर देगा।
मॉडल रजिस्ट्री में नए मॉडल संस्करण को स्वीकृत या अस्वीकार करने के दो मुख्य तरीके हैं: पायथन (Boto3) के लिए AWS SDK का उपयोग करना या SageMaker Studio UI से। डिफ़ॉल्ट रूप से, प्रशिक्षण पाइपलाइन और एचपीओ पाइपलाइन सेट के साथ प्रशिक्षण दोनों ModelApprovalStatus
सेवा मेरे PendingManualApproval
. जिम्मेदार डेटा वैज्ञानिक कॉल करके मॉडल के लिए अनुमोदन स्थिति को अपडेट कर सकता है update_model_package
Boto3 से एपीआई। को देखें किसी मॉडल की स्वीकृति स्थिति को अपडेट करें सेजमेकर स्टूडियो यूआई के माध्यम से किसी मॉडल की अनुमोदन स्थिति को अद्यतन करने के बारे में विवरण के लिए।
डेटा I/O डिज़ाइन
सेजमेकर प्रशिक्षण और अनुमान पाइपलाइनों में व्यक्तिगत चरणों के इनपुट को पढ़ने और आउटपुट को संग्रहीत करने के लिए अमेज़ॅन एस 3 के साथ सीधे इंटरैक्ट करता है। निम्नलिखित आरेख दिखाता है कि कैसे अलग-अलग पायथन स्क्रिप्ट, कच्चे और संसाधित प्रशिक्षण डेटा, कच्चे और संसाधित अनुमान डेटा, अनुमान परिणाम और जमीनी सच्चाई लेबल (यदि मॉडल गुणवत्ता निगरानी के लिए उपलब्ध है), मॉडल कलाकृतियां, प्रशिक्षण और अनुमान मूल्यांकन मेट्रिक्स (मॉडल गुणवत्ता निगरानी), साथ ही डेटा गुणवत्ता बेसलाइन और उल्लंघन रिपोर्ट (डेटा गुणवत्ता निगरानी के लिए) को S3 बकेट के भीतर व्यवस्थित किया जा सकता है। आरेख में तीरों की दिशा इंगित करती है कि कौन सी फ़ाइलें सेजमेकर पाइपलाइनों में उनके संबंधित चरणों से इनपुट या आउटपुट हैं। पढ़ने में आसान बनाने के लिए तीरों को पाइपलाइन चरण प्रकार के आधार पर रंग-कोडित किया गया है। पाइपलाइन स्वचालित रूप से GitLab रिपॉजिटरी से पायथन स्क्रिप्ट अपलोड करेगी और उचित S3 पथ में प्रत्येक चरण से आउटपुट फ़ाइलों या मॉडल कलाकृतियों को संग्रहीत करेगी।
डेटा इंजीनियर निम्नलिखित के लिए जिम्मेदार है:
- Amazon S3 में लेबल किए गए प्रशिक्षण डेटा को उचित पथ पर अपलोड करना। इसमें नियमित रूप से नए प्रशिक्षण डेटा को जोड़ना शामिल है ताकि यह सुनिश्चित किया जा सके कि प्रशिक्षण पाइपलाइन और एचपीओ पाइपलाइन के साथ प्रशिक्षण के पास क्रमशः मॉडल रीट्रेनिंग और रीट्यूनिंग के लिए हाल के प्रशिक्षण डेटा तक पहुंच हो।
- अनुमान पाइपलाइन के नियोजित संचालन से पहले S3 बकेट में उचित पथ के अनुमान के लिए इनपुट डेटा अपलोड करना।
- मॉडल गुणवत्ता निगरानी के लिए उचित S3 पथ पर जमीनी सच्चाई लेबल अपलोड करना।
डेटा वैज्ञानिक निम्नलिखित के लिए जिम्मेदार है:
- जमीनी सच्चाई के लेबल तैयार करना और उन्हें अमेज़न S3 पर अपलोड करने के लिए डेटा इंजीनियरिंग टीम को प्रदान करना।
- उद्यम समीक्षा प्रक्रिया के माध्यम से एचपीओ पाइपलाइन के साथ प्रशिक्षण द्वारा प्रशिक्षित मॉडल संस्करणों को लेना और आवश्यक अनुमोदन प्राप्त करना।
- मॉडल रजिस्ट्री में नए प्रशिक्षित मॉडल संस्करणों को मैन्युअल रूप से स्वीकृत या अस्वीकार करना।
- अनुमान पाइपलाइन के लिए उत्पादन गेट को मंजूरी देना और उत्पादन को बढ़ावा देने के लिए संसाधनों का समर्थन करना।
नमूना कोड
इस अनुभाग में, हम एकल-खाता सेटअप के साथ बैच अनुमान संचालन के लिए एक नमूना कोड प्रस्तुत करते हैं जैसा कि निम्नलिखित आर्किटेक्चर आरेख में दिखाया गया है। नमूना कोड यहां पाया जा सकता है गिटहब भंडार, और उद्यमों के लिए अक्सर आवश्यक गुणवत्ता वाले गेटों का उपयोग करके मॉडल निगरानी और स्वचालित पुनर्प्रशिक्षण के साथ बैच अनुमान के लिए शुरुआती बिंदु के रूप में कार्य कर सकता है। नमूना कोड निम्नलिखित तरीकों से लक्ष्य वास्तुकला से भिन्न है:
- यह एमएल मॉडल और सहायक संसाधनों के निर्माण और तैनाती के लिए एकल AWS खाते का उपयोग करता है। को देखें एकाधिक खातों का उपयोग करके अपने एडब्ल्यूएस पर्यावरण को व्यवस्थित करना AWS पर मल्टी-अकाउंट सेटअप पर मार्गदर्शन के लिए।
- यह एमएल मॉडल और सहायक संसाधनों के निर्माण और तैनाती के लिए एकल GitLab CI/CD पाइपलाइन का उपयोग करता है।
- जब मॉडल के एक नए संस्करण को प्रशिक्षित और अनुमोदित किया जाता है, तो GitLab CI/CD पाइपलाइन स्वचालित रूप से चालू नहीं होती है और मॉडल के नवीनतम अनुमोदित संस्करण के साथ SageMaker बैच अनुमान पाइपलाइन को अपडेट करने के लिए जिम्मेदार डेटा वैज्ञानिक द्वारा मैन्युअल रूप से चलाने की आवश्यकता होती है।
- यह सेजमेकर प्रशिक्षण और अनुमान पाइपलाइनों को चलाने के लिए केवल S3 इवेंट-आधारित ट्रिगर्स का समर्थन करता है।
.. पूर्वापेक्षाएँ
इस समाधान को तैनात करने से पहले आपके पास निम्नलिखित शर्तें होनी चाहिए:
- एक एडब्ल्यूएस खाता
- सेजमेकर स्टूडियो
- अमेज़ॅन S3 के साथ एक सेजमेकर निष्पादन भूमिका पढ़ें/लिखें और AWS प्रमुख प्रबंधन सेवा (एडब्ल्यूएस केएमएस) एन्क्रिप्ट/डिक्रिप्ट अनुमतियाँ
- डेटा, स्क्रिप्ट और मॉडल कलाकृतियों को संग्रहीत करने के लिए एक S3 बाल्टी
- terraform संस्करण 0.13.5 या अधिक
- पाइपलाइनों को चलाने के लिए एक कार्यशील डॉकर रनर के साथ GitLab
- एडब्ल्यूएस सीएलआई
- jq
- खोलना
- Python3 (पायथन 3.7 या उच्चतर) और निम्नलिखित Python पैकेज:
- boto3
- sagemaker
- पांडा
- pyyaml
भंडार संरचना
RSI गिटहब भंडार निम्नलिखित निर्देशिकाएँ और फ़ाइलें शामिल हैं:
/code/lambda_function/
- इस निर्देशिका में लैम्ब्डा फ़ंक्शन के लिए पायथन फ़ाइल शामिल है जो सेजमेकर पाइपलाइनों के चरण स्थिति परिवर्तनों के बारे में अधिसूचना संदेश (अमेज़ॅन एसएनएस के माध्यम से) तैयार करती है और भेजती है/data/
- इस निर्देशिका में कच्ची डेटा फ़ाइलें (प्रशिक्षण, अनुमान और जमीनी सच्चाई डेटा) शामिल हैं/env_files/
- इस निर्देशिका में टेराफॉर्म इनपुट वेरिएबल फ़ाइल शामिल है/pipeline_scripts/
- इस निर्देशिका में एचपीओ सेजमेकर पाइपलाइनों के साथ प्रशिक्षण, अनुमान और प्रशिक्षण बनाने और अद्यतन करने के लिए तीन पायथन स्क्रिप्ट शामिल हैं, साथ ही प्रत्येक पाइपलाइन के मापदंडों को निर्दिष्ट करने के लिए कॉन्फ़िगरेशन फ़ाइलें भी हैं।/scripts/
- इस निर्देशिका में अतिरिक्त पायथन स्क्रिप्ट (जैसे प्रीप्रोसेसिंग और मूल्यांकन) शामिल हैं जिन्हें एचपीओ पाइपलाइनों के साथ प्रशिक्षण, अनुमान और प्रशिक्षण द्वारा संदर्भित किया जाता है.gitlab-ci.yml
- यह फ़ाइल GitLab CI/CD पाइपलाइन कॉन्फ़िगरेशन निर्दिष्ट करती है/events.tf
- यह फ़ाइल इवेंटब्रिज संसाधनों को परिभाषित करती है/lambda.tf
- यह फ़ाइल लैम्ब्डा अधिसूचना फ़ंक्शन और संबंधित को परिभाषित करती है AWS पहचान और अभिगम प्रबंधन (आईएएम) संसाधन/main.tf
- यह फ़ाइल टेराफॉर्म डेटा स्रोतों और स्थानीय चर को परिभाषित करती है/sns.tf
- यह फ़ाइल Amazon SNS संसाधनों को परिभाषित करती है/tags.json
- यह JSON फ़ाइल आपको कस्टम टैग कुंजी-मूल्य जोड़े घोषित करने और स्थानीय चर का उपयोग करके उन्हें अपने टेराफ़ॉर्म संसाधनों में जोड़ने की अनुमति देती है/variables.tf
- यह फ़ाइल सभी टेराफॉर्म वेरिएबल्स घोषित करती है
चर और विन्यास
निम्न तालिका उन चरों को दिखाती है जिनका उपयोग इस समाधान को पैरामीटराइज़ करने के लिए किया जाता है। को देखें ./env_files/dev_env.tfvars
अधिक जानकारी के लिए फ़ाइल करें.
नाम | Description |
bucket_name |
S3 बकेट जिसका उपयोग डेटा, स्क्रिप्ट और मॉडल कलाकृतियों को संग्रहीत करने के लिए किया जाता है |
bucket_prefix |
एमएल प्रोजेक्ट के लिए S3 उपसर्ग |
bucket_train_prefix |
प्रशिक्षण डेटा के लिए S3 उपसर्ग |
bucket_inf_prefix |
अनुमान डेटा के लिए S3 उपसर्ग |
notification_function_name |
लैम्ब्डा फ़ंक्शन का नाम जो सेजमेकर पाइपलाइनों के चरण स्थिति परिवर्तनों के बारे में अधिसूचना संदेश तैयार करता है और भेजता है |
custom_notification_config |
किसी विशिष्ट पाइपलाइन रन स्थिति का पता चलने पर विशिष्ट सेजमेकर पाइपलाइन चरणों के लिए अधिसूचना संदेश को अनुकूलित करने के लिए कॉन्फ़िगरेशन |
email_recipient |
सेजमेकर पाइपलाइनों की चरण स्थिति परिवर्तन सूचनाएं प्राप्त करने के लिए ईमेल पता सूची |
pipeline_inf |
सेजमेकर अनुमान पाइपलाइन का नाम |
pipeline_train |
सेजमेकर प्रशिक्षण पाइपलाइन का नाम |
pipeline_trainwhpo |
एचपीओ पाइपलाइन के साथ सेजमेकर प्रशिक्षण का नाम |
recreate_pipelines |
अगर करने के लिए सेट है true , तीन मौजूदा सेजमेकर पाइपलाइन (प्रशिक्षण, अनुमान, एचपीओ के साथ प्रशिक्षण) हटा दी जाएंगी और GitLab CI/CD चलने पर नई बनाई जाएंगी |
model_package_group_name |
मॉडल पैकेज समूह का नाम |
accuracy_mse_threshold |
मॉडल में अद्यतन की आवश्यकता से पहले एमएसई का अधिकतम मूल्य |
role_arn |
सेजमेकर पाइपलाइन निष्पादन भूमिका की IAM भूमिका ARN |
kms_key |
Amazon S3 और SageMaker एन्क्रिप्शन के लिए KMS कुंजी ARN |
subnet_id |
सेजमेकर नेटवर्किंग कॉन्फ़िगरेशन के लिए सबनेट आईडी |
sg_id |
सेजमेकर नेटवर्किंग कॉन्फ़िगरेशन के लिए सुरक्षा समूह आईडी |
upload_training_data |
अगर करने के लिए सेट है true , प्रशिक्षण डेटा अमेज़ॅन S3 पर अपलोड किया जाएगा, और यह अपलोड ऑपरेशन प्रशिक्षण पाइपलाइन के संचालन को ट्रिगर करेगा |
upload_inference_data |
अगर करने के लिए सेट है true , अनुमान डेटा अमेज़ॅन S3 पर अपलोड किया जाएगा, और यह अपलोड ऑपरेशन अनुमान पाइपलाइन के रन को ट्रिगर करेगा |
user_id |
सेजमेकर उपयोगकर्ता की कर्मचारी आईडी जिसे सेजमेकर संसाधनों में एक टैग के रूप में जोड़ा जाता है |
समाधान तैनात करें
अपने AWS खाते में समाधान तैनात करने के लिए निम्नलिखित चरणों को पूरा करें:
- GitHub रिपॉजिटरी को अपनी कार्यशील निर्देशिका में क्लोन करें।
- अपने परिवेश के अनुरूप GitLab CI/CD पाइपलाइन कॉन्फ़िगरेशन की समीक्षा करें और संशोधित करें। कॉन्फ़िगरेशन में निर्दिष्ट है
./gitlab-ci.yml
फ़ाइल. - सामान्य समाधान चर को अद्यतन करने के लिए README फ़ाइल देखें
./env_files/dev_env.tfvars
फ़ाइल। इस फ़ाइल में पायथन स्क्रिप्ट और टेराफॉर्म ऑटोमेशन दोनों के लिए वेरिएबल हैं।- अतिरिक्त सेजमेकर पाइपलाइन पैरामीटर की जाँच करें जो नीचे दी गई YAML फ़ाइलों में परिभाषित हैं
./batch_scoring_pipeline/pipeline_scripts/
. यदि आवश्यक हो तो मापदंडों की समीक्षा करें और अद्यतन करें।
- अतिरिक्त सेजमेकर पाइपलाइन पैरामीटर की जाँच करें जो नीचे दी गई YAML फ़ाइलों में परिभाषित हैं
- सेजमेकर पाइपलाइन निर्माण स्क्रिप्ट की समीक्षा करें
./pipeline_scripts/
साथ ही वे लिपियाँ जिनका संदर्भ उनके द्वारा दिया गया है./scripts/
फ़ोल्डर. GitHub रेपो में प्रदान की गई उदाहरण स्क्रिप्ट पर आधारित हैं अबालोन डेटासेट. यदि आप किसी भिन्न डेटासेट का उपयोग करने जा रहे हैं, तो सुनिश्चित करें कि आप अपनी विशेष समस्या के अनुरूप स्क्रिप्ट को अपडेट कर लें। - अपनी डेटा फ़ाइलें इसमें डालें
./data/
निम्नलिखित नामकरण परंपरा का उपयोग करके फ़ोल्डर। यदि आप प्रदान की गई उदाहरण स्क्रिप्ट के साथ एबालोन डेटासेट का उपयोग कर रहे हैं, तो सुनिश्चित करें कि डेटा फ़ाइलें हेडरलेस हैं, प्रशिक्षण डेटा में संरक्षित कॉलम के मूल क्रम के साथ स्वतंत्र और लक्ष्य दोनों चर शामिल हैं, अनुमान डेटा में केवल स्वतंत्र चर और जमीनी सच्चाई शामिल है फ़ाइल में केवल लक्ष्य चर शामिल है।training-data.csv
inference-data.csv
ground-truth.csv
- GitLab CI/CD पाइपलाइन रन (पहला रन) को ट्रिगर करने के लिए कोड को प्रतिबद्ध करें और रिपॉजिटरी में पुश करें। ध्यान दें कि पहली पाइपलाइन रन विफल हो जाएगी
pipeline
चरण क्योंकि अनुमान पाइपलाइन स्क्रिप्ट के उपयोग के लिए अभी तक कोई अनुमोदित मॉडल संस्करण नहीं है। चरण लॉग की समीक्षा करें और नामित नई सेजमेकर पाइपलाइन को सत्यापित करेंTrainingPipeline
सफलतापूर्वक बनाया गया है.
-
- सेजमेकर स्टूडियो यूआई खोलें, फिर प्रशिक्षण पाइपलाइन की समीक्षा करें और चलाएं।
- प्रशिक्षण पाइपलाइन के सफल संचालन के बाद, मॉडल रजिस्ट्री में पंजीकृत मॉडल संस्करण को मंजूरी दें, फिर संपूर्ण GitLab CI/CD पाइपलाइन को फिर से चलाएँ।
- में टेराफॉर्म योजना आउटपुट की समीक्षा करें
build
अवस्था। मैनुअल को मंजूरी देंapply
पाइपलाइन रन को फिर से शुरू करने के लिए GitLab CI/CD पाइपलाइन में चरण और आपके AWS खाते में निगरानी और अधिसूचना संसाधन बनाने के लिए टेराफॉर्म को अधिकृत करें। - अंत में, सेजमेकर स्टूडियो यूआई में सेजमेकर पाइपलाइनों की रन स्थिति और आउटपुट की समीक्षा करें और अधिसूचना संदेशों के लिए अपना ईमेल जांचें, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है। डिफ़ॉल्ट संदेश का मुख्य भाग JSON प्रारूप में है.
सेजमेकर पाइपलाइन
इस खंड में, हम एमएलओपीएस वर्कफ़्लो के भीतर तीन सेजमेकर पाइपलाइनों का वर्णन करते हैं।
प्रशिक्षण पाइपलाइन
प्रशिक्षण पाइपलाइन निम्नलिखित चरणों से बनी है:
- सुविधा परिवर्तन और एन्कोडिंग सहित प्रीप्रोसेसिंग चरण
- प्रशिक्षण डेटा का उपयोग करके डेटा आँकड़े और बाधाएँ बेसलाइन उत्पन्न करने के लिए डेटा गुणवत्ता जाँच चरण
- प्रशिक्षण चरण
- प्रशिक्षण मूल्यांकन चरण
- यह जांचने के लिए शर्त चरण कि प्रशिक्षित मॉडल पूर्व-निर्दिष्ट प्रदर्शन सीमा को पूरा करता है या नहीं
- यदि प्रशिक्षित मॉडल आवश्यक प्रदर्शन सीमा को पूरा करता है तो नए प्रशिक्षित मॉडल को मॉडल रजिस्ट्री में पंजीकृत करने के लिए मॉडल पंजीकरण चरण
दोनों skip_check_data_quality
और register_new_baseline_data_quality
पैरामीटर सेट किए गए हैं True
प्रशिक्षण पाइपलाइन में. ये पैरामीटर पाइपलाइन को डेटा गुणवत्ता जांच को छोड़ने और प्रशिक्षण डेटा का उपयोग करके नए डेटा आंकड़े या बाधा बेसलाइन बनाने और पंजीकृत करने का निर्देश देते हैं। निम्नलिखित चित्र प्रशिक्षण पाइपलाइन के सफल संचालन को दर्शाता है।
बैच अनुमान पाइपलाइन
बैच अनुमान पाइपलाइन निम्नलिखित चरणों से बनी है:
- मॉडल रजिस्ट्री में नवीनतम अनुमोदित मॉडल संस्करण से एक मॉडल बनाना
- सुविधा परिवर्तन और एन्कोडिंग सहित प्रीप्रोसेसिंग चरण
- बैच अनुमान चरण
- डेटा गुणवत्ता जांच प्रीप्रोसेसिंग चरण, जो डेटा गुणवत्ता जांच के लिए उपयोग किए जाने वाले इनपुट डेटा और मॉडल पूर्वानुमान दोनों वाली एक नई सीएसवी फ़ाइल बनाता है
- डेटा गुणवत्ता जांच चरण, जो पंजीकृत मॉडल से जुड़े आधारभूत आंकड़ों और बाधाओं के विरुद्ध इनपुट डेटा की जांच करता है
- जमीनी सच्चाई डेटा उपलब्ध है या नहीं यह जांचने के लिए शर्त चरण। यदि जमीनी सच्चाई डेटा उपलब्ध है, तो मॉडल गुणवत्ता जांच चरण निष्पादित किया जाएगा
- मॉडल गुणवत्ता गणना चरण, जो जमीनी सच्चाई लेबल के आधार पर मॉडल प्रदर्शन की गणना करता है
दोनों skip_check_data_quality
और register_new_baseline_data_quality
पैरामीटर सेट किए गए हैं False
अनुमान पाइपलाइन में. ये पैरामीटर पाइपलाइन को पंजीकृत मॉडल से जुड़े डेटा आंकड़ों या बाधाओं बेसलाइन का उपयोग करके डेटा गुणवत्ता जांच करने का निर्देश देते हैं (supplied_baseline_statistics_data_quality
और supplied_baseline_constraints_data_quality
) और अनुमान के दौरान नए डेटा आँकड़े और बाधा आधार रेखाएँ बनाना या पंजीकृत करना छोड़ दें। निम्नलिखित चित्र बैच अनुमान पाइपलाइन को दिखाता है जहां अनुमान डेटा पर मॉडल के खराब प्रदर्शन के कारण डेटा गुणवत्ता जांच चरण विफल हो गया है। इस विशेष मामले में, मॉडल को बेहतर बनाने के लिए एचपीओ पाइपलाइन के साथ प्रशिक्षण स्वचालित रूप से चालू हो जाएगा।
एचपीओ पाइपलाइन के साथ प्रशिक्षण
एचपीओ पाइपलाइन के साथ प्रशिक्षण निम्नलिखित चरणों से बना है:
- प्रीप्रोसेसिंग चरण (सुविधा परिवर्तन और एन्कोडिंग)
- प्रशिक्षण डेटा का उपयोग करके डेटा आँकड़े और बाधाएँ बेसलाइन उत्पन्न करने के लिए डेटा गुणवत्ता जाँच चरण
- हाइपरपैरामीटर ट्यूनिंग चरण
- प्रशिक्षण मूल्यांकन चरण
- यह जांचने के लिए शर्त चरण कि प्रशिक्षित मॉडल पूर्व-निर्दिष्ट सटीकता सीमा को पूरा करता है या नहीं
- मॉडल पंजीकरण चरण यदि सर्वोत्तम प्रशिक्षित मॉडल आवश्यक सटीकता सीमा को पूरा करता है
दोनों skip_check_data_quality
और register_new_baseline_data_quality
पैरामीटर सेट किए गए हैं True
एचपीओ पाइपलाइन के साथ प्रशिक्षण में। निम्नलिखित चित्र एचपीओ पाइपलाइन के साथ प्रशिक्षण के सफल संचालन को दर्शाता है।
क्लीन अप
अपने संसाधनों को साफ करने के लिए निम्नलिखित चरणों को पूरा करें:
- रोजगार
destroy
टेराफॉर्म द्वारा प्रावधानित सभी संसाधनों को खत्म करने के लिए GitLab CI/CD पाइपलाइन में चरण। - AWS CLI का उपयोग करें सूची और हटाना कोई भी शेष पाइपलाइन जो पायथन स्क्रिप्ट द्वारा बनाई गई है।
- वैकल्पिक रूप से, अन्य AWS संसाधनों जैसे S3 बकेट या CI/CD पाइपलाइन के बाहर बनाई गई IAM भूमिका को हटा दें।
निष्कर्ष
इस पोस्ट में, हमने दिखाया कि कैसे उद्यम अमेज़ॅन सेजमेकर, अमेज़ॅन इवेंटब्रिज, एडब्ल्यूएस लैम्ब्डा, अमेज़ॅन एसएनएस, हाशीकॉर्प टेराफॉर्म और गिटलैब सीआई/सीडी का उपयोग करके अपने बैच अनुमान नौकरियों के लिए एमएलओपीएस वर्कफ़्लो बना सकते हैं। प्रस्तुत वर्कफ़्लो डेटा और मॉडल मॉनिटरिंग, मॉडल रीट्रेनिंग, साथ ही बैच जॉब रन, कोड वर्जनिंग और इंफ्रास्ट्रक्चर प्रोविजनिंग को स्वचालित करता है। इससे उत्पादन में बैच अनुमान नौकरियों को बनाए रखने की जटिलताओं और लागत में महत्वपूर्ण कमी आ सकती है। कार्यान्वयन विवरण के बारे में अधिक जानकारी के लिए, इसकी समीक्षा करें गीथहब रेपो.
लेखक के बारे में
हसन शोजाई एडब्ल्यूएस प्रोफेशनल सर्विसेज के साथ एक वरिष्ठ डेटा वैज्ञानिक हैं, जहां वह खेल, बीमा और वित्तीय सेवाओं जैसे विभिन्न उद्योगों में ग्राहकों को बड़े डेटा, मशीन लर्निंग और क्लाउड प्रौद्योगिकियों के उपयोग के माध्यम से उनकी व्यावसायिक चुनौतियों का समाधान करने में मदद करते हैं। इस भूमिका से पहले, हसन ने शीर्ष ऊर्जा कंपनियों के लिए नवीन भौतिकी-आधारित और डेटा-संचालित मॉडलिंग तकनीक विकसित करने के लिए कई पहलों का नेतृत्व किया। काम के अलावा, हसन को किताबों, लंबी पैदल यात्रा, फोटोग्राफी और इतिहास का शौक है।
वेनक्सिन लियू एक सीनियर क्लाउड इंफ्रास्ट्रक्चर आर्किटेक्ट हैं। वेन्क्सिन उद्यम कंपनियों को क्लाउड अपनाने में तेजी लाने की सलाह देता है और क्लाउड पर उनके नवाचारों का समर्थन करता है। वह एक पालतू जानवर प्रेमी है और उसे स्नोबोर्डिंग और यात्रा का शौक है।
विवेक लक्ष्मणन अमेज़न में मशीन लर्निंग इंजीनियर हैं। उनके पास डेटा साइंस में विशेषज्ञता के साथ सॉफ्टवेयर इंजीनियरिंग में मास्टर डिग्री है और एमएलई के रूप में कई वर्षों का अनुभव है। विवेक अत्याधुनिक तकनीकों को लागू करने और क्लाउड पर ग्राहकों के लिए एआई/एमएल समाधान बनाने को लेकर उत्साहित हैं। उन्हें एआई/एमएल में सांख्यिकी, एनएलपी और मॉडल व्याख्या का शौक है। अपने खाली समय में, वह क्रिकेट खेलना और सड़क यात्राएँ करना पसंद करते हैं।
एंडी क्रेचिओलो एक क्लाउड इन्फ्रास्ट्रक्चर आर्किटेक्ट है। आईटी बुनियादी ढांचे में 15 वर्षों से अधिक समय के साथ, एंडी एक निपुण और परिणाम-संचालित आईटी पेशेवर है। आईटी बुनियादी ढांचे, संचालन और स्वचालन को अनुकूलित करने के अलावा, एंडी के पास आईटी संचालन का विश्लेषण करने, विसंगतियों की पहचान करने और दक्षता बढ़ाने, लागत कम करने और मुनाफे में वृद्धि करने वाली प्रक्रिया संवर्द्धन को लागू करने का एक सिद्ध ट्रैक रिकॉर्ड है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- चार्टप्राइम. चार्टप्राइम के साथ अपने ट्रेडिंग गेम को उन्नत करें। यहां पहुंचें।
- BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/mlops-for-batch-inference-with-model-monitoring-and-retraining-using-amazon-sagemaker-hashicorp-terraform-and-gitlab-ci-cd/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 100
- 125
- 13
- 15 साल
- 15% तक
- 26% तक
- 29
- 500
- 7
- a
- About
- में तेजी लाने के
- पहुँच
- पूरा
- लेखा
- अकौन्टस(लेखा)
- शुद्धता
- के पार
- वास्तविक
- जोड़ा
- जोड़ने
- इसके अलावा
- अतिरिक्त
- पता
- दत्तक ग्रहण
- के खिलाफ
- ऐ / एमएल
- सब
- की अनुमति देता है
- साथ में
- भी
- वीरांगना
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- an
- का विश्लेषण
- और
- और बुनियादी ढांचे
- कोई
- एपीआई
- आवेदन
- अनुप्रयोग विकास
- लागू
- दृष्टिकोण
- उपयुक्त
- अनुमोदन
- मंजूरी
- अनुमोदन करना
- अनुमोदित
- स्थापत्य
- हैं
- AS
- पहलुओं
- जुड़े
- At
- लेखापरीक्षा
- को अधिकृत
- स्वत:
- ऑटोमेटा
- स्वचालित
- स्वतः
- स्वचालन
- उपलब्ध
- एडब्ल्यूएस
- AWS लाम्बा
- AWS व्यावसायिक सेवाएँ
- आधारित
- आधारभूत
- BE
- क्योंकि
- किया गया
- से पहले
- लाभ
- BEST
- सर्वोत्तम प्रथाओं
- बड़ा
- बड़ा डेटा
- मंडल
- परिवर्तन
- पुस्तकें
- के छात्रों
- शाखा
- इमारत
- बनाया गया
- व्यापार
- by
- गणना
- हिसाब
- कॉल
- बुला
- कर सकते हैं
- मामला
- केंद्रीय
- चुनौतियों
- चुनौतीपूर्ण
- परिवर्तन
- परिवर्तन
- बदलना
- चेक
- जाँच
- जाँचता
- वर्गीकरण
- बादल
- बादल को गोद लेना
- क्लाउड इन्फ्रास्ट्रक्चर
- कोड
- स्तंभ
- कंपनियों
- की तुलना
- पूरा
- जटिलताओं
- अनुपालन
- प्रकृतिस्थ
- संकल्पना
- विन्यास
- संयोजन
- की कमी
- शामिल हैं
- निरंतर
- नियंत्रण
- नियंत्रण
- सम्मेलन
- लागत
- सका
- बनाना
- बनाया
- बनाता है
- बनाना
- निर्माण
- क्रिकेट
- रिवाज
- ग्राहक
- अग्रणी
- तिथि
- डेटा विज्ञान
- आँकड़े वाला वैज्ञानिक
- डेटा पर ही आधारित
- वाणी
- चूक
- परिभाषित
- परिभाषित करता है
- डिग्री
- प्रसव
- दिखाना
- साबित
- तैनात
- तैनात
- तैनाती
- वर्णन
- डिज़ाइन
- विस्तार
- विवरण
- पता चला
- विकसित करना
- विकास
- विभिन्न
- दिशा
- सीधे
- निर्देशिकाओं
- पता चलता है
- चर्चा करना
- डाक में काम करनेवाला मज़दूर
- कर देता है
- नहीं करता है
- दो
- दौरान
- से प्रत्येक
- आसान
- प्रभावी रूप से
- दक्षता
- कुशल
- भी
- को खत्म करने
- ईमेल
- कर्मचारी
- ऊर्जा
- इंजीनियर
- अभियांत्रिकी
- संवर्द्धन
- सुनिश्चित
- सुनिश्चित
- उद्यम
- उद्यम
- संपूर्ण
- वातावरण
- त्रुटि
- मूल्यांकन
- कार्यक्रम
- उदाहरण
- से अधिक
- उत्तेजित
- निष्पादन
- मौजूदा
- अनुभव
- f1
- असफल
- विफल रहे
- विफल रहता है
- Feature
- आकृति
- पट्टिका
- फ़ाइलें
- वित्तीय
- वित्तीय सेवाओं
- प्रथम
- तय
- निम्नलिखित
- के लिए
- प्रारूप
- पाया
- से
- समारोह
- कार्यों
- गेट्स
- सामान्य जानकारी
- उत्पन्न
- सृजन
- जाना
- GitHub
- Go
- जा
- अधिक से अधिक
- जमीन
- समूह
- मार्गदर्शन
- हाथ
- हैंडलिंग
- है
- he
- मदद करता है
- उसके
- इतिहास
- कैसे
- How To
- एचटीएमएल
- http
- HTTPS
- हाइपरपरमेटर अनुकूलन
- ID
- पहचान
- पहचान
- if
- दिखाता है
- कार्यान्वयन
- कार्यान्वयन
- in
- शामिल
- शामिल
- सहित
- बढ़ना
- स्वतंत्र
- स्वतंत्र रूप से
- इंगित करता है
- व्यक्ति
- उद्योगों
- करें-
- इंफ्रास्ट्रक्चर
- पहल
- नवाचारों
- निवेश
- निविष्टियां
- बीमा
- एकीकरण
- सूचना का आदान प्रदान
- में
- परिचय कराना
- मुद्दों
- IT
- आईटी इस
- काम
- नौकरियां
- जेपीजी
- JSON
- केवल
- कुंजी
- लेबल
- ताज़ा
- नेतृत्व
- सीख रहा हूँ
- नेतृत्व
- जीवन चक्र
- लाइन
- सूची
- स्थानीय
- लॉग इन
- मशीन
- यंत्र अधिगम
- मुख्य
- को बनाए रखने के
- बनाना
- प्रबंधन
- प्रबंध
- प्रबंध
- गाइड
- मैन्युअल
- चिह्नित
- मास्टर की
- सामग्री
- मिलना
- की बैठक
- message
- संदेश
- मीट्रिक
- मेट्रिक्स
- ML
- एमएलओपीएस
- आदर्श
- मोडलिंग
- मॉडल
- संशोधित
- निगरानी
- अधिक
- विभिन्न
- नामांकित
- नामकरण
- आवश्यक
- आवश्यकता
- जरूरत
- की जरूरत है
- शुद्ध कार्यशील
- नया
- नए नए
- NLP
- नहीं
- अधिसूचना
- सूचनाएं
- उपन्यास
- वस्तु
- प्राप्त
- प्राप्त करने के
- of
- की पेशकश
- ऑफर
- अक्सर
- on
- लोगों
- केवल
- आपरेशन
- संचालन
- इष्टतमीकरण
- के अनुकूलन के
- or
- आदेश
- संगठनों
- संगठित
- मूल
- अन्य
- उत्पादन
- बाहर
- पैकेज
- संकुल
- जोड़े
- पैरामीटर
- भाग
- विशेष
- गुजरता
- आवेशपूर्ण
- पथ
- निष्पादन
- प्रदर्शन
- प्रदर्शन
- फ़ोटोग्राफ़ी
- पाइपलाइन
- योजना
- की योजना बनाई
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- खेल
- बिन्दु
- गरीब
- पद
- प्रथाओं
- भविष्यवाणियों
- तैयार
- आवश्यक शर्तें
- वर्तमान
- प्रस्तुत
- पूर्व
- मुसीबत
- बढ़ना
- प्रक्रिया
- प्रसंस्कृत
- उत्पादन
- पेशेवर
- मुनाफा
- प्रचारित
- प्रस्तावित
- साबित
- बशर्ते
- प्रदान करता है
- प्रदान कर
- खींचती
- धक्का
- अजगर
- गुणवत्ता
- कच्चा
- पढ़ना
- पढ़ना
- प्राप्त
- प्राप्त
- हाल
- रिकॉर्ड
- को कम करने
- को कम करने
- के बारे में
- रजिस्टर
- पंजीकृत
- पंजीकरण
- रजिस्टरों
- पंजीकरण
- रजिस्ट्री
- नियमित तौर पर
- शेष
- repeatable
- रिपोर्ट
- कोष
- का प्रतिनिधित्व करता है
- अपेक्षित
- आवश्यकताएँ
- की आवश्यकता होती है
- उपयुक्त संसाधन चुनें
- कि
- क्रमश
- जिम्मेदार
- परिणाम
- बायोडाटा
- पुन: प्रयोज्य
- की समीक्षा
- सड़क
- भूमिका
- नियम
- रन
- धावक
- दौड़ना
- चलाता है
- sagemaker
- सेजमेकर अनुमान
- SageMaker पाइपलाइन
- अनुमापकता
- अनुसूची
- समयबद्धन
- विज्ञान
- वैज्ञानिक
- स्कोर
- लिपियों
- एसडीके
- अनुभाग
- भेजें
- भेजना
- भेजता
- सेवा
- कार्य करता है
- सेवाएँ
- सेट
- व्यवस्था
- कई
- साझा
- चाहिए
- दिखाया
- दिखाता है
- महत्वपूर्ण
- सरल
- एक
- सॉफ्टवेयर
- सॉफ्टवेयर इंजीनियरिंग
- समाधान
- समाधान ढूंढे
- हल
- सूत्रों का कहना है
- सोर्सिंग
- विशिष्ट
- विनिर्दिष्ट
- खेल-कूद
- ट्रेनिंग
- मचान
- प्रारंभ
- शुरुआत में
- राज्य
- आँकड़े
- स्थिति
- कदम
- कदम
- भंडारण
- की दुकान
- भंडारण
- स्ट्रेटेजी
- संरचनात्मक
- स्टूडियो
- सफल
- सफलतापूर्वक
- ऐसा
- सूट
- सहायक
- समर्थन करता है
- तालिका
- टैग
- ले जा
- लक्ष्य
- कार्य
- टीम
- तकनीक
- टेक्नोलॉजीज
- टेम्पलेट
- terraform
- से
- कि
- RSI
- लेकिन हाल ही
- उन
- फिर
- वहाँ।
- जिसके चलते
- इन
- वे
- इसका
- तीन
- द्वार
- यहाँ
- पहर
- सेवा मेरे
- उपकरण
- ऊपर का
- विषय
- ट्रैक
- ट्रैक रिकॉर्ड
- प्रशिक्षित
- प्रशिक्षण
- परिवर्तन
- पारदर्शी
- यात्रा का
- ट्रिगर
- शुरू हो रहा
- सच
- मोड़
- दो
- टाइप
- ठेठ
- ui
- के अंतर्गत
- रेखांकित
- अपडेट
- अद्यतन
- अपलोड की गई
- अपलोड हो रहा है
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग करता है
- का उपयोग
- उपयोग
- उपयोग किया
- मूल्य
- परिवर्तनशील
- सत्यापित
- संस्करण
- संस्करणों
- के माध्यम से
- उल्लंघन
- चेतावनी
- मार्ग..
- तरीके
- we
- वेब
- वेब सेवाओं
- कुंआ
- कब
- या
- कौन कौन से
- जब
- कौन
- मर्जी
- साथ में
- अंदर
- काम
- वर्कफ़्लो
- workflows
- काम कर रहे
- यमलो
- साल
- अभी तक
- आप
- आपका
- जेफिरनेट