यह चार भाग की श्रृंखला की दूसरी पोस्ट है जिसमें विस्तार से बताया गया है कि कैसे नेटवेस्ट ग्रुप, एक प्रमुख वित्तीय सेवा संस्थान, के साथ भागीदारी की AWS व्यावसायिक सेवाएँ एक नया मशीन लर्निंग ऑपरेशंस (एमएलओपीएस) प्लेटफॉर्म बनाने के लिए। इस पोस्ट में, हम साझा करते हैं कि कैसे नेटवेस्ट ग्रुप ने अपने मानकीकृत, सुरक्षित और अनुपालन एमएलओपीएस प्लेटफॉर्म की स्व-सेवा तैनाती को सक्षम करने के लिए एडब्ल्यूएस का उपयोग किया। AWS सेवा सूची और अमेज़न SageMaker. इससे नए परिवेशों को उपलब्ध कराने में लगने वाले समय को दिनों से घटाकर केवल कुछ घंटे कर दिया गया है।
हमारा मानना है कि निर्णय लेने वालों को इस सामग्री से लाभ हो सकता है। सीटीओ, सीडीएओ, वरिष्ठ डेटा वैज्ञानिक और वरिष्ठ क्लाउड इंजीनियर अपनी डेटा विज्ञान और इंजीनियरिंग टीमों के लिए नवीन समाधान प्रदान करने के लिए इस पैटर्न का पालन कर सकते हैं।
पूरी श्रृंखला पढ़ें:
|
नेटवेस्ट ग्रुप में प्रौद्योगिकी
नेटवेस्ट ग्रुप डिजिटल दुनिया के लिए एक रिलेशनशिप बैंक है जो पूरे यूके में 19 मिलियन से अधिक ग्राहकों को वित्तीय सेवाएं प्रदान करता है। समूह के पास एक विविध प्रौद्योगिकी पोर्टफोलियो है, जहां व्यावसायिक चुनौतियों का समाधान अक्सर विशिष्ट डिज़ाइनों का उपयोग करके और लंबी समयसीमा के साथ दिया जाता है।
हाल ही में, नेटवेस्ट ग्रुप ने क्लाउड-फर्स्ट रणनीति अपनाई, जिसने कंपनी को ऑन-डिमांड कंप्यूट और स्टोरेज संसाधनों के प्रावधान के लिए प्रबंधित सेवाओं का उपयोग करने में सक्षम बनाया है। इस कदम से लागत कम करने और वितरण ताल में तेजी लाने के साथ-साथ व्यावसायिक समाधानों की समग्र स्थिरता, स्केलेबिलिटी और प्रदर्शन में सुधार हुआ है। इसके अतिरिक्त, क्लाउड पर जाने से नेटवेस्ट ग्रुप को नियामक आवश्यकताओं को पूरा करने और नियंत्रित तरीके से संचालित करने के लिए सुसंगत, दोहराने योग्य और पूर्व-अनुमोदित समाधान डिजाइनों के एक सेट को लागू करके अपने प्रौद्योगिकी स्टैक को सरल बनाने की अनुमति मिलती है।
चुनौतियां
क्लाउड-फर्स्ट दृष्टिकोण अपनाने के पायलट चरणों में विभिन्न प्रकार के प्रयोग और मूल्यांकन चरण शामिल थे विश्लेषिकी सेवाएँ एडब्ल्यूएस पर. डेटा साइंस वर्कलोड के लिए नेटवेस्ट ग्रुप के क्लाउड प्लेटफ़ॉर्म के पहले पुनरावृत्तियों को सुसंगत, सुरक्षित और अनुपालन क्लाउड वातावरण प्रदान करने में चुनौतियों का सामना करना पड़ा। नए वातावरण बनाने की प्रक्रिया में कुछ दिनों से लेकर हफ्तों या महीनों तक का समय लगा। बुनियादी ढांचे और डेटा स्रोतों के निर्माण, प्रावधान, सुरक्षा, तैनाती और प्रबंधन के लिए केंद्रीय प्लेटफ़ॉर्म टीमों पर निर्भरता ने क्लाउड में काम करने के लिए नई टीमों को शामिल करना मुश्किल बना दिया।
AWS खातों में बुनियादी ढांचे के विन्यास में असमानता के कारण, जिन टीमों ने अपने कार्यभार को क्लाउड पर स्थानांतरित करने का निर्णय लिया, उन्हें एक विस्तृत अनुपालन प्रक्रिया से गुजरना पड़ा। प्रत्येक बुनियादी ढांचे के घटक का अलग से विश्लेषण करना पड़ा, जिससे सुरक्षा ऑडिट की समयसीमा बढ़ गई।
AWS में विकास के साथ शुरुआत करने में प्लेटफ़ॉर्म टीमों द्वारा लिखे गए दस्तावेज़ीकरण गाइडों के एक सेट को पढ़ना शामिल है। प्रारंभिक पर्यावरण सेटअप चरणों में प्रमाणीकरण के लिए सार्वजनिक और निजी कुंजी प्रबंधित करना, दूरस्थ सेवाओं के लिए कनेक्शन कॉन्फ़िगर करना शामिल था AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) या स्थानीय विकास परिवेश से एसडीके, और स्थानीय आईडीई को क्लाउड सेवाओं से जोड़ने के लिए कस्टम स्क्रिप्ट चलाना। तकनीकी चुनौतियों के कारण अक्सर नई टीम के सदस्यों को शामिल करना मुश्किल हो जाता है। विकास परिवेश कॉन्फ़िगर होने के बाद, उत्पादन में सॉफ़्टवेयर जारी करने का मार्ग समान रूप से जटिल और लंबा था।
जैसा कि इस श्रृंखला के भाग 1 में वर्णित है, संयुक्त परियोजना टीम ने नए डेटा विज्ञान और एमएलओपीएस प्लेटफॉर्म के निर्माण से पहले नेटवेस्ट समूह की टीमों से उपयोगकर्ता अनुभव और आवश्यकताओं पर बड़ी मात्रा में प्रतिक्रिया एकत्र की। इस फीडबैक में एक सामान्य विषय AWS पर त्वरित और कुशल परियोजना वितरण के अग्रदूत के रूप में स्वचालन और मानकीकरण की आवश्यकता थी। नया प्लेटफ़ॉर्म लागत को अनुकूलित करने, प्लेटफ़ॉर्म कॉन्फ़िगरेशन प्रयासों में कटौती करने और अनावश्यक रूप से बड़ी गणना नौकरियों को चलाने से कार्बन पदचिह्न को कम करने के लिए AWS प्रबंधित सेवाओं का उपयोग करता है। मानकीकरण प्लेटफ़ॉर्म के दिल में अंतर्निहित है, पूर्व-अनुमोदित, पूरी तरह से कॉन्फ़िगर, सुरक्षित, अनुपालन और पुन: प्रयोज्य बुनियादी ढांचे के घटकों के साथ जो डेटा और एनालिटिक्स टीमों के बीच साझा किए जा सकते हैं।
सेजमेकर स्टूडियो क्यों?
टीम ने चुना अमेज़ॅन सैजमेकर स्टूडियो एमएल पाइपलाइनों के निर्माण और तैनाती के लिए मुख्य उपकरण के रूप में। स्टूडियो एक एकल वेब-आधारित इंटरफ़ेस प्रदान करता है जो उपयोगकर्ताओं को मॉडल बनाने, प्रशिक्षित करने और तैनात करने के लिए आवश्यक प्रत्येक चरण में पूर्ण पहुंच, नियंत्रण और दृश्यता प्रदान करता है। मॉडल विकास, मेटाडेटा ट्रैकिंग, आर्टिफैक्ट प्रबंधन और तैनाती के लिए स्टूडियो आईडीई (एकीकृत विकास वातावरण) की परिपक्वता उन विशेषताओं में से एक थी जिसने नेटवेस्ट ग्रुप टीम को दृढ़ता से आकर्षित किया।
नेटवेस्ट ग्रुप के डेटा वैज्ञानिक डेटा विश्लेषण, डेटा रैंगलिंग और फीचर इंजीनियरिंग करने के लिए मॉडल विकास के शुरुआती चरणों के दौरान स्टूडियो के अंदर सेजमेकर नोटबुक के साथ काम करते हैं। उपयोगकर्ताओं के इस प्रारंभिक कार्य के परिणामों से खुश होने के बाद, कोड को आसानी से डेटा परिवर्तन, मॉडल प्रशिक्षण, अनुमान, लॉगिंग और यूनिट परीक्षणों के लिए कंपोज़ेबल फ़ंक्शंस में परिवर्तित किया जाता है ताकि यह उत्पादन के लिए तैयार स्थिति में हो।
मॉडल विकास जीवनचक्र के बाद के चरणों में इसका उपयोग शामिल है अमेज़न SageMaker पाइपलाइन, जिसका स्टूडियो में दृश्य निरीक्षण और निगरानी की जा सकती है। पाइपलाइनों को डीएजी (डायरेक्टेड एसाइक्लिक ग्राफ) में देखा जाता है, जो पाइपलाइन चलने के दौरान उनकी स्थिति के आधार पर चरणों को रंग-कोड करता है। इसके अलावा, का एक सारांश अमेज़न CloudWatch लॉग विफल चरणों की डिबगिंग की सुविधा के लिए DAG के बगल में प्रदर्शित किया जाता है। डेटा वैज्ञानिकों को एक कोड टेम्पलेट प्रदान किया जाता है जिसमें सेजमेकर पाइपलाइन के सभी मूलभूत चरण शामिल होते हैं। यह एक मानकीकृत ढाँचा प्रदान करता है (सहयोग और ज्ञान साझा करने को आसान बनाने के लिए प्लेटफ़ॉर्म के सभी उपयोगकर्ताओं के लिए सुसंगत) जिसमें डेवलपर्स विशिष्ट तर्क और एप्लिकेशन कोड जोड़ सकते हैं जो विशेष रूप से उनके द्वारा हल की जा रही व्यावसायिक चुनौती के लिए है।
डेवलपर्स यह सुनिश्चित करने के लिए स्टूडियो आईडीई के भीतर पाइपलाइन चलाते हैं कि उनके कोड परिवर्तन अन्य पाइपलाइन चरणों के साथ सही ढंग से एकीकृत हों। कोड परिवर्तनों की समीक्षा और अनुमोदन के बाद, ये पाइपलाइन मुख्य गिट रिपॉजिटरी शाखा ट्रिगर के आधार पर स्वचालित रूप से बनाई और चलती हैं। मॉडल प्रशिक्षण के दौरान, मॉडल मूल्यांकन मेट्रिक्स को सेजमेकर प्रयोगों में संग्रहीत और ट्रैक किया जाता है, जिसका उपयोग हाइपरपैरामीटर ट्यूनिंग के लिए किया जा सकता है। एक मॉडल को प्रशिक्षित करने के बाद, मॉडल आर्टिफैक्ट को इसमें संग्रहीत किया जाता है SageMaker मॉडल रजिस्ट्री, मॉडल कंटेनरों से संबंधित मेटाडेटा, प्रशिक्षण के दौरान उपयोग किए गए डेटा, मॉडल सुविधाओं और मॉडल कोड के साथ। मॉडल रजिस्ट्री मॉडल परिनियोजन प्रक्रिया में एक महत्वपूर्ण भूमिका निभाती है क्योंकि यह सभी मॉडल सूचनाओं को पैकेज करती है और उत्पादन वातावरण में मॉडल प्रचार के स्वचालन को सक्षम बनाती है।
MLOps इंजीनियरों की तैनाती प्रबंधित की गई सेजमेकर बैच ने नौकरी बदल दी, कार्यभार की माँगों को पूरा करने का कौन सा पैमाना। एंडपॉइंट के माध्यम से परोसे जाने वाले ऑफ़लाइन बैच अनुमान कार्य और ऑनलाइन मॉडल दोनों ही सेजमेकर की प्रबंधित अनुमान कार्यक्षमता का उपयोग करते हैं। इससे प्लेटफ़ॉर्म और व्यावसायिक एप्लिकेशन टीमों दोनों को लाभ होता है क्योंकि प्लेटफ़ॉर्म इंजीनियर अब मॉडल अनुमान के लिए बुनियादी ढांचे के घटकों को कॉन्फ़िगर करने में समय नहीं बिताते हैं, और व्यावसायिक एप्लिकेशन टीमें कंप्यूट इंस्टेंसेस को सेट करने और उनके साथ इंटरैक्ट करने के लिए अतिरिक्त बॉयलरप्लेट कोड नहीं लिखती हैं।
AWS सेवा कैटलॉग क्यों?
टीम ने सुरक्षित, अनुपालन और पूर्व-अनुमोदित बुनियादी ढांचे टेम्पलेट्स की एक सूची बनाने के लिए एडब्ल्यूएस सेवा कैटलॉग को चुना। AWS सेवा कैटलॉग उत्पाद में बुनियादी ढांचे के घटक नेटवेस्ट समूह की सुरक्षा आवश्यकताओं को पूरा करने के लिए पूर्व-कॉन्फ़िगर किए गए हैं। AWS सेवा कैटलॉग उत्पाद में पैक किए गए प्रत्येक संसाधन के लिए भूमिका पहुंच प्रबंधन, संसाधन नीतियां, नेटवर्किंग कॉन्फ़िगरेशन और केंद्रीय नियंत्रण नीतियां कॉन्फ़िगर की गई हैं। उत्पादों को एक मानक प्रक्रिया का पालन करके एप्लिकेशन टीमों के साथ संस्करणित और साझा किया जाता है जो डेटा विज्ञान और इंजीनियरिंग टीमों को अपने एडब्ल्यूएस खातों तक पहुंच प्राप्त करने के तुरंत बाद स्व-सेवा और बुनियादी ढांचे को तैनात करने में सक्षम बनाता है।
व्यावसायिक आवश्यकताओं के आधार पर नई सुविधाओं के कार्यान्वयन को सक्षम करने के लिए प्लेटफ़ॉर्म विकास टीमें समय के साथ AWS सेवा कैटलॉग उत्पादों को आसानी से विकसित कर सकती हैं। उत्पादों में पुनरावृत्तीय परिवर्तन AWS सेवा कैटलॉग उत्पाद संस्करण की सहायता से किए जाते हैं। जब कोई नया उत्पाद संस्करण जारी किया जाता है, तो प्लेटफ़ॉर्म टीम कोड परिवर्तनों को मुख्य Git शाखा में मर्ज कर देती है और AWS सेवा कैटलॉग उत्पाद के संस्करण को बढ़ा देती है। बुनियादी ढांचे को अद्यतन करने में कुछ हद तक स्वायत्तता और लचीलापन है क्योंकि व्यावसायिक एप्लिकेशन खाते नवीनतम संस्करण में स्थानांतरित होने से पहले उत्पादों के पुराने संस्करणों का उपयोग कर सकते हैं।
समाधान अवलोकन
निम्नलिखित उच्च-स्तरीय आर्किटेक्चर आरेख दिखाता है कि AWS पर एक विशिष्ट व्यावसायिक अनुप्रयोग उपयोग केस कैसे तैनात किया जाता है। निम्नलिखित अनुभाग खाता आर्किटेक्चर, बुनियादी ढांचे को कैसे तैनात किया जाता है, उपयोगकर्ता पहुंच प्रबंधन और एमएल समाधान बनाने के लिए विभिन्न एडब्ल्यूएस सेवाओं का उपयोग कैसे किया जाता है, के बारे में अधिक विस्तार से बताते हैं।
जैसा कि आर्किटेक्चर आरेख में दिखाया गया है, खाते एक हब और स्पोक मॉडल का पालन करते हैं। एक साझा प्लेटफ़ॉर्म खाता एक हब खाते के रूप में कार्य करता है, जहां व्यावसायिक एप्लिकेशन टीम (स्पोक) खातों के लिए आवश्यक संसाधनों को प्लेटफ़ॉर्म टीम द्वारा होस्ट किया जाता है। इन संसाधनों में निम्नलिखित शामिल हैं:
- AWS सर्विस कैटलॉग द्वारा होस्ट की गई स्व-सेवा बुनियादी ढांचे की तैनाती के लिए उपयोग किए जाने वाले सुरक्षित, मानकीकृत बुनियादी ढांचे के उत्पादों की एक लाइब्रेरी
- डॉकर छवियाँ, में संग्रहीत अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़ॅन ईसीआर), जिनका उपयोग सेजमेकर पाइपलाइन चरणों और मॉडल अनुमान के दौरान किया जाता है
- एडब्ल्यूएस कोडएक्टिवेशन रिपॉजिटरी, जो पूर्व-अनुमोदित पायथन पैकेजों को होस्ट करती है
ये संसाधन स्वचालित रूप से AWS सेवा कैटलॉग पोर्टफोलियो साझाकरण और आयात सुविधा के माध्यम से बोले गए खातों के साथ साझा किए जाते हैं, और AWS पहचान और अभिगम प्रबंधन (IAM) Amazon ECR और CodeArtifact दोनों के मामले में नीतियों पर भरोसा करता है।
प्रत्येक व्यावसायिक एप्लिकेशन टीम को नेटवेस्ट समूह के बुनियादी ढांचे के माहौल में तीन एडब्ल्यूएस खातों का प्रावधान है: विकास, पूर्व-उत्पादन और उत्पादन। पर्यावरण नाम डेटा विज्ञान विकास जीवनचक्र में खाते की इच्छित भूमिका को दर्शाते हैं। विकास खाते का उपयोग डेटा विश्लेषण और तकरार करने, मॉडल और मॉडल पाइपलाइन कोड लिखने, मॉडल को प्रशिक्षित करने और सेजमेकर स्टूडियो के माध्यम से प्री-प्रोडक्शन और उत्पादन वातावरण में मॉडल परिनियोजन को ट्रिगर करने के लिए किया जाता है। प्री-प्रोडक्शन खाता उत्पादन खाते के सेटअप को प्रतिबिंबित करता है और उत्पादन में जारी होने से पहले मॉडल परिनियोजन और बैच परिवर्तन नौकरियों का परीक्षण करने के लिए उपयोग किया जाता है। उत्पादन खाता मॉडल होस्ट करता है और उत्पादन अनुमान कार्यभार चलाता है।
उपयोगकर्ता प्रबंधन
नेटवेस्ट समूह के पास उपयोगकर्ता भूमिका पृथक्करण को लागू करने के लिए सख्त शासन प्रक्रियाएं हैं। प्रत्येक उपयोगकर्ता व्यक्तित्व के लिए पांच अलग-अलग IAM भूमिकाएँ बनाई गई हैं।
प्लेटफ़ॉर्म टीम निम्नलिखित भूमिकाओं का उपयोग करती है:
- प्लेटफार्म सपोर्ट इंजीनियर - इस भूमिका में व्यवसाय-सामान्य कार्यों के लिए अनुमतियाँ और प्लेटफ़ॉर्म की निगरानी और डिबगिंग के लिए शेष परिवेश का केवल पढ़ने योग्य दृश्य शामिल है।
- प्लेटफार्म ठीक करने वाला इंजीनियर - यह भूमिका उन्नत अनुमतियों के साथ बनाई गई है। इसका उपयोग तब किया जाता है जब प्लेटफ़ॉर्म के साथ कोई समस्या हो जिसके लिए मैन्युअल हस्तक्षेप की आवश्यकता होती है। यह भूमिका केवल अनुमोदित, समय-सीमित तरीके से ग्रहण की जाती है।
व्यावसायिक अनुप्रयोग विकास टीमों की तीन अलग-अलग भूमिकाएँ होती हैं:
- तकनीकी बढ़त - यह भूमिका एप्लिकेशन टीम लीड को सौंपी जाती है, जो अक्सर एक वरिष्ठ डेटा वैज्ञानिक होता है। इस उपयोगकर्ता के पास AWS सेवा कैटलॉग उत्पादों को तैनात करने और प्रबंधित करने, उत्पादन में रिलीज़ को ट्रिगर करने और पर्यावरण की स्थिति की समीक्षा करने की अनुमति है, जैसे AWS कोडपिपलीन स्थितियाँ और लॉग। इस भूमिका को सेजमेकर मॉडल रजिस्ट्री में किसी मॉडल को स्वीकृत करने की अनुमति नहीं है।
- डेवलपर - यह भूमिका सेजमेकर स्टूडियो के साथ काम करने वाले सभी टीम सदस्यों को सौंपी गई है, जिसमें इंजीनियर, डेटा वैज्ञानिक और अक्सर टीम लीडर शामिल होते हैं। इस भूमिका के पास स्टूडियो खोलने, कोड लिखने और सेजमेकर पाइपलाइन चलाने और तैनात करने की अनुमति है। तकनीकी लीड की तरह, इस भूमिका को मॉडल रजिस्ट्री में किसी मॉडल को स्वीकृत करने की अनुमति नहीं है।
- मॉडल अनुमोदक - इस भूमिका में मॉडल रजिस्ट्री में मॉडल को देखने, स्वीकृत करने और अस्वीकार करने से संबंधित सीमित अनुमतियाँ हैं। इस पृथक्करण का कारण उन उपयोगकर्ताओं को रोकना है जो मॉडल का निर्माण और प्रशिक्षण कर सकते हैं और अपने स्वयं के मॉडल को उन्नत वातावरण में अनुमोदित करने और जारी करने से रोक सकते हैं।
डेवलपर्स और मॉडल अनुमोदकों के लिए अलग स्टूडियो उपयोगकर्ता प्रोफ़ाइल बनाई जाती हैं। समाधान IAM नीति कथनों और SageMaker उपयोगकर्ता प्रोफ़ाइल टैग के संयोजन का उपयोग करता है ताकि उपयोगकर्ताओं को केवल एक उपयोगकर्ता प्रोफ़ाइल खोलने की अनुमति हो जो उनके उपयोगकर्ता प्रकार से मेल खाती हो। यह सुनिश्चित करता है कि जब उपयोगकर्ता स्टूडियो आईडीई खोलते हैं तो उन्हें सही सेजमेकर निष्पादन आईएएम भूमिका (और इसलिए अनुमतियाँ) सौंपी जाती है।
AWS सेवा कैटलॉग के साथ स्व-सेवा परिनियोजन
अंतिम-उपयोगकर्ता निम्नलिखित जैसे डेटा विज्ञान अवसंरचना उत्पादों को तैनात करने के लिए AWS सेवा कैटलॉग का उपयोग करते हैं:
- एक स्टूडियो वातावरण
- स्टूडियो उपयोगकर्ता प्रोफाइल
- मॉडल परिनियोजन पाइपलाइन
- प्रशिक्षण पाइपलाइन
- अनुमान पाइपलाइन
- निगरानी और चेतावनी के लिए एक प्रणाली
अंतिम-उपयोगकर्ता इन उत्पादों को सीधे AWS सेवा कैटलॉग UI के माध्यम से तैनात करते हैं, जिसका अर्थ है कि वातावरण के प्रावधान के लिए केंद्रीय प्लेटफ़ॉर्म टीमों पर निर्भरता कम है। इससे उपयोगकर्ताओं को नए क्लाउड वातावरण तक पहुंच प्राप्त करने में लगने वाला समय कई दिनों से घटकर केवल कुछ घंटों तक रह गया है, जिससे अंततः समय-दर-मूल्य में महत्वपूर्ण सुधार हुआ है। AWS सेवा कैटलॉग उत्पादों के एक सामान्य सेट का उपयोग उद्यम भर में परियोजनाओं के भीतर स्थिरता का समर्थन करता है और सहयोग और पुन: उपयोग के लिए बाधा को कम करता है।
क्योंकि सभी डेटा विज्ञान बुनियादी ढांचे को अब बुनियादी ढांचे के उत्पादों की एक केंद्रीय रूप से विकसित सूची के माध्यम से तैनात किया गया है, इनमें से प्रत्येक उत्पाद को सुरक्षा को ध्यान में रखते हुए बनाने का ध्यान रखा गया है। सेवाओं को भीतर संचार करने के लिए कॉन्फ़िगर किया गया है अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी) ताकि ट्रैफ़िक सार्वजनिक इंटरनेट पर न जाए। डेटा को पारगमन और विश्राम के दौरान एन्क्रिप्ट किया जाता है AWS प्रमुख प्रबंधन सेवा (एडब्ल्यूएस केएमएस) चाबियाँ। न्यूनतम विशेषाधिकार के सिद्धांत का पालन करने के लिए IAM भूमिकाएँ भी स्थापित की गई हैं।
अंत में, AWS सर्विस कैटलॉग के साथ, प्लेटफ़ॉर्म टीम के लिए नए उत्पादों और सेवाओं को लगातार जारी करना आसान होता है क्योंकि वे व्यावसायिक एप्लिकेशन टीमों के लिए उपलब्ध या आवश्यक हो जाते हैं। ये नए बुनियादी ढांचे के उत्पादों का रूप ले सकते हैं, उदाहरण के लिए अंतिम उपयोगकर्ताओं को स्वयं को तैनात करने की क्षमता प्रदान करना अमेज़ॅन ईएमआर क्लस्टर, या मौजूदा बुनियादी ढांचे के उत्पादों के अपडेट। क्योंकि AWS सर्विस कैटलॉग उत्पाद संस्करण और उपयोग का समर्थन करता है एडब्ल्यूएस CloudFormation मौजूदा उत्पादों के नए संस्करण जारी होने पर पर्दे के पीछे, इन-प्लेस अपग्रेड का उपयोग किया जा सकता है। यह प्लेटफ़ॉर्म टीमों को जटिल अपग्रेड प्रक्रियाओं को विकसित करने के बजाय उत्पादों के निर्माण और सुधार पर ध्यान केंद्रित करने की अनुमति देता है।
नेटवेस्ट के मौजूदा IaC सॉफ़्टवेयर के साथ एकीकरण
AWS सेवा कैटलॉग का उपयोग स्वयं-सेवा डेटा विज्ञान अवसंरचना परिनियोजन के लिए किया जाता है। इसके अतिरिक्त, नेटवेस्ट के मानक बुनियादी ढांचे के रूप में कोड (IaC) टूल, टेराफॉर्म का उपयोग AWS खातों में बुनियादी ढांचे के निर्माण के लिए किया जाता है। टेराफ़ॉर्म का उपयोग प्लेटफ़ॉर्म टीमों द्वारा प्रारंभिक खाता सेटअप प्रक्रिया के दौरान वीपीसी, सुरक्षा समूहों जैसे आवश्यक बुनियादी ढांचे संसाधनों को तैनात करने के लिए किया जाता है। एडब्ल्यूएस सिस्टम मैनेजर पैरामीटर, KMS कुंजियाँ और मानक सुरक्षा नियंत्रण। हब खाते में बुनियादी ढांचे, जैसे कि एडब्ल्यूएस सेवा कैटलॉग पोर्टफोलियो और डॉकर छवियों को बनाने के लिए उपयोग किए जाने वाले संसाधनों को भी टेराफॉर्म का उपयोग करके परिभाषित किया गया है। हालाँकि, AWS सेवा कैटलॉग उत्पाद स्वयं मानक CloudFormation टेम्पलेट्स का उपयोग करके बनाए गए हैं।
सेजमेकर परियोजनाओं के साथ डेवलपर उत्पादकता और कोड गुणवत्ता में सुधार
SageMaker परियोजनाओं सेजमेकर स्टूडियो को छोड़े बिना डेवलपर्स और डेटा वैज्ञानिकों को त्वरित-प्रारंभ परियोजनाओं तक पहुंच प्रदान करें। ये त्वरित-प्रारंभ परियोजनाएं आपको कुछ ही क्लिक में एक ही समय में कई बुनियादी ढांचे के संसाधनों को तैनात करने की अनुमति देती हैं। इनमें एक Git रिपॉजिटरी शामिल है जिसमें चयनित मॉडल प्रकार के लिए एक मानकीकृत प्रोजेक्ट टेम्पलेट शामिल है, अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) डेटा, क्रमबद्ध मॉडल और कलाकृतियों, और मॉडल प्रशिक्षण और अनुमान कोडपाइपलाइन पाइपलाइनों को संग्रहीत करने के लिए बकेट।
मानकीकृत कोड बेस आर्किटेक्चर और टूलींग की शुरूआत से अब डेटा वैज्ञानिकों और इंजीनियरों के लिए परियोजनाओं के बीच जाना आसान हो गया है और यह सुनिश्चित हो गया है कि कोड की गुणवत्ता उच्च बनी रहे। उदाहरण के लिए, सॉफ्टवेयर इंजीनियरिंग की सर्वोत्तम प्रथाएं जैसे कि लिंटिंग और फ़ॉर्मेटिंग चेक (स्वचालित चेक और प्री-कमिट हुक दोनों के रूप में चलाएं), यूनिट परीक्षण और कवरेज रिपोर्ट अब प्रशिक्षण पाइपलाइनों के हिस्से के रूप में स्वचालित हैं, जो सभी परियोजनाओं में मानकीकरण प्रदान करती हैं। इससे एमएल परियोजनाओं की रखरखाव में सुधार हुआ है और इन परियोजनाओं को उत्पादन में स्थानांतरित करना आसान हो जाएगा।
मॉडल परिनियोजन को स्वचालित करना
मॉडल प्रशिक्षण प्रक्रिया सेजमेकर पाइपलाइनों का उपयोग करके व्यवस्थित की जाती है। मॉडलों को प्रशिक्षित करने के बाद, उन्हें सेजमेकर मॉडल रजिस्ट्री में संग्रहीत किया जाता है। जिन उपयोगकर्ताओं को मॉडल अनुमोदनकर्ता की भूमिका सौंपी गई है, वे मॉडल रजिस्ट्री खोल सकते हैं और प्रशिक्षण प्रक्रिया से संबंधित जानकारी पा सकते हैं, जैसे कि मॉडल को कब प्रशिक्षित किया गया था, हाइपरपैरामीटर मान और मूल्यांकन मेट्रिक्स। यह जानकारी उपयोगकर्ता को यह निर्णय लेने में मदद करती है कि किसी मॉडल को स्वीकृत करना है या अस्वीकार करना है। किसी मॉडल को अस्वीकार करना मॉडल को एक उन्नत वातावरण में तैनात होने से रोकता है, जबकि एक मॉडल को मंजूरी देने से कोडपाइपलाइन के माध्यम से एक मॉडल प्रमोशन पाइपलाइन ट्रिगर हो जाती है जो स्वचालित रूप से मॉडल को प्री-प्रोडक्शन एडब्ल्यूएस खाते में कॉपी कर देती है, जो अनुमान कार्यभार परीक्षण के लिए तैयार होती है। टीम द्वारा यह पुष्टि किए जाने के बाद कि मॉडल प्री-प्रोडक्शन में सही ढंग से काम करता है, उसी पाइपलाइन में एक मैन्युअल चरण को मंजूरी दी जाती है और मॉडल स्वचालित रूप से उत्पादन खाते में कॉपी हो जाता है, जो उत्पादन अनुमान कार्यभार के लिए तैयार होता है।
परिणामों
नेटवेस्ट और एडब्ल्यूएस के बीच इस सहयोगी परियोजना का एक मुख्य उद्देश्य डेटा साइंस क्लाउड वातावरण और एमएल मॉडल को उत्पादन में प्रावधान और तैनात करने में लगने वाले समय को कम करना था। यह हासिल कर लिया गया है - नेटवेस्ट अब दिनों या हफ्तों की तुलना में कुछ ही घंटों में नए, स्केलेबल और सुरक्षित AWS वातावरण का प्रावधान कर सकता है। डेटा वैज्ञानिकों और इंजीनियरों को अब AWS सेवा कैटलॉग का उपयोग करके स्वयं डेटा विज्ञान बुनियादी ढांचे को तैनात करने और प्रबंधित करने का अधिकार है, जिससे केंद्रीकृत प्लेटफ़ॉर्म टीमों पर निर्भरता कम हो जाएगी। इसके अतिरिक्त, सेजमेकर परियोजनाओं का उपयोग उपयोगकर्ताओं को मिनटों के भीतर कोडिंग और प्रशिक्षण मॉडल शुरू करने में सक्षम बनाता है, जबकि मानकीकृत परियोजना संरचनाएं और टूलींग भी प्रदान करता है।
क्योंकि AWS सर्विस कैटलॉग डेटा साइंस इंफ्रास्ट्रक्चर को तैनात करने के लिए केंद्रीय विधि के रूप में कार्य करता है, भविष्य में प्लेटफ़ॉर्म को आसानी से विस्तारित और अपग्रेड किया जा सकता है। जरूरत पड़ने पर अंतिम उपयोगकर्ताओं को नई AWS सेवाएँ तुरंत प्रदान की जा सकती हैं, और नई सुविधाओं का लाभ उठाने के लिए मौजूदा AWS सेवा कैटलॉग उत्पादों को अपग्रेड किया जा सकता है।
अंत में, AWS पर प्रबंधित सेवाओं की ओर बढ़ने का मतलब है कि गणना संसाधनों का प्रावधान किया जाता है और मांग पर बंद कर दिया जाता है। इसने लागत बचत और लचीलापन प्रदान किया है, साथ ही साथ तालमेल भी बिठाया है नेटवेस्ट की महत्वाकांक्षा 2050 तक नेट-शून्य होने की है CO में अनुमानित 75% की कमी के कारण2 उत्सर्जन।
निष्कर्ष
नेटवेस्ट ग्रुप में क्लाउड-फर्स्ट रणनीति को अपनाने से एक मजबूत AWS समाधान का निर्माण हुआ जो पूरे संगठन में बड़ी संख्या में व्यावसायिक एप्लिकेशन टीमों का समर्थन कर सकता है। AWS सर्विस कैटलॉग के साथ बुनियादी ढांचे के प्रबंधन ने बुनियादी ढांचे के सुरक्षित, अनुपालन और पूर्व-अनुमोदित बिल्डिंग ब्लॉक्स का उपयोग करके क्लाउड ऑनबोर्डिंग प्रक्रिया में काफी सुधार किया है जिसे आसानी से विस्तारित किया जा सकता है। प्रबंधित सेजमेकर बुनियादी ढांचे के घटकों ने मॉडल विकास प्रक्रिया में सुधार किया है और एमएल परियोजनाओं की डिलीवरी में तेजी लाई है।
नेटवेस्ट ग्रुप में उत्पादन-तैयार एमएल मॉडल बनाने की प्रक्रिया के बारे में अधिक जानने के लिए, नेटवेस्ट ग्रुप और एडब्ल्यूएस प्रोफेशनल सर्विसेज के बीच रणनीतिक सहयोग पर इस चार-भाग की श्रृंखला के बाकी हिस्सों पर एक नज़र डालें:
- भाग 1 बताता है कि कैसे एक स्केलेबल, सुरक्षित और टिकाऊ एमएलओपीएस प्लेटफॉर्म बनाने के लिए नेटवेस्ट ग्रुप ने एडब्ल्यूएस प्रोफेशनल सर्विसेज के साथ भागीदारी की
- भाग 3 नेटवेस्ट ग्रुप ऑडिट करने योग्य, प्रतिलिपि प्रस्तुत करने योग्य और व्याख्यात्मक एमएल मॉडल बनाने के लिए सेजमेकर सेवाओं का उपयोग कैसे करता है, इसका एक सिंहावलोकन प्रदान करता है
- भाग 4 विवरण देता है कि कैसे नेटवेस्ट डेटा साइंस टीमें अपने मौजूदा मॉडलों को सेजमेकर आर्किटेक्चर में माइग्रेट करती हैं
लेखक के बारे में
जुनैद बाबा में DevOps सलाहकार है AWS व्यावसायिक सेवाएँ वह कुबेरनेट्स, वितरित कंप्यूटिंग, एआई/एमएलओपीएस में अपने अनुभव का लाभ यूके के वित्तीय सेवा उद्योग के ग्राहकों को त्वरित क्लाउड अपनाने के लिए देता है। जुनैद जून 2018 से AWS के साथ हैं। इससे पहले, जुनैद ने DevOps प्रथाओं को चलाने वाले कई वित्तीय स्टार्ट-अप के साथ काम किया था। काम के अलावा उनकी रुचि ट्रैकिंग, आधुनिक कला और स्थिर फोटोग्राफी में भी है।
योर्डंका इवानोवा नेटवेस्ट ग्रुप में डेटा इंजीनियर हैं। उन्हें वित्तीय सेवा उद्योग में कंपनियों के लिए डेटा समाधान बनाने और वितरित करने का अनुभव है। नेटवेस्ट में शामिल होने से पहले, योर्डंका ने एक तकनीकी सलाहकार के रूप में काम किया, जहां उन्होंने कई क्लाउड प्लेटफार्मों पर व्यावसायिक परिणाम देने के लिए विभिन्न प्रकार की क्लाउड सेवाओं और ओपन-सोर्स प्रौद्योगिकियों का लाभ उठाने का अनुभव प्राप्त किया। अपने खाली समय में, योर्डंका को वर्कआउट करना, यात्रा करना और गिटार बजाना पसंद है।
माइकल इंग्लैंड नेटवेस्ट ग्रुप में डेटा साइंस और इनोवेशन टीम में एक सॉफ्टवेयर इंजीनियर हैं। उन्हें क्लाउड में बड़े पैमाने पर मशीन लर्निंग वर्कलोड चलाने के लिए समाधान विकसित करने का शौक है। नेटवेस्ट ग्रुप में शामिल होने से पहले, माइकल ने वित्तीय सेवाओं और यात्रा उद्योगों में महत्वपूर्ण एप्लिकेशन विकसित करने वाली सॉफ्टवेयर इंजीनियरिंग टीमों में काम किया और उनका नेतृत्व किया। अपने खाली समय में, उन्हें गिटार बजाना, यात्रा करना और अपनी बाइक पर ग्रामीण इलाकों की खोज करना पसंद है।
- कॉइनस्मार्ट। यूरोप का सर्वश्रेष्ठ बिटकॉइन और क्रिप्टो एक्सचेंज।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। नि: शुल्क प्रवेश।
- क्रिप्टोहॉक। Altcoin रडार। मुफ्त परीक्षण।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-build-a-secure-compliant-self-service-mlops-platform-using-aws-service- कैटलॉग-और-अमेज़न-सेजमेकर/
- "
- 100
- About
- त्वरित
- तेज
- पहुँच
- लेखा
- के पार
- इसके अलावा
- अतिरिक्त
- दत्तक ग्रहण
- लाभ
- सब
- वीरांगना
- के बीच में
- राशि
- राशियाँ
- विश्लेषण
- विश्लेषिकी
- आवेदन
- अनुप्रयोगों
- दृष्टिकोण
- अनुमोदन करना
- स्थापत्य
- कला
- सौंपा
- आडिट
- प्रमाणीकरण
- स्वचालित
- स्वचालन
- स्वचालन और मानकीकरण
- उपलब्ध
- एडब्ल्यूएस
- बैंक
- बन
- परदे के पीछे
- जा रहा है
- लाभ
- लाभ
- BEST
- सर्वोत्तम प्रथाओं
- निर्माण
- इमारत
- व्यापार
- कार्बन
- कौन
- केंद्रीकृत
- चुनौती
- चुनौतियों
- जाँचता
- बादल
- क्लाउड प्लेटफॉर्म
- क्लाउड सेवाएं
- कोड
- कोडन
- सहयोग
- संयोजन
- सामान्य
- कंपनियों
- कंपनी
- तुलना
- जटिल
- अनुपालन
- आज्ञाकारी
- अंग
- गणना करना
- कंप्यूटिंग
- विन्यास
- कनेक्शन
- सलाहकार
- कंटेनर
- कंटेनरों
- शामिल हैं
- सामग्री
- लगातार
- नियंत्रण
- बनाया
- बनाना
- निर्माण
- महत्वपूर्ण
- रिवाज
- ग्राहक
- तिथि
- डेटा विश्लेषण
- डेटा विज्ञान
- आँकड़े वाला वैज्ञानिक
- दिया गया
- पहुंचाने
- प्रसव
- मांग
- मांग
- तैनात
- तैनात
- तैनाती
- तैनाती
- तैनाती
- वर्णित
- डिजाइन
- विस्तार
- विवरण
- विकसित
- डेवलपर
- डेवलपर्स
- विकासशील
- विकास
- विभिन्न
- मुश्किल
- डिजिटल
- सीधे
- वितरित
- वितरित अभिकलन
- डाक में काम करनेवाला मज़दूर
- नहीं करता है
- नीचे
- ड्राइविंग
- आसानी
- कुशल
- प्रयासों
- विस्तृत
- सक्षम
- endpoint
- इंजीनियर
- अभियांत्रिकी
- इंजीनियर्स
- उद्यम
- वातावरण
- अनुमानित
- मूल्यांकन
- विकसित करना
- उदाहरण
- निष्पादन
- मौजूदा
- अनुभव
- Feature
- विशेषताएं
- प्रतिक्रिया
- वित्तीय
- वित्तीय सेवाओं
- प्रथम
- फिक्स
- लचीलापन
- फोकस
- का पालन करें
- निम्नलिखित
- पदचिह्न
- प्रपत्र
- ढांचा
- कार्यक्षमता
- भविष्य
- जाना
- शासन
- समूह
- समूह की
- मार्गदर्शिकाएँ
- खुश
- मदद
- मदद करता है
- हाई
- कैसे
- HTTPS
- पहचान
- कार्यान्वयन
- उन्नत
- शामिल
- शामिल
- शामिल
- वृद्धि हुई
- उद्योगों
- उद्योग
- करें-
- इंफ्रास्ट्रक्चर
- नवोन्मेष
- अभिनव
- संस्था
- एकीकृत
- एकीकृत
- रुचियों
- इंटरफेस
- इंटरनेट
- शामिल
- मुद्दों
- IT
- नौकरियां
- कुंजी
- Instagram पर
- ज्ञान
- बड़ा
- ताज़ा
- नेतृत्व
- जानें
- सीख रहा हूँ
- नेतृत्व
- leverages
- लाभ
- पुस्तकालय
- सीमित
- लाइन
- जोड़ने
- स्थानीय
- मशीन
- यंत्र अधिगम
- बनाया गया
- प्रमुख
- बनाता है
- प्रबंधन
- कामयाब
- प्रबंध
- प्रबंध
- ढंग
- गाइड
- बात
- परिपक्वता
- अर्थ
- सदस्य
- मेट्रिक्स
- दस लाख
- मन
- ML
- आदर्श
- मॉडल
- निगरानी
- महीने
- अधिक
- चाल
- चलती
- विभिन्न
- नामों
- शुद्ध कार्यशील
- नई सुविधाएँ
- नया प्लेटफार्म
- नया उत्पाद
- नए उत्पादों
- संख्या
- प्रस्तुत
- ऑफ़लाइन
- ज्ञानप्राप्ति
- ऑनलाइन
- खुला
- संचालन
- ऑप्टिमाइज़ करें
- संगठन
- अन्य
- कुल
- अपना
- विशेष
- भागीदारी
- आवेशपूर्ण
- पैटर्न
- प्रदर्शन
- फ़ोटोग्राफ़ी
- पायलट
- मंच
- प्लेटफार्म
- खेल
- नीतियाँ
- नीति
- संविभाग
- विभागों
- सिद्धांत
- निजी
- निजी कुंजी
- प्रक्रिया
- प्रक्रियाओं
- एस्ट्रो मॉल
- उत्पादन
- उत्पादकता
- उत्पाद
- पेशेवर
- प्रोफाइल
- प्रोफाइल
- परियोजना
- परियोजनाओं
- पदोन्नति
- प्रदान करना
- प्रदान करता है
- प्रदान कर
- सार्वजनिक
- गुणवत्ता
- त्वरित
- जल्दी से
- पढ़ना
- को कम करने
- को कम करने
- नियामक
- संबंध
- और
- रिहा
- विज्ञप्ति
- रिलायंस
- रिपोर्ट
- कोष
- की आवश्यकता होती है
- अपेक्षित
- आवश्यकताएँ
- संसाधन
- उपयुक्त संसाधन चुनें
- बाकी
- परिणाम
- की समीक्षा
- मार्ग
- रन
- दौड़ना
- अनुमापकता
- स्केलेबल
- स्केल
- दृश्यों
- विज्ञान
- वैज्ञानिक
- वैज्ञानिकों
- एसडीके
- सुरक्षित
- सुरक्षा
- चयनित
- कई
- सेवा
- सेवाएँ
- सेट
- व्यवस्था
- Share
- साझा
- महत्वपूर्ण
- उसी प्रकार
- सरल
- So
- सॉफ्टवेयर
- सॉफ्टवेयर इंजीनियर
- सॉफ्टवेयर इंजीनियरिंग
- समाधान
- समाधान ढूंढे
- बिताना
- स्थिरता
- धुआँरा
- मानक
- स्टार्ट-अप
- शुरू
- राज्य
- बयान
- स्थिति
- भंडारण
- सामरिक
- स्ट्रेटेजी
- स्टूडियो
- समर्थन
- समर्थन करता है
- स्थायी
- प्रणाली
- सिस्टम
- कार्य
- टीम
- तकनीकी
- टेक्नोलॉजीज
- टेक्नोलॉजी
- टेम्पलेट्स
- परीक्षण
- परीक्षण
- परीक्षण
- संयुक्त
- विषय
- इसलिये
- यहाँ
- पहर
- साधन
- की ओर
- ट्रैकिंग
- यातायात
- प्रशिक्षण
- बदालना
- परिवर्तन
- पारगमन
- यात्रा
- यात्रा का
- ट्रस्ट
- ui
- Uk
- अपडेट
- उपयोग
- उपयोगकर्ताओं
- उपयोग
- उपयोग
- विविधता
- देखें
- वास्तविक
- दृश्यता
- वेब आधारित
- या
- जब
- कौन
- अंदर
- बिना
- काम
- काम किया
- काम कर रहे
- व्यायाम करना
- कार्य
- विश्व