कैसे Yara Amazon SageMaker की MLOps सुविधाओं का उपयोग अपने अमोनिया संयंत्रों में ऊर्जा अनुकूलन को मापने के लिए कर रहा है

यारा दुनिया की अग्रणी फसल पोषण कंपनी और पर्यावरण और कृषि समाधान प्रदाता है। Yara की महत्वाकांक्षा एक प्रकृति-सकारात्मक खाद्य भविष्य को विकसित करने पर केंद्रित है जो ग्राहकों, शेयरधारकों और बड़े पैमाने पर समाज के लिए मूल्य बनाता है, और एक अधिक टिकाऊ खाद्य मूल्य श्रृंखला प्रदान करता है। भुखमरी मुक्त दुनिया और सम्मानित ग्रह के हमारे दृष्टिकोण का समर्थन करते हुए, यारा टिकाऊ मूल्य वृद्धि की रणनीति अपनाता है, जलवायु के अनुकूल फसल पोषण और शून्य-उत्सर्जन ऊर्जा समाधानों को बढ़ावा देता है। यारा अमोनिया, नाइट्रेट्स और का दुनिया का सबसे बड़ा उत्पादक भी है एनपीके उर्वरक। इसलिए उनका उत्पादन खंड उनके मिशन को पूरा करने के लिए एक अभिन्न बिल्डिंग ब्लॉक है - सुरक्षा, पर्यावरण पदचिह्न, गुणवत्ता और उत्पादन लागत जैसे मेट्रिक्स पर विश्व-अग्रणी बनने की स्पष्ट महत्वाकांक्षा के साथ। Yara का दीर्घकालिक लक्ष्य शून्य उत्सर्जन और कम लागत वाला "भविष्य का पौधा" है.

एक छोटे परिवर्तन पर निर्माण करते हुए, यारा ने डिजिटल समाधानों पर अपना ध्यान केंद्रित किया ताकि उन्हें अपनी महत्वाकांक्षाओं को प्राप्त करने में मदद मिल सके। इस प्रयास का नेतृत्व करने के लिए, यारा ने डिजिटल प्रोडक्शन नामक एक वैश्विक इकाई की स्थापना की। डिजिटल उत्पादन और उसके समाधान की सफलता Yara के लिए एक प्रमुख प्राथमिकता है, और Yara ने इस क्षेत्र में अपने प्रयासों में उल्लेखनीय वृद्धि की है. एक महत्वपूर्ण फोकस क्षेत्र उनके संचालन के हिस्से के रूप में उत्पन्न डेटा की विशाल मात्रा का लाभ उठाना है। इसलिए, Yara डेटा-संचालित उत्पादों का निर्माण कर रहा है जो उन्हें उत्पादन को अनुकूलित करने, उत्पादों की गुणवत्ता बढ़ाने, उत्पादन स्थलों की विश्वसनीयता बढ़ाने, उत्सर्जन कम करने, श्रमिकों की सुरक्षा और उत्पादकता बढ़ाने, मैन्युअल प्रक्रियाओं को स्वचालित करने आदि में मदद करता है।

कई उत्पादन संयंत्रों के लिए ऊर्जा एक प्रमुख लागत घटक है; इसलिए, ऊर्जा दक्षता का लाभप्रदता पर पर्याप्त प्रभाव पड़ता है। हालांकि, अच्छा प्रदर्शन कैसा दिखता है और वहां कैसे पहुंचा जाए, इसके लिए अक्सर ठोस संदर्भों की कमी होती है। Yara का एनर्जी लोड कर्व (ELC) एक ऐसा समाधान है जो वर्तमान प्रदर्शन के विरुद्ध रुकी हुई ऊर्जा खपत पर सर्वश्रेष्ठ ऐतिहासिक प्रदर्शन का उपयोग करता है। यदि वर्तमान खपत ऐतिहासिक सर्वोत्तम से बहुत अधिक विचलित हो जाती है, तो उपकरण ऊर्जा खपत को नियंत्रित करने के लिए ऑपरेटरों को सिफारिशें देता है।

ELC को उत्पादन संयंत्रों में तैनात करने और इसे दुनिया भर में कई साइटों पर स्केल करने के लिए, Yara को एक MLOps प्लेटफॉर्म बनाने की आवश्यकता थी। यह सुनिश्चित करेगा कि Yara मज़बूती से और कुशलता से मॉडलों को प्रशिक्षित, तैनात और बनाए रखेगा। इसके अतिरिक्त, इसे कई साइटों पर स्केल करने के लिए, Yara को परिनियोजन और रखरखाव प्रक्रियाओं को स्वचालित करने की आवश्यकता थी. इस पोस्ट में, हम चर्चा करते हैं कि Yara कैसे उपयोग कर रहा है अमेज़न SageMaker सुविधाएँ, मॉडल रजिस्ट्री सहित, अमेज़ॅन सैजमेकर मॉडल मॉनिटर, तथा अमेज़न SageMaker पाइपलाइन MLOps प्रथाओं को स्वचालित और मानकीकृत करके मशीन लर्निंग (ML) जीवनचक्र को कारगर बनाना। हम दुनिया भर में संयंत्रों के लिए एमएल मॉडल के निर्माण, प्रशिक्षण, तैनाती और निगरानी की प्रक्रिया को प्रदर्शित करते हुए सेटअप का अवलोकन प्रदान करते हैं।

समाधान का अवलोकन

ELC एक संयंत्र से इंटरनेट ऑफ थिंग्स (IoT) सेंसर डेटा का उपयोग करता है। ये सेंसर मेट्रिक्स जैसे उत्पादन थ्रूपुट, परिवेश की स्थिति और कच्चे माल की स्थिति आदि को मापते हैं। इस डेटा का उपयोग एक ऊर्जा भविष्यवाणी मॉडल को प्रशिक्षित करने के लिए किया जाता है जिसका उपयोग प्रति घंटे की भविष्यवाणी करने के लिए किया जाता है। प्लांट संचालक वास्तविक ऊर्जा खपत की निगरानी करते हैं और ईएलसी द्वारा अनुमानित इष्टतम खपत के साथ इसकी तुलना करते हैं। यदि वर्तमान ऊर्जा खपत इष्टतम बिंदु से बहुत अधिक विचलित हो जाती है, तो ईएलसी विश्लेषणात्मक मॉडल के आधार पर ऊर्जा दक्षता को अनुकूलित करने के लिए आंतरिक प्रक्रिया चर को समायोजित करने के लिए एक क्रिया प्रदान करता है।

ELC को क्लाउड में होस्ट किया जाता है। यारा वास्तविक समय में एक संयंत्र से सेंसर डेटा को प्रवाहित करने के लिए उपयोग करता है AWS IoT ग्रीनग्रास के साथ सुरक्षित रूप से संवाद करने के लिए AWS IoT कोर और AWS क्लाउड को IoT डेटा निर्यात करें। एडब्ल्यूएस IoT साइटवार एक प्रबंधित सेवा है जो बड़े पैमाने पर औद्योगिक उपकरणों से उपकरण डेटा एकत्र, व्यवस्थित, खोज और उपभोग कर सकती है। Yara ने API का उपयोग करके बनाया है अमेज़ॅन एपीआई गेटवे ईएलसी जैसे अनुप्रयोगों के लिए सेंसर डेटा को उजागर करने के लिए।

ईएलसी एप्लिकेशन बैकएंड को अमेज़ॅन ईसीएस के माध्यम से तैनात किया गया है और प्लांट ऑपरेटरों द्वारा उपयोग किए जाने वाले फ्रंट एंड पर ईएलसी डैशबोर्ड को शक्ति प्रदान करता है। ईएलसी एप्लिकेशन संयंत्र संचालकों को प्रति घंटा अनुमानित ऊर्जा खपत मेट्रिक्स प्रदान करने के लिए जिम्मेदार है। प्रत्येक संयंत्र अपने स्वयं के मॉडल के साथ फिट होता है, क्योंकि उनकी ऊर्जा खपत विशेषताएँ भिन्न होती हैं। इसके अलावा, पौधों को उनके स्थान के आधार पर विभिन्न एडब्ल्यूएस क्षेत्रों में क्लस्टर किया जाता है।

निम्नलिखित चित्र इस वास्तुकला को दर्शाता है।

ELC के निर्माण और कई संयंत्रों के विस्तार के लिए, हमें एक MLOps समाधान की आवश्यकता थी जो निम्नलिखित का समर्थन करता हो:

• अनुमापकता - यह डेटा वॉल्यूम के जवाब में स्केल कर सकता है। कुछ पौधे दूसरों की तुलना में अधिक डेटा उत्पन्न करते हैं; प्रत्येक संयंत्र प्रति दिन कई गीगाबाइट डेटा का उत्पादन कर सकता है।
• विस्तारशीलता - यह नए क्षेत्रों और खातों में परिनियोजन कर सकता है।
• Repeatability - इसके सामान्य टेम्प्लेट हैं जिनका उपयोग हम एक नए संयंत्र में ऑनबोर्ड करने के लिए कर सकते हैं।
• लचीलापन - यह प्रत्येक संयंत्र की जरूरतों के आधार पर परिनियोजन विन्यास को बदल सकता है।
• विश्वसनीयता और निगरानी - यह परीक्षण चला सकता है और सभी सक्रिय संयंत्रों की स्थिति में स्पष्ट दृश्यता रखता है। विफलता के मामले में, यह पिछली स्थिर स्थिति में वापस आ सकता है।
• रखरखाव - समाधान में कम रखरखाव ओवरहेड होना चाहिए। इंफ्रास्ट्रक्चर फुटप्रिंट को कम करने के लिए जहां संभव हो वहां सर्वर रहित सेवाओं का उपयोग करना चाहिए।

ML के लिए, Yara ने SageMaker का उपयोग करने का निर्णय लिया। SageMaker पूरी तरह से प्रबंधित सेवा है जो संपूर्ण ML कार्यप्रवाह को कवर करती है। SageMaker के चयन में निम्नलिखित विशेषताएँ महत्वपूर्ण थीं:

• सेजमेकर फ्रेमवर्क कंटेनर - Yara ने TensorFlow पर ELC प्रेडिक्टिव मॉडल को प्रशिक्षित किया था, और SageMaker फ्रेमवर्क कंटेनरों के साथ, Yara इन मॉडलों को SageMaker में न्यूनतम कोड परिवर्तन के साथ उठाने और स्थानांतरित करने में सक्षम था।
• SageMaker पाइपलाइन - सेजमेकर पाइपलाइन एमएल पाइपलाइन लिखने के लिए डेटा वैज्ञानिकों के लिए एक पायथन इंटरफ़ेस प्रदान करता है। ईएलसी कोड के एक बड़े हिस्से में एक प्रशिक्षण और एक अनुमान पाइपलाइन शामिल है, जिसे पायथन में परिभाषित किया गया है।
• SageMaker मॉडल रजिस्ट्री - SageMaker मॉडल रजिस्ट्री कैटलॉग और संस्करण नियंत्रण मॉडल को संभव बनाती है। इसके अतिरिक्त, यह मॉडल मेटाडेटा को प्रबंधित करना आसान बनाता है, जैसे कि प्रशिक्षण मेट्रिक्स।
• SageMaker मॉडल मॉनिटर - Yara आने वाले डेटा की गुणवत्ता और वितरण के साथ-साथ ELC मॉडल के प्रदर्शन की निगरानी करना चाहता था। SageMaker मॉडल मॉनिटर एपीआई डेटा और मॉडल गुणवत्ता निगरानी प्रदान करते हैं।

Yara एमएल पाइपलाइनों के लिए निरंतर एकीकरण और निरंतर वितरण (CI/CD) का प्रबंधन करने के लिए उपयोग करता है अमेज़ॅन परिनियोजन फ्रेमवर्क (एडीएफ)। ADF एक AWS संगठन के भीतर कई AWS खातों और क्षेत्रों में संसाधनों के प्रबंधन और तैनाती के लिए AWS द्वारा विकसित एक ओपन-सोर्स फ्रेमवर्क है। ADF में परिभाषित संरचना के माध्यम से अनुप्रयोगों या संसाधनों के चरणबद्ध, समानांतर, बहु-खाता और क्रॉस-क्षेत्र परिनियोजन की अनुमति देता है। AWS संगठनजैसी सेवाओं का लाभ उठाते समय AWS कोडपिपलीन, एडब्ल्यूएस कोडबिल्ड, AWS कोडकॉमिट, तथा एडब्ल्यूएस CloudFormation पारंपरिक CI/CD सेटअप की तुलना में भारी उठाने और प्रबंधन को कम करने के लिए।

समाधान अवलोकन

MLOps प्लेटफॉर्म के लिए संपूर्ण समाधान दो महीने के भीतर एक सहयोगी प्रयास में बनाया गया था AWS व्यावसायिक सेवाएँ. परियोजना पर काम करने वाली टीम में डेटा वैज्ञानिक, डेटा इंजीनियर और DevOps विशेषज्ञ शामिल थे। बहु-टीम वातावरण में तेजी से विकास की सुविधा के लिए, यारा ने उपयोग करना चुना एडब्ल्यूएस लैंडिंग Zone और विभिन्न एडब्ल्यूएस खातों को केंद्रीय रूप से बनाने, प्रबंधित करने और नियंत्रित करने के लिए संगठन। उदाहरण के लिए, Yara के पास एक केंद्रीय परिनियोजन खाता है, और व्यावसायिक अनुप्रयोगों को होस्ट करने के लिए वर्कलोड खातों का उपयोग करता है। ईएलसी एक प्रक्रिया अनुकूलन उपयोग मामला है और वर्कलोड खातों को अनुकूलित करने के लिए तैनात किया गया है। Yara Digital Production टीम अनुकूलन के अलावा अन्य क्षेत्रों में ML उपयोग मामलों पर भी काम करती है। MLOps ढांचा किसी भी वर्कलोड खाते में तैनाती का समर्थन करता है जब तक कि संगठन के माध्यम से खाते बनाए जाते हैं।

निम्नलिखित चित्र इस वास्तुकला को दर्शाता है।

केंद्रीय परिनियोजन खाते का उपयोग करने से सामान्य कलाकृतियों और CI/CD पाइपलाइनों का प्रबंधन करना आसान हो जाता है। पहुँच प्रबंधन और इन सामान्य कलाकृतियों की सुरक्षा के संदर्भ में, यह एक सरल डिज़ाइन है क्योंकि अनुमति सीमाएँ और एन्क्रिप्शन कुंजियाँ एक ही स्थान पर केंद्रीय रूप से प्रबंधित की जाती हैं। निम्नलिखित अनुभागों में, हम आपको Yara के MLOps प्लेटफ़ॉर्म पर एक नए उपयोग के मामले को ऑनबोर्ड करने के लिए आवश्यक चरणों के बारे में बताते हैं।

खाता रणनीति के संदर्भ में, Yara के पास सैंडबॉक्स, DEV, TEST और PROD सेटअप है। सैंडबॉक्स खाते का प्रयोग प्रयोग करने और नए विचारों को आज़माने के लिए किया जाता है। DEV खाता CI/CD पाइपलाइनों का शुरुआती बिंदु है, और सारा विकास यहीं से शुरू होता है। परिनियोजन खाते में CI/CD पाइपलाइन परिभाषा शामिल है और DEV, TEST, और PROD खातों में परिनियोजित करने में सक्षम है। यह खाता सेटअप निम्न आकृति में दर्शाया गया है।

एक नए उपयोग के मामले में ऑनबोर्डिंग

इस पोस्ट के लिए, हम मानते हैं कि हमारे पास उपयोग के मामले का एक कार्यशील प्रोटोटाइप है, और अब हम इसे चालू करना चाहते हैं। यदि यह उपयोग मामला एक नए उत्पाद क्षेत्र से संबंधित है, तो हमें पहले संगठनों का उपयोग करके खातों का प्रावधान करने की आवश्यकता है, जो स्वचालित रूप से ADF को इन खातों को परिनियोजन के लिए बूटस्ट्रैप करने के लिए ट्रिगर करता है। Yara DEV>TEST>PROD खाता रणनीति का पालन करता है; हालाँकि, यह कॉन्फ़िगरेशन अनिवार्य नहीं है। डेटा खाते डेटा एक्सेस के लिए एपीआई को उजागर करते हैं, और एक नए उपयोग के मामले के लिए, भूमिकाओं को आवश्यक रूप से प्रदान करने की आवश्यकता होती है AWS पहचान और अभिगम प्रबंधन (आईएएम) अनुमतियां ताकि वे डेटा एपीआई तक पहुंच सकें।

अगला, हमें यह परिभाषित करने की आवश्यकता है कि यह उपयोग मामला किन खातों में तैनात किया गया है। यह एडीएफ में परिनियोजन मानचित्र का उपयोग करके किया जाता है। परिनियोजन मानचित्र एक कॉन्फ़िगरेशन फ़ाइल है जिसमें पाइपलाइन के चरणों और लक्ष्यों की मैपिंग होती है। परिनियोजन मानचित्र चलाने के लिए, ADF CodePipeline का उपयोग करता है। एडीएफ प्रति लक्षित पर्यावरण पैरामीटर को प्रबंधित करने के लिए लचीलापन प्रदान करता है जिस पर स्टैक तैनात किया गया है। यह तैनाती को प्रबंधित करना और छोटे उदाहरणों के साथ परीक्षण करना आसान बनाता है।

कोड, डेटा और मॉडल फ़ाइलों जैसी सभी कलाकृतियों को एन्क्रिप्ट करने के लिए, हम एक उत्पन्न करते हैं AWS प्रमुख प्रबंधन सेवा (एडब्ल्यूएस केएमएस) कुंजी। आप सर्वर-साइड एन्क्रिप्शन का भी उपयोग कर सकते हैं। हालाँकि, क्योंकि कुछ उत्पन्न कलाकृतियों को खातों में एक्सेस किया जाता है, हमें क्रॉस-अकाउंट एक्सेस प्रदान करने के लिए अपनी स्वयं की कुंजी उत्पन्न करने और इसकी अनुमति नीतियों को प्रबंधित करने की आवश्यकता होती है।

अंत में, हमें SageMaker मॉडल रजिस्ट्री का उपयोग करके एक मॉडल के विभिन्न संस्करणों को समूहित करने के लिए एक मॉडल पैकेज समूह बनाने की आवश्यकता है, जो मॉडल को ट्रैक करने और प्रबंधित करने के लिए SageMaker की क्षमता है क्योंकि वे एमएल जीवनचक्र के माध्यम से आगे बढ़ते हैं।

मॉडल प्रशिक्षण पाइपलाइन

ELC के लिए ऑनबोर्ड किए गए प्रत्येक नए संयंत्र के लिए, हम एक नया SageMaker प्रशिक्षण पाइपलाइन बनाते हैं। इस पाइपलाइन में डेटा प्रीप्रोसेसिंग और मॉडल प्रशिक्षण चरण शामिल हैं। SageMaker पाइपलाइन Yara के लिए उपयुक्त हैं क्योंकि वे ML कार्यप्रवाह को परिभाषित करने के लिए Python इंटरफ़ेस प्रदान करते हैं। इसके अलावा, वर्कफ़्लो के विभिन्न चरणों को अलग-अलग पैमाने पर कॉन्फ़िगर किया जा सकता है। उदाहरण के लिए, आप मॉडल मूल्यांकन कदम की तुलना में प्रशिक्षण के लिए एक बहुत बड़ा उदाहरण परिभाषित कर सकते हैं। पाइपलाइन के प्रत्येक चरण के लिए इनपुट और आउटपुट पैरामीटर संग्रहीत किए जाते हैं, जिससे प्रत्येक रन और उसके आउटपुट को ट्रैक करना आसान हो जाता है। प्रशिक्षण कार्यप्रवाह की उच्च-स्तरीय रूपरेखा इस प्रकार है।

मॉडल मूल्यांकन चरण के भाग के रूप में, एक मूल्यांकन डेटासेट का उपयोग मेट्रिक्स उत्पन्न करने के लिए किया जाता है, जैसे कि प्रशिक्षित मॉडल पर सटीकता और रूट-माध्य-वर्ग त्रुटि (RMSE) विचलन। मॉडल रजिस्ट्री में मॉडल को पंजीकृत करने से पहले ये मेट्रिक्स मॉडल मेटाडेटा में जोड़े जाते हैं। वर्तमान में, मॉडल को उच्च वातावरण में मैन्युअल रूप से प्रचारित किया जाता है, और मॉडल अनुमोदक यह सुनिश्चित करने के लिए मॉडल मेट्रिक्स देख सकता है कि नया संस्करण वर्तमान मॉडल से बेहतर प्रदर्शन करता है।

मॉडल मॉडल रजिस्ट्री के साथ नियंत्रित संस्करण हैं, प्रत्येक संयंत्र का अपना मॉडल पैकेज समूह होता है। इसके अतिरिक्त, आप मॉडल रजिस्ट्री का उपयोग यह ट्रैक करने के लिए कर सकते हैं कि कौन से मॉडल संस्करण किस वातावरण में परिनियोजित किए गए हैं। एक मॉडल में हो सकता है अस्वीकृत, लंबित मैनुअल स्वीकृतिया, अनुमोदित राज्य, और केवल मॉडल जो में हैं अनुमोदित राज्य तैनात किया जा सकता है। यह मॉडल के गैर-अनुमोदित संस्करण को गलती से तैनात करने से भी सुरक्षा प्रदान करता है।

मॉडल निष्कर्ष और निगरानी पाइपलाइन

मॉडल को परिनियोजित करने और मॉडल निगरानी स्थापित करने के लिए, हमने एक दूसरी SageMaker पाइपलाइन स्थापित की। ईएलसी एप्लिकेशन प्लांट ऑपरेटरों को मांग पर भविष्यवाणियां प्रदान करता है, इसलिए मॉडल को ईएलसी बैकएंड से किए गए एपीआई कॉल के माध्यम से एक्सेस किया जाता है। SageMaker अनुमान समापन बिंदु एक एपीआई परत के साथ एक पूरी तरह से प्रबंधित मॉडल होस्टिंग समाधान प्रदान करता है; समापन बिंदु मॉडल इनपुट को पेलोड के रूप में लेते हैं और भविष्यवाणियां लौटाते हैं। क्योंकि अंतिम-उपयोगकर्ताओं के लिए विलंबता भी एक महत्वपूर्ण कारक है जो अद्यतन पूर्वानुमानों को प्राप्त करने से पहले लंबे समय तक प्रतीक्षा नहीं करना चाहते हैं, Yara ने SageMaker रीयल-टाइम इंफ़्रेंस एंडपॉइंट्स का विकल्प चुना, जो विशेष रूप से बहुत कम विलंबता आवश्यकताओं वाले वर्कलोड के लिए उपयुक्त हैं। अंत में, क्योंकि अद्यतन मॉडल तैनात किए जाने के दौरान ELC एप्लिकेशन डाउनटाइम नहीं रख सकता है, यह SageMaker रीयल-टाइम एंडपॉइंट की नीली/हरी परिनियोजन क्षमता पर निर्भर करता है ताकि यह सुनिश्चित किया जा सके कि पुराने मॉडल संस्करण नए संस्करण के तैनात होने तक भविष्यवाणी करना जारी रखता है। .

निम्न आरेख परिनियोजन और निगरानी सेटअप दिखाता है।

मॉडल की निगरानी के लिए, Yara SageMaker चलाती है आँकड़े की गुणवत्ता, मॉडल गुणवत्ता, तथा मॉडल व्याख्यात्मकता निगरानी। डेटा गुणवत्ता निगरानी स्थिरता के लिए जाँच करती है और डेटा वितरण आँकड़े उत्पन्न करती है। मॉडल गुणवत्ता निगरानी मॉडल के प्रदर्शन की जांच करती है और प्रशिक्षण मेट्रिक्स के खिलाफ मॉडल सटीकता की तुलना करती है. प्रति घंटे के आधार पर मॉडल निगरानी रिपोर्ट तैयार की जाती हैं। इन रिपोर्टों का उपयोग उत्पादन में मॉडल के प्रदर्शन की निगरानी के लिए किया जाता है। मॉडल व्याख्यात्मकता निगरानी का उपयोग यह समझने के लिए किया जाता है कि भविष्यवाणी के लिए कौन सी विशेषताएं सबसे अधिक योगदान देती हैं।

मॉडल व्याख्यात्मकता के इस परिणाम को ईएलसी डैशबोर्ड पर साझा किया जाता है ताकि संयंत्र संचालकों को ऊर्जा की खपत को चलाने वाले कारणों पर अधिक संदर्भ प्रदान किया जा सके। यह आंतरिक प्रक्रिया को समायोजित करने के लिए कार्रवाई का निर्धारण करने में भी सहायता करता है, जब ऊर्जा की खपत इष्टतम बिंदु से विचलित हो जाती है।

सीआई/सीडी प्रवाह

प्रशिक्षण पाइपलाइनों के लिए CI/CD प्रवाह DEV खाते में प्रारंभ होता है। यारा एक सुविधा-आधारित विकास मॉडल का पालन करता है और जब एक नई सुविधा विकसित की जाती है, तो सुविधा शाखा को ट्रंक में मिला दिया जाता है, जो परिनियोजन शुरू कर देता है। ELC मॉडल को DEV खाते में प्रशिक्षित किया जाता है और मॉडल के प्रशिक्षित और मूल्यांकन के बाद, यह मॉडल रजिस्ट्री में पंजीकृत होता है। एक मॉडल अनुमोदक मॉडल की स्थिति को अपडेट करने से पहले विवेक जांच करता है अनुमोदित. यह क्रिया एक घटना उत्पन्न करती है जो मॉडल अनुमान पाइपलाइन की तैनाती को ट्रिगर करती है। मॉडल अनुमान पाइपलाइन नए मॉडल संस्करण को DEV में एक SageMaker समापन बिंदु पर तैनात करती है।

समापन बिंदु के परिनियोजन के बाद, सेटअप के व्यवहार की जाँच करने के लिए परीक्षण प्रारंभ किए जाते हैं। यारा परीक्षण के लिए उपयोग करता है कोडबिल्ड परीक्षण रिपोर्ट. यह सुविधा डेवलपर्स को इकाई परीक्षण, कॉन्फ़िगरेशन परीक्षण और तैनाती से पहले और बाद में कार्यात्मक परीक्षण चलाने की अनुमति देती है। इस मामले में, Yara SageMaker समापन बिंदुओं पर परीक्षण पेलोड पास करके और प्रतिक्रिया का मूल्यांकन करके कार्यात्मक परीक्षण चलाता है। इन परीक्षणों के पारित होने के बाद, पाइपलाइन सैजमेकर एंडपॉइंट्स को टेस्ट में तैनात करने के लिए आगे बढ़ती है। ELC बैकएंड को TEST में भी तैनात किया गया है, जो इस वातावरण में ऐप के लिए एंड-टू-एंड टेस्टिंग संभव बनाता है। इसके अतिरिक्त, Yara TEST में उपयोगकर्ता-स्वीकृति परीक्षण चलाता है। TEST से PROD परिनियोजन के लिए ट्रिगर एक मैन्युअल अनुमोदन क्रिया है। नए मॉडल संस्करण के परीक्षण में कार्यात्मक और उपयोगकर्ता स्वीकृति परीक्षण दोनों को पारित करने के बाद, इंजीनियरिंग टीम PROD के लिए मॉडल परिनियोजन को मंजूरी देती है।

निम्नलिखित आंकड़ा इस वर्कफ़्लो को दिखाता है।

आम घटक

ELC के लिए, हम कई घटकों का उपयोग करते हैं जो सभी परिनियोजन चरणों (DEV, TEST, PROD) और मॉडलों के लिए सामान्य हैं। ये घटक हमारे परिनियोजन खाते में रहते हैं, और सामान्य कलाकृतियों को संग्रहीत करने के लिए मॉडल संस्करण नियंत्रण, एक कंटेनर छवि भंडार, एक एन्क्रिप्शन कुंजी और एक बाल्टी शामिल हैं।

सामान्य कलाकृतियों का उपयोग करने के कई फायदे हैं। उदाहरण के लिए, संसाधनों को प्रत्येक खाते के लिए बनाने की आवश्यकता नहीं है, जो खातों के बीच अनुकूलता को लागू करता है। इसका अर्थ है कि हम एक बार कंटेनर चित्र बनाते हैं और निर्माण समय को कम करते हुए सभी लक्षित खातों में उनका पुन: उपयोग करते हैं।

यह पाइपलाइन परिनियोजन खाते में एक सामान्य मॉडल रजिस्ट्री में विभिन्न मॉडल संस्करणों को संग्रहीत करती है। इस केंद्रीय स्थान से, मॉडलों को बिना स्थानांतरित किए सभी खातों में तैनात किया जा सकता है। इसी तरह, केंद्रीय रूप से संग्रहीत एन्क्रिप्शन कुंजी का उपयोग कुंजी और क्रॉस-खाता अनुमतियों को प्रबंधित करना आसान बनाता है।

सामान्य कलाकृतियों का उपयोग करने का एक नुकसान यह है कि नए उपयोग के मामले का ऑनबोर्डिंग चरण अधिक विस्तृत हो सकता है। एक नए उपयोग के मामले को ऑनबोर्ड करने के लिए, एक नई मॉडल रजिस्ट्री बनाई जानी चाहिए और यदि आवश्यक हो तो एक नया कंटेनर इमेज रिपॉजिटरी। हम संसाधनों और संग्रहीत डेटा को सख्ती से अलग करने के लिए एक नई एन्क्रिप्शन कुंजी बनाने की भी अनुशंसा करते हैं।

निष्कर्ष

इस पोस्ट में, हमने प्रदर्शित किया कि कैसे Yara ने SageMaker और ADF का उपयोग एक अत्यधिक स्केलेबल MLOps प्लेटफॉर्म बनाने के लिए किया। ML एक क्रॉस-फंक्शनल क्षमता है, और टीमें विभिन्न व्यावसायिक इकाई खातों में मॉडल तैनात करती हैं। इसलिए, एडीएफ, जो संगठनों के साथ मूल एकीकरण प्रदान करता है, इसे सीआई/सीडी पाइपलाइन स्थापित करने के लिए खातों को बूटस्ट्रैप करने के लिए एक आदर्श उम्मीदवार बनाता है। परिचालन रूप से, ADF पाइपलाइनें केंद्रीय परिनियोजन खाते में चलती हैं, जिससे परिनियोजनों के समग्र स्वास्थ्य दृश्य को प्राप्त करना आसान हो जाता है। अंत में, ADF AWS प्रबंधित सेवाओं जैसे CodeBuild, CodeDeploy, CodePipeline और CloudFormation का उपयोग करता है, जिससे इसे कॉन्फ़िगर करना और बनाए रखना आसान हो जाता है।

सेजमेकर एमएल क्षमताओं का एक व्यापक स्पेक्ट्रम प्रदान करता है, जो टीमों को व्यावसायिक समस्याओं को हल करने और बुनियादी ढांचे के निर्माण और रखरखाव पर कम ध्यान केंद्रित करने में सक्षम बनाता है। इसके अतिरिक्त, SageMaker पाइपलाइन एमएल वर्कफ़्लोज़ को बनाने, अपडेट करने और तैनात करने के लिए एपीआई का एक समृद्ध सेट प्रदान करती है, जिससे यह एमएलओपीएस के लिए एक बढ़िया फिट बन जाता है।

अंत में, एमएलओपीएस उत्पादन में एमएल मॉडल को मज़बूती और कुशलता से तैनात करने और बनाए रखने के लिए सर्वोत्तम अभ्यास प्रदान करता है। एमएलओपीएस को लागू करने के लिए बड़े पैमाने पर एमएल समाधान बनाने और तैनात करने वाली टीमों के लिए यह महत्वपूर्ण है। Yara के मामले में, MLOps एक नए संयंत्र को ऑनबोर्ड करने, ELC के लिए अपडेट रोल आउट करने और गुणवत्ता के लिए मॉडल की निगरानी सुनिश्चित करने के लिए आवश्यक प्रयास को काफी कम कर देता है।

एडीएफ का उपयोग करके अनुप्रयोगों को कैसे तैनात किया जाए, इस बारे में अधिक जानकारी के लिए देखें उदाहरण.

---

लेखक के बारे में

शहीर मंसूर AWS में डेटा साइंटिस्ट हैं। उनका ध्यान मशीन लर्निंग प्लेटफॉर्म बनाने पर है जो एआई समाधानों को बड़े पैमाने पर होस्ट कर सके। MLOps, फीचर स्टोर, मॉडल होस्टिंग और मॉडल मॉनिटरिंग उनकी रुचि के क्षेत्र हैं।

टिम बेकर Yara International में वरिष्ठ डेटा वैज्ञानिक हैं. डिजिटल उत्पादन के भीतर, उनका ध्यान अमोनिया और नाइट्रिक एसिड उत्पादन की प्रक्रिया अनुकूलन पर है। उन्होंने थर्मोडायनामिक्स में पीएचडी की है और प्रोसेस इंजीनियरिंग और मशीन लर्निंग को एक साथ लाने के बारे में भावुक हैं।

योंग्योस कावपिटक्कुन Yara International की डिजिटल प्रोडक्शन टीम में वरिष्ठ डेटा वैज्ञानिक हैं. उनके पास एआई/मशीन लर्निंग में पीएचडी है और चुनौतीपूर्ण व्यावसायिक समस्याओं को हल करने के लिए मशीन लर्निंग, कंप्यूटर विजन और प्राकृतिक भाषा प्रसंस्करण मॉडल का लाभ उठाने का कई वर्षों का व्यावहारिक अनुभव है।