Amazon SageMaker ML मॉडल के लिए परीक्षण दृष्टिकोण

इस पोस्ट को इंटुइट मशीन लर्निंग प्लेटफॉर्म के सॉफ्टवेयर इंजीनियरिंग मैनेजर टोबीस वेनजेल के साथ लिखा गया था।

उदाहरण के लिए, स्वायत्त ड्राइविंग या एलेक्सा के साथ बातचीत करते समय हम सभी एक उच्च-गुणवत्ता और विश्वसनीय मशीन लर्निंग (एमएल) मॉडल के महत्व की सराहना करते हैं। एमएल मॉडल कम स्पष्ट तरीकों से भी महत्वपूर्ण भूमिका निभाते हैं—वे व्यावसायिक अनुप्रयोगों, स्वास्थ्य देखभाल, वित्तीय संस्थानों, amazon.com, TurboTax, आदि द्वारा उपयोग किए जाते हैं।

चूंकि एमएल-सक्षम एप्लिकेशन कई व्यवसायों के लिए मुख्य बन जाते हैं, इसलिए मॉडल को सॉफ़्टवेयर अनुप्रयोगों के समान शक्ति और अनुशासन का पालन करने की आवश्यकता होती है। MLOps का एक महत्वपूर्ण पहलू परीक्षण, संस्करण, निरंतर वितरण और निगरानी जैसे स्थापित DevOps प्रथाओं का उपयोग करके उत्पादन में पहले से विकसित ML मॉडल का एक नया संस्करण देना है।

वहाँ कई हैं नियम के अनुसार MLOps के बारे में दिशानिर्देश, और यह पोस्ट उस प्रक्रिया का अवलोकन देता है जिसका आप अनुसरण कर सकते हैं और परीक्षण के लिए किन उपकरणों का उपयोग करना है। यह के बीच सहयोग पर आधारित है सहज और एडब्ल्यूएस। हम इस पोस्ट में बताई गई सिफारिशों को व्यवहार में और बड़े पैमाने पर लागू करने के लिए मिलकर काम कर रहे हैं। Intuit का लक्ष्य an . बनना है एआई-संचालित विशेषज्ञ मंच प्रारंभिक मॉडल विकास के साथ-साथ नए संस्करणों के परीक्षण के वेग को बढ़ाने की रणनीति पर बहुत अधिक निर्भर है।

आवश्यकताएँ

नए मॉडल संस्करणों को परिनियोजित करते समय विचार के मुख्य क्षेत्र निम्नलिखित हैं:

1. मॉडल सटीकता प्रदर्शन - यह महत्वपूर्ण है पूरी जानकारी रखें सटीकता, सटीकता और याद जैसे मॉडल मूल्यांकन मेट्रिक्स का, और यह सुनिश्चित करें कि उद्देश्य मेट्रिक्स अपेक्षाकृत समान रहें या मॉडल के नए संस्करण के साथ सुधार करें। अधिकांश मामलों में, यदि अंतिम-उपयोगकर्ताओं के अनुभव में सुधार नहीं होगा, तो मॉडल के नए संस्करण को परिनियोजित करने का कोई अर्थ नहीं है।
2. परीक्षण डेटा गुणवत्ता - गैर-उत्पादन वातावरण में डेटा, चाहे सिम्युलेटेड या पॉइंट-इन-टाइम कॉपी, उस डेटा का प्रतिनिधि होना चाहिए जो मॉडल को वॉल्यूम या वितरण के संदर्भ में पूरी तरह से तैनात होने पर प्राप्त होगा। यदि नहीं, तो आपकी परीक्षण प्रक्रियाएं प्रतिनिधि नहीं होंगी, और आपका मॉडल उत्पादन में भिन्न व्यवहार कर सकता है।
3. फ़ीचर महत्व और समता - मॉडल के नए संस्करण में फ़ीचर महत्व अपेक्षाकृत पुराने मॉडल की तुलना में होना चाहिए, हालाँकि इसमें नई सुविधाएँ पेश की जा सकती हैं। यह सुनिश्चित करने के लिए है कि मॉडल पक्षपाती नहीं हो रहा है।
4. व्यापार प्रक्रिया परीक्षण - यह महत्वपूर्ण है कि किसी मॉडल का नया संस्करण स्वीकार्य मानकों के भीतर आपके आवश्यक व्यावसायिक उद्देश्यों को पूरा कर सके। उदाहरण के लिए, व्यावसायिक मीट्रिक में से एक यह हो सकता है कि किसी भी सेवा के लिए एंड-टू-एंड लेटेंसी 100 मिलीसेकंड से अधिक नहीं होनी चाहिए, या किसी विशेष मॉडल को होस्ट करने और फिर से प्रशिक्षित करने की लागत प्रति वर्ष $10,000 से अधिक नहीं हो सकती है।
5. लागत - परीक्षण के लिए एक सरल दृष्टिकोण पूरे उत्पादन वातावरण को परीक्षण वातावरण के रूप में दोहराना है। सॉफ्टवेयर विकास में यह एक आम बात है। हालांकि, एमएल मॉडल के मामले में इस तरह के दृष्टिकोण से डेटा के आकार के आधार पर सही आरओआई नहीं मिल सकता है और यह उस व्यावसायिक समस्या के संदर्भ में मॉडल को प्रभावित कर सकता है जिसे वह संबोधित कर रहा है।
6. सुरक्षा - परीक्षण वातावरण में अक्सर वास्तविक ग्राहक डेटा के बजाय नमूना डेटा होने की उम्मीद की जाती है और इसके परिणामस्वरूप, डेटा प्रबंधन और अनुपालन नियम कम सख्त हो सकते हैं। हालांकि लागत की तरह, यदि आप केवल परीक्षण वातावरण में उत्पादन वातावरण की नकल करते हैं, तो आप सुरक्षा और अनुपालन जोखिम पेश कर सकते हैं।
7. फ़ीचर स्टोर स्केलेबिलिटी - यदि कोई संगठन लागत या सुरक्षा कारणों से एक अलग परीक्षण सुविधा स्टोर नहीं बनाने का निर्णय लेता है, तो उत्पादन सुविधा स्टोर पर मॉडल परीक्षण की आवश्यकता होती है, जिससे परीक्षण अवधि के दौरान ट्रैफ़िक दोगुना होने के कारण मापनीयता संबंधी समस्याएं हो सकती हैं।
8. ऑनलाइन मॉडल प्रदर्शन - ऑनलाइन मूल्यांकन ऑफ़लाइन मूल्यांकन से भिन्न होते हैं और अनुशंसा मॉडल जैसे कुछ मामलों में महत्वपूर्ण हो सकते हैं क्योंकि वे कथित संतुष्टि के बजाय वास्तविक समय में उपयोगकर्ता की संतुष्टि को मापते हैं। मौसमी या अन्य उपयोगकर्ता व्यवहार के कारण गैर-उत्पादन में वास्तविक ट्रैफ़िक पैटर्न का अनुकरण करना कठिन है, इसलिए ऑनलाइन मॉडल प्रदर्शन केवल उत्पादन में ही किया जा सकता है।
9. आपरेशनल प्रदर्शन - जैसे-जैसे मॉडल बड़े होते जाते हैं और विभिन्न हार्डवेयर पर विकेंद्रीकृत तरीके से तेजी से तैनात होते हैं, आपके वांछित परिचालन प्रदर्शन जैसे विलंबता, त्रुटि दर, और बहुत कुछ के लिए मॉडल का परीक्षण करना महत्वपूर्ण है।

अधिकांश एमएल टीमों के पास मॉडल परीक्षण के लिए एक बहु-आयामी दृष्टिकोण है। निम्नलिखित अनुभागों में, हम विभिन्न परीक्षण चरणों के दौरान इन चुनौतियों का समाधान करने के तरीके प्रदान करते हैं।

ऑफ़लाइन मॉडल परीक्षण

इस परीक्षण चरण का लक्ष्य मौजूदा मॉडल के नए संस्करणों को सटीकता के दृष्टिकोण से मान्य करना है। यह एक ऑफ़लाइन तरीके से किया जाना चाहिए ताकि वास्तविक समय की भविष्यवाणी करने वाली उत्पादन प्रणाली में किसी भी भविष्यवाणी को प्रभावित न किया जा सके। यह सुनिश्चित करके कि नया मॉडल लागू मूल्यांकन मेट्रिक्स के लिए बेहतर प्रदर्शन करता है, यह परीक्षण चुनौती 1 (मॉडल सटीकता प्रदर्शन) को संबोधित करता है। साथ ही, सही डेटासेट का उपयोग करके, यह परीक्षण चुनौती 2 (लागत) से निपटने के अतिरिक्त लाभ के साथ चुनौतियों 3 और 5 (परीक्षण डेटा गुणवत्ता, सुविधा महत्व और समता) का समाधान कर सकता है।

यह चरण स्टेजिंग वातावरण में किया जाता है।

आपको उत्पादन ट्रैफ़िक कैप्चर करना चाहिए, जिसका उपयोग आप ऑफ़लाइन बैक टेस्टिंग में फिर से चलाने के लिए कर सकते हैं। सिंथेटिक डेटा के बजाय पिछले उत्पादन ट्रैफ़िक का उपयोग करना बेहतर है। अमेज़ॅन सैजमेकर मॉडल मॉनिटर डेटा फ़ीचर कैप्चर करें आपको होस्ट किए गए मॉडलों के लिए उत्पादन ट्रैफ़िक कैप्चर करने की अनुमति देता है अमेज़न SageMaker. यह मॉडल डेवलपर्स को पीक व्यावसायिक दिनों या अन्य महत्वपूर्ण घटनाओं के डेटा के साथ अपने मॉडल का परीक्षण करने की अनुमति देता है। कैप्चर किए गए डेटा को नए मॉडल संस्करण के विरुद्ध बैच फ़ैशन का उपयोग करके फिर से चलाया जाता है सेजमेकर बैच ट्रांसफॉर्म. इसका मतलब यह है कि बैच ट्रांसफ़ॉर्म रन डेटा के साथ परीक्षण कर सकता है जिसे कुछ ही घंटों में हफ्तों या महीनों में एकत्र किया गया है। यह वास्तविक समय मॉडल के दो या दो से अधिक संस्करणों को साथ-साथ चलाने और प्रत्येक समापन बिंदु पर डुप्लिकेट भविष्यवाणी अनुरोध भेजने की तुलना में मॉडल मूल्यांकन प्रक्रिया को महत्वपूर्ण रूप से तेज कर सकता है। बेहतर प्रदर्शन करने वाले संस्करण को तेजी से खोजने के अलावा, यह दृष्टिकोण कम समय के लिए गणना संसाधनों का भी उपयोग करता है, जिससे समग्र लागत कम हो जाती है।

परीक्षण के इस दृष्टिकोण के साथ एक चुनौती यह है कि फीचर सेट एक मॉडल संस्करण से दूसरे मॉडल में बदलता है। इस परिदृश्य में, हम दोनों संस्करणों के लिए सुविधाओं के सुपरसेट के साथ एक फीचर सेट बनाने की सलाह देते हैं ताकि सभी सुविधाओं को एक बार में क्वेरी किया जा सके और डेटा कैप्चर के माध्यम से रिकॉर्ड किया जा सके। प्रत्येक भविष्यवाणी कॉल तब केवल उन सुविधाओं पर काम कर सकती है जो मॉडल के वर्तमान संस्करण के लिए आवश्यक हैं।

एक अतिरिक्त बोनस के रूप में, एकीकृत करके अमेज़न SageMaker स्पष्ट करें अपने ऑफ़लाइन मॉडल परीक्षण में, आप पूर्वाग्रह के लिए मॉडल के नए संस्करण की जांच कर सकते हैं और मॉडल के पिछले संस्करण के साथ विशेषता एट्रिब्यूशन की तुलना भी कर सकते हैं। पाइपलाइनों के साथ, आप पूरे वर्कफ़्लो को इस तरह व्यवस्थित कर सकते हैं कि प्रशिक्षण के बाद, मॉडल मेट्रिक्स और फीचर महत्व का विश्लेषण करने के लिए एक गुणवत्ता जांच चरण हो सकता है। ये मेट्रिक्स में संग्रहीत हैं SageMaker मॉडल रजिस्ट्री प्रशिक्षण के अगले दौर में तुलना के लिए।

एकीकरण और प्रदर्शन परीक्षण

एक कार्यात्मक के साथ-साथ एक रनटाइम प्रदर्शन परिप्रेक्ष्य से एंड-टू-एंड व्यावसायिक प्रक्रियाओं को मान्य करने के लिए एकीकरण परीक्षण की आवश्यकता है। इस प्रक्रिया के भीतर, फीचर स्टोर में सुविधाओं को लाने और गणना करने और एमएल एप्लिकेशन चलाने सहित पूरी पाइपलाइन का परीक्षण किया जाना चाहिए। यह विभिन्न परिदृश्यों और अनुरोधों को कवर करने और सभी संभावित कोड रन के लिए उच्च कवरेज प्राप्त करने के लिए विभिन्न प्रकार के पेलोड के साथ किया जाना चाहिए। यह चुनौतियों 4 और 9 (व्यवसाय प्रक्रिया परीक्षण और परिचालन प्रदर्शन) को संबोधित करता है ताकि यह सुनिश्चित किया जा सके कि मॉडल के नए संस्करण के साथ कोई भी व्यावसायिक प्रक्रिया टूट न जाए।

यह परीक्षण एक मंचन वातावरण में किया जाना चाहिए।

एकीकरण परीक्षण और प्रदर्शन परीक्षण दोनों को अलग-अलग टीमों द्वारा अपनी एमएलओपीएस पाइपलाइन का उपयोग करके लागू करने की आवश्यकता है। एकीकरण परीक्षण के लिए, हम कुछ अलग पेलोड के साथ कार्यात्मक रूप से समकक्ष प्री-प्रोडक्शन वातावरण और परीक्षण को बनाए रखने की कोशिश की और परीक्षण की गई विधि की अनुशंसा करते हैं। जैसा कि दिखाया गया है, परीक्षण कार्यप्रवाह को स्वचालित किया जा सकता है यह कार्यशाला. प्रदर्शन परीक्षण के लिए, आप उपयोग कर सकते हैं अमेज़ॅन सेजमेकर अनुमान अनुशंसाकर्ता, जो यह निर्धारित करने के लिए एक महान प्रारंभिक बिंदु प्रदान करता है कि किस इंस्टेंस प्रकार और उनमें से कितने इंस्टेंस का उपयोग करना है। इसके लिए, आपको एक लोड जेनरेटर टूल का उपयोग करना होगा, जैसे कि ओपन-सोर्स प्रोजेक्ट परफ़साइज़सेजमेकर और परफ़साइज़ कि Intuit विकसित हो गया है। Perfsizesagemaker आपको विभिन्न प्रकार के पेलोड, प्रतिक्रिया समय और प्रति सेकंड आवश्यकताओं के चरम लेनदेन के साथ स्वचालित रूप से मॉडल एंडपॉइंट कॉन्फ़िगरेशन का परीक्षण करने की अनुमति देता है। यह विस्तृत परीक्षण परिणाम उत्पन्न करता है जो विभिन्न मॉडल संस्करणों की तुलना करता है। Perfsize सहयोगी उपकरण है जो प्रति सेकंड केवल चरम लेनदेन और अपेक्षित प्रतिक्रिया समय को देखते हुए विभिन्न कॉन्फ़िगरेशन का प्रयास करता है।

A / B परीक्षण

कई मामलों में जहां मॉडल के तत्काल आउटपुट के लिए उपयोगकर्ता की प्रतिक्रिया की आवश्यकता होती है, जैसे ईकॉमर्स एप्लिकेशन, ऑफ़लाइन मॉडल कार्यात्मक मूल्यांकन पर्याप्त नहीं है। इन परिदृश्यों में, मॉडल को अद्यतन करने का निर्णय लेने से पहले आपको उत्पादन में ए/बी परीक्षण मॉडल की आवश्यकता होती है। ए/बी परीक्षण के अपने जोखिम भी हैं क्योंकि वास्तविक ग्राहक प्रभाव हो सकता है। यह परीक्षण विधि अंतिम एमएल प्रदर्शन सत्यापन, एक हल्के इंजीनियरिंग विवेक जांच के रूप में कार्य करती है। यह विधि 8 और 9 (ऑनलाइन मॉडल प्रदर्शन और परिचालन उत्कृष्टता) की चुनौतियों का भी समाधान करती है।

A/B परीक्षण उत्पादन परिवेश में किया जाना चाहिए।

सेजमेकर के साथ, आप चलकर आसानी से एमएल मॉडल पर ए/बी परीक्षण कर सकते हैं कई उत्पादन प्रकार एक समापन बिंदु पर। उत्पादन पर खराब व्यवहार करने वाले मॉडल के जोखिम को कम करने के लिए ट्रैफ़िक को नए संस्करण में वेतन वृद्धि में रूट किया जा सकता है। यदि A/B परीक्षण के परिणाम अच्छे लगते हैं, तो ट्रैफ़िक को नए संस्करण में भेज दिया जाता है, अंततः ट्रैफ़िक का 100% से अधिक ले लेता है। हम मॉडल ए से बी में संक्रमण के लिए परिनियोजन रेलिंग का उपयोग करने की सलाह देते हैं। ए / बी परीक्षण पर अधिक संपूर्ण चर्चा के लिए अमेज़न निजीकृत एक उदाहरण के रूप में मॉडल, देखें अमेज़ॅन पर्सनलाइज़ द्वारा उत्पन्न सिफारिशों की प्रभावकारिता को मापने के लिए ए / बी परीक्षण का उपयोग करना.

ऑनलाइन मॉडल परीक्षण

इस परिदृश्य में, एक मॉडल का नया संस्करण पहले से ही उत्पादन में लाइव ट्रैफ़िक की सेवा करने वाले मॉडल से काफी अलग है, इसलिए ऑफ़लाइन परीक्षण दृष्टिकोण अब नए मॉडल संस्करण की प्रभावकारिता को निर्धारित करने के लिए उपयुक्त नहीं है। इसका सबसे प्रमुख कारण पूर्वानुमान उत्पन्न करने के लिए आवश्यक सुविधाओं में बदलाव है, ताकि पहले से रिकॉर्ड किए गए लेनदेन का उपयोग मॉडल का परीक्षण करने के लिए नहीं किया जा सके। इस परिदृश्य में, हम छाया परिनियोजन का उपयोग करने की सलाह देते हैं। छाया परिनियोजन एक छाया को परिनियोजित करने की क्षमता प्रदान करता है (या चैलेंजर) उत्पादन के साथ-साथ मॉडल (या .) चैंपियन) मॉडल जो वर्तमान में पूर्वानुमान प्रस्तुत कर रहा है। इससे आप मूल्यांकन कर सकते हैं कि शैडो मॉडल उत्पादन ट्रैफ़िक में कैसा प्रदर्शन करता है। शैडो मॉडल के पूर्वानुमान अनुरोध करने वाले एप्लिकेशन को प्रस्तुत नहीं किए जाते हैं; वे ऑफ़लाइन मूल्यांकन के लिए लॉग इन हैं। परीक्षण के लिए छाया दृष्टिकोण के साथ, हम चुनौतियों 4, 5, 6, और 7 (व्यापार प्रक्रिया परीक्षण, लागत, सुरक्षा, और फीचर स्टोर स्केलेबिलिटी) का समाधान करते हैं।

ऑनलाइन मॉडल परीक्षण स्टेजिंग या उत्पादन वातावरण में किया जाना चाहिए।

नए मॉडल संस्करणों के परीक्षण की इस पद्धति का उपयोग अंतिम उपाय के रूप में किया जाना चाहिए यदि अन्य सभी विधियों का उपयोग नहीं किया जा सकता है। हम इसे अंतिम उपाय के रूप में सुझाते हैं क्योंकि कई मॉडलों के लिए डुप्लेक्सिंग कॉल उत्पादन में सभी डाउनस्ट्रीम सेवाओं पर अतिरिक्त भार उत्पन्न करती है, जिससे प्रदर्शन बाधाओं के साथ-साथ उत्पादन में लागत में वृद्धि हो सकती है। इसका सबसे स्पष्ट प्रभाव फीचर सर्विंग लेयर पर पड़ता है। भौतिक डेटा के एक सामान्य पूल से सुविधाओं को साझा करने वाले उपयोग के मामलों के लिए, हमें उत्पादन में संक्रमण से पहले कोई संसाधन विवाद मौजूद नहीं है यह सुनिश्चित करने के लिए एक ही डेटा तालिका तक समवर्ती रूप से एकाधिक उपयोग मामलों को अनुकरण करने में सक्षम होना चाहिए। जहां भी संभव हो, फीचर स्टोर में डुप्लिकेट प्रश्नों से बचा जाना चाहिए, और मॉडल के दोनों संस्करणों के लिए आवश्यक सुविधाओं को दूसरे अनुमान के लिए पुन: उपयोग किया जाना चाहिए। फ़ीचर स्टोर पर आधारित अमेज़ॅन डायनेमोडीबी, जैसा कि एक Intuit ने बनाया है, लागू कर सकता है अमेज़ॅन डायनेमोडीबी त्वरक(DAX) को कैश करने के लिए और डेटाबेस में I/O को दोगुना करने से बचने के लिए। ये और अन्य कैशिंग विकल्प चुनौती 7 (फीचर स्टोर स्केलेबिलिटी) को कम कर सकते हैं।

चुनौती 5 (लागत) और साथ ही 7 को संबोधित करने के लिए, हम आने वाले ट्रैफ़िक के नमूने के लिए छाया परिनियोजन का उपयोग करने का प्रस्ताव करते हैं। यह मॉडल मालिकों को उत्पादन प्रणालियों पर प्रभाव को कम करने के लिए नियंत्रण की एक और परत देता है।

छाया परिनियोजन को ऑनबोर्ड किया जाना चाहिए मॉडल मॉनिटर चैलेंजर संस्करण के सुधारों का निरीक्षण करने के लिए नियमित उत्पादन परिनियोजन की तरह ही प्रसाद।

निष्कर्ष

यह पोस्ट मॉडल परीक्षण के साथ विभिन्न चुनौतियों का समाधान करने के लिए प्रक्रियाओं और उपकरणों का एक व्यापक सेट बनाने के लिए बिल्डिंग ब्लॉक्स को दिखाता है। हालांकि प्रत्येक संगठन अद्वितीय है, इससे आपको अपनी स्वयं की परीक्षण रणनीति को लागू करते समय आरंभ करने और अपने विचारों को कम करने में मदद मिलेगी।

---

लेखक के बारे में

टोबियास वेन्ज़ेल माउंटेन व्यू, कैलिफ़ोर्निया में Intuit Machine Learning Platform के लिए एक सॉफ़्टवेयर इंजीनियरिंग प्रबंधक है। वह 2016 में इसकी स्थापना के बाद से मंच पर काम कर रहे हैं और इसे जमीन से ऊपर तक डिजाइन करने और बनाने में मदद की है। अपने काम में, उन्होंने मंच की परिचालन उत्कृष्टता पर ध्यान केंद्रित किया है और इसे Intuit के मौसमी व्यवसाय के माध्यम से सफलतापूर्वक लाया है। इसके अलावा, वह नवीनतम तकनीकों के साथ मंच का लगातार विस्तार करने का शौक रखते हैं।

शिवांशु उपाध्याय एडब्ल्यूएस बिजनेस डेवलपमेंट एंड स्ट्रैटेजिक इंडस्ट्रीज ग्रुप में प्रिंसिपल सॉल्यूशंस आर्किटेक्ट हैं। इस भूमिका में, वह डेटा और एआई का प्रभावी ढंग से उपयोग करके एडब्ल्यूएस के सबसे उन्नत अपनाने वालों को अपने उद्योग को बदलने में मदद करता है।

एलन तनु सेजमेकर के साथ एक वरिष्ठ उत्पाद प्रबंधक हैं, जो बड़े मॉडल अनुमान पर अग्रणी प्रयास करते हैं। उन्हें एनालिटिक्स के क्षेत्र में मशीन लर्निंग को लागू करने का शौक है। काम के बाहर, वह बाहर का आनंद लेता है।