Amazon SageMaker पर सीरियल अनुमान के लिए डिज़ाइन पैटर्न

जैसे-जैसे मशीन लर्निंग (एमएल) मुख्यधारा में आती है और व्यापक रूप से अपनाई जाती है, जटिल व्यावसायिक समस्याओं की एक श्रृंखला को हल करने के लिए एमएल-संचालित अनुप्रयोग तेजी से सामान्य होते जा रहे हैं। इन जटिल व्यावसायिक समस्याओं के समाधान के लिए अक्सर कई एमएल मॉडल का उपयोग करने की आवश्यकता होती है। इन मॉडलों को विभिन्न कार्यों को करने के लिए क्रमिक रूप से जोड़ा जा सकता है, जैसे कि प्रीप्रोसेसिंग, डेटा परिवर्तन, मॉडल चयन, अनुमान पीढ़ी, अनुमान समेकन और पोस्ट-प्रोसेसिंग। इन जटिल एमएल वर्कफ़्लो को व्यवस्थित करने के लिए संगठनों को लचीले विकल्पों की आवश्यकता होती है। सीरियल इंट्रेंस पाइपलाइन इन वर्कफ़्लोज़ को चरणों की एक श्रृंखला में व्यवस्थित करने के लिए एक ऐसा डिज़ाइन पैटर्न है, जिसमें प्रत्येक चरण पिछले चरणों द्वारा उत्पन्न आउटपुट को समृद्ध या आगे संसाधित करता है और आउटपुट को पाइपलाइन में अगले चरण में पास करता है।

इसके अतिरिक्त, इन सीरियल इंट्रेंस पाइपलाइनों को निम्नलिखित प्रदान करना चाहिए:

• लचीला और अनुकूलित कार्यान्वयन (निर्भरता, एल्गोरिदम, व्यावसायिक तर्क, और इसी तरह)
• उत्पादन कार्यान्वयन के लिए दोहराने योग्य और सुसंगत
• अवसंरचना प्रबंधन को कम करके अविभाजित भारी भारोत्तोलन

इस पोस्ट में, हम सीरियल इंट्रेंस पाइपलाइनों के लिए कुछ सामान्य उपयोग के मामलों को देखते हैं और इनमें से प्रत्येक उपयोग के मामलों के लिए कुछ कार्यान्वयन विकल्पों के माध्यम से चलते हैं अमेज़न SageMaker. हम इन कार्यान्वयन विकल्पों में से प्रत्येक के लिए विचारों पर भी चर्चा करते हैं।

निम्न तालिका सीरियल अनुमान, कार्यान्वयन के विचारों और विकल्पों के लिए विभिन्न उपयोग के मामलों को सारांशित करती है। इन पर इस पोस्ट में चर्चा की गई है।

निम्नलिखित अनुभागों में, हम प्रत्येक उपयोग के मामले पर अधिक विस्तार से चर्चा करते हैं।

अनुमान कंटेनरों का उपयोग कर सीरियल इंट्रेंस पाइपलाइन

सीरियल इंट्रेंस पाइपलाइन उपयोग के मामलों में इंट्रेंस उत्पन्न करने के लिए पूर्व-प्रशिक्षित एमएल मॉडल को लागू करने से पहले आने वाले डेटा को प्रीप्रोसेस करने की आवश्यकता होती है। इसके अतिरिक्त, कुछ मामलों में, उत्पन्न अनुमानों को आगे संसाधित करने की आवश्यकता हो सकती है, ताकि उन्हें डाउनस्ट्रीम अनुप्रयोगों द्वारा आसानी से उपभोग किया जा सके। यह उपयोग के मामलों के लिए एक सामान्य परिदृश्य है जहां किसी मॉडल को फिट करने से पहले स्ट्रीमिंग डेटा स्रोत को वास्तविक समय में संसाधित करने की आवश्यकता होती है। हालाँकि, यह उपयोग मामला बैच अनुमान के लिए भी प्रकट हो सकता है।

सेजमेकर अनुमान कंटेनरों को अनुकूलित करने और सीरियल इंट्रेंस पाइपलाइन बनाने के लिए उनका उपयोग करने का विकल्प प्रदान करता है। अनुमान कंटेनर का उपयोग करते हैं सेजमेकर इंट्रेंस टूलकिट और पर बने हैं सेजमेकर मल्टी मॉडल सर्वर (एमएमएस), जो एमएल मॉडल की सेवा के लिए एक लचीला तंत्र प्रदान करता है। निम्नलिखित आरेख एक संदर्भ पैटर्न दिखाता है कि कैसे एक सीरियल इंट्रेंस पाइपलाइन को इंट्रेंस कंटेनरों का उपयोग करके लागू किया जाए।

सेजमेकर एमएमएस एक पायथन स्क्रिप्ट की अपेक्षा करता है जो मॉडल को लोड करने के लिए निम्नलिखित कार्यों को लागू करता है, इनपुट डेटा को प्रीप्रोसेस करता है, मॉडल से भविष्यवाणियां प्राप्त करता है, और आउटपुट डेटा को पोस्टप्रोसेस करता है:

• input_fn () - इनपुट डेटा को अक्रमांकन और प्रीप्रोसेसिंग के लिए जिम्मेदार
• model_fn () - कलाकृतियों से प्रशिक्षित मॉडल को लोड करने के लिए जिम्मेदार अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3)
• predict_fn () - मॉडल से निष्कर्ष निकालने के लिए जिम्मेदार
• output_fn () - आउटपुट डेटा (अनुमान) को क्रमबद्ध और पोस्टप्रोसेस करने के लिए जिम्मेदार

एक अनुमान कंटेनर को अनुकूलित करने के लिए विस्तृत चरणों के लिए, देखें अपने खुद के अनुमान कंटेनर को अपनाना.

निम्नलिखित प्राथमिक विचारों के साथ सीरियल इंट्रेंस पाइपलाइन उपयोग के मामलों के लिए इंफ़ेक्शन कंटेनर एक आदर्श डिज़ाइन पैटर्न हैं:

• उच्च सामंजस्य - प्रसंस्करण तर्क और संबंधित मॉडल एकल व्यावसायिक कार्यक्षमता को संचालित करते हैं और उन्हें सह-स्थित होने की आवश्यकता होती है
• कम समग्र विलंबता - जब एक अनुमान अनुरोध किया जाता है और प्रतिक्रिया प्राप्त होती है, के बीच बीता हुआ समय

एक सीरियल इंट्रेंस पाइपलाइन में, प्रोसेसिंग लॉजिक और मॉडल को एक ही कंटेनर में इनकैप्सुलेट किया जाता है, इसलिए इनवोकेशन कॉल्स का अधिकांश हिस्सा कंटेनर के भीतर रहता है। यह हॉप्स की कुल संख्या को कम करने में मदद करता है, जिसके परिणामस्वरूप बेहतर समग्र विलंबता और पाइपलाइन की प्रतिक्रिया होती है।

इसके अलावा, उपयोग के मामलों के लिए जहां कार्यान्वयन में आसानी एक महत्वपूर्ण मानदंड है, अनुमान कंटेनर मदद कर सकते हैं, पाइपलाइन के विभिन्न प्रसंस्करण चरणों को एक ही कंटेनर के भीतर सह-स्थित किया जा सकता है।

सेजमेकर इंट्रेंस पाइपलाइन का उपयोग करके सीरियल इंट्रेंस पाइपलाइन

सीरियल इंट्रेंस पाइपलाइन उपयोग के मामले की एक और भिन्नता के लिए पाइपलाइन में विभिन्न चरणों (जैसे डेटा प्रीप्रोसेसिंग, इंट्रेंस जनरेशन, डेटा पोस्टप्रोसेसिंग और फॉर्मेटिंग और सीरियलाइज़ेशन) के बीच स्पष्ट डिकॉउलिंग की आवश्यकता होती है। यह कई कारणों से हो सकता है:

• Decoupling - पाइपलाइन के विभिन्न चरणों का एक स्पष्ट रूप से परिभाषित उद्देश्य होता है और अंतर्निहित निर्भरता के कारण अलग-अलग कंटेनरों पर चलने की आवश्यकता होती है। यह पाइपलाइन को अच्छी तरह से संरचित रखने में भी मदद करता है।
• चौखटे - पाइपलाइन के विभिन्न चरण विशिष्ट फिट-फॉर-पर्पस फ्रेमवर्क (जैसे कि स्किकिट या स्पार्क एमएल) का उपयोग करते हैं और इसलिए उन्हें अलग कंटेनरों पर चलाने की आवश्यकता होती है।
• संसाधन अलगाव - पाइपलाइन के विभिन्न चरणों में संसाधन खपत की अलग-अलग आवश्यकताएं होती हैं और इसलिए अधिक लचीलेपन और नियंत्रण के लिए अलग-अलग कंटेनरों पर चलने की आवश्यकता होती है।

इसके अलावा, थोड़ा अधिक जटिल सीरियल इंट्रेंस पाइपलाइनों के लिए, एक अनुरोध को संसाधित करने और एक अनुमान उत्पन्न करने के लिए कई चरणों को शामिल किया जा सकता है। इसलिए, एक परिचालन दृष्टिकोण से, बेहतर कार्यात्मक अलगाव के लिए अलग-अलग कंटेनरों पर इन चरणों की मेजबानी करना फायदेमंद हो सकता है, और आसान उन्नयन और संवर्द्धन की सुविधा प्रदान कर सकता है (अन्य मॉडलों या प्रसंस्करण चरणों को प्रभावित किए बिना एक कदम बदलें)।

यदि आपका उपयोग मामला इनमें से कुछ विचारों से मेल खाता है, तो a सेजमेकर इंट्रेंस पाइपलाइन सीरियल इंट्रेंस पाइपलाइन बनाने के लिए एक आसान और लचीला विकल्प प्रदान करता है। निम्नलिखित आरेख एक संदर्भ पैटर्न दिखाता है कि कैसे एक सेजमेकर इंट्रेंस पाइपलाइन का उपयोग करके समर्पित कंटेनरों पर होस्ट किए गए कई चरणों का उपयोग करके एक सीरियल इंट्रेंस पाइपलाइन को लागू किया जाए।

एक सेजमेकर इंट्रेंस पाइपलाइन में 2-15 कंटेनरों का एक रैखिक अनुक्रम होता है जो डेटा पर अनुमानों के अनुरोधों को संसाधित करता है। अनुमान पाइपलाइन डॉकर कंटेनरों में पैक किए गए पूर्व-प्रशिक्षित सेजमेकर बिल्ट-इन एल्गोरिदम या कस्टम एल्गोरिदम का उपयोग करने का विकल्प प्रदान करती है। कंटेनरों को एक ही अंतर्निहित उदाहरण पर होस्ट किया जाता है, जो समग्र विलंबता को कम करने और लागत को कम करने में मदद करता है।

निम्नलिखित कोड स्निपेट दिखाता है कि सीरियल इंट्रेंस पाइपलाइन बनाने के लिए कई प्रोसेसिंग चरणों और मॉडलों को कैसे जोड़ा जा सकता है।

हम स्पार्क एमएल और एक्सजीबीओस्ट-आधारित मॉडल का निर्माण और निर्दिष्ट करके शुरू करते हैं जिन्हें हम पाइपलाइन के हिस्से के रूप में उपयोग करने का इरादा रखते हैं:

from sagemaker.model import Model
from sagemaker.pipeline_model import PipelineModel
from sagemaker.sparkml.model import SparkMLModel
sparkml_data = 's3://{}/{}/{}'.format(s3_model_bucket, s3_model_key_prefix, 'model.tar.gz')
sparkml_model = SparkMLModel(model_data=sparkml_data)
xgb_model = Model(model_data=xgb_model.model_data, image=training_image)

फिर मॉडल को पाइपलाइन मॉडल परिभाषा के भीतर क्रमिक रूप से व्यवस्थित किया जाता है:

model_name = 'serial-inference-' + timestamp_prefix
endpoint_name = 'serial-inference-ep-' + timestamp_prefix
sm_model = PipelineModel(name=model_name, role=role, models=[sparkml_model, xgb_model])

इंट्रेंस पाइपलाइन को होस्ट एमएल इंस्टेंस के प्रकार और संख्या को निर्दिष्ट करके वास्तविक समय के अनुमान के लिए एक समापन बिंदु के पीछे तैनात किया जाता है:

sm_model.deploy(initial_instance_count=1, instance_type='ml.c4.xlarge', endpoint_name=endpoint_name)

संपूर्ण एकत्रित अनुमान पाइपलाइन को एक सेजमेकर मॉडल माना जा सकता है जिसका उपयोग आप वास्तविक समय की भविष्यवाणियां करने के लिए कर सकते हैं या प्रक्रिया बैच को बिना किसी बाहरी प्रीप्रोसेसिंग के सीधे रूपांतरित कर सकते हैं। एक अनुमान पाइपलाइन मॉडल के भीतर, सेजमेकर बाहरी एप्लिकेशन से उत्पन्न होने वाले HTTP अनुरोधों के अनुक्रम के रूप में इनवोकेशन को संभालता है। पाइपलाइन में पहला कंटेनर प्रारंभिक अनुरोध को संभालता है, कुछ प्रसंस्करण करता है, और फिर पाइपलाइन में दूसरे कंटेनर के अनुरोध के रूप में मध्यवर्ती प्रतिक्रिया भेजता है। यह पाइपलाइन में प्रत्येक कंटेनर के लिए होता है, और अंत में कॉलिंग क्लाइंट एप्लिकेशन को अंतिम प्रतिक्रिया देता है।

सेजमेकर इंट्रेंस पाइपलाइन पूरी तरह से प्रबंधित हैं। जब पाइपलाइन तैनात की जाती है, तो सेजमेकर प्रत्येक पर सभी परिभाषित कंटेनरों को स्थापित और चलाता है अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन ईसी2) इंस्टेंस को एंडपॉइंट या बैच ट्रांसफॉर्म जॉब के हिस्से के रूप में प्रावधान किया गया है। इसके अलावा, क्योंकि कंटेनर एक ही ईसी 2 इंस्टेंस पर सह-स्थित और होस्ट किए जाते हैं, समग्र पाइपलाइन विलंबता कम हो जाती है।

सीरियल मॉडल एक सेजमेकर इंट्रेंस पाइपलाइन का उपयोग करता है

एक पहनावा मॉडल एमएल में एक दृष्टिकोण है जहां कई एमएल मॉडल संयुक्त होते हैं और अंतिम निष्कर्ष उत्पन्न करने के लिए अनुमान प्रक्रिया के हिस्से के रूप में उपयोग किए जाते हैं। पहनावा मॉडल के लिए प्रेरणा में सटीकता में सुधार, विशिष्ट इनपुट सुविधाओं के लिए मॉडल संवेदनशीलता को कम करना और एकल मॉडल पूर्वाग्रह को कम करना शामिल हो सकता है। इस पोस्ट में, हम एक सीरियल मॉडल पहनावा से संबंधित उपयोग के मामलों पर ध्यान केंद्रित करते हैं, जहां कई एमएल मॉडल क्रमिक रूप से एक सीरियल इंट्रेंस पाइपलाइन के हिस्से के रूप में संयुक्त होते हैं।

आइए एक सीरियल मॉडल पहनावा से संबंधित एक विशिष्ट उदाहरण पर विचार करें जहां हमें कुछ विषयों या विषयों के आधार पर उपयोगकर्ता की अपलोड की गई छवियों को समूहित करने की आवश्यकता होती है। इस पाइपलाइन में तीन एमएल मॉडल शामिल हो सकते हैं:

• मॉडल 1 - एक छवि को इनपुट के रूप में स्वीकार करता है और छवि संकल्प, अभिविन्यास, और अधिक के आधार पर छवि गुणवत्ता का मूल्यांकन करता है। यह मॉडल तब छवि गुणवत्ता को बढ़ाने का प्रयास करता है और संसाधित छवियों को अगले मॉडल (मॉडल 2) में एक निश्चित गुणवत्ता सीमा को पूरा करता है।
• मॉडल 2 - मॉडल 1 के माध्यम से मान्य छवियों को स्वीकार करता है और प्रदर्शन करता है छवि पहचान छवियों में वस्तुओं, स्थानों, लोगों, पाठ और अन्य कस्टम क्रियाओं और अवधारणाओं की पहचान करने के लिए। मॉडल 2 से आउटपुट जिसमें पहचानी गई वस्तुएं शामिल हैं, मॉडल 3 को भेजी जाती हैं।
• मॉडल 3 - मॉडल 2 से आउटपुट को स्वीकार करता है और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्यों को करता है जैसे विषयों के आधार पर छवियों को एक साथ समूहीकृत करने के लिए विषय मॉडलिंग। उदाहरण के लिए, छवियों को स्थान या पहचाने गए लोगों के आधार पर समूहीकृत किया जा सकता है। आउटपुट (ग्रुपिंग) क्लाइंट एप्लिकेशन को वापस भेज दिया जाता है।

निम्नलिखित आरेख एक संदर्भ पैटर्न को दिखाता है कि कैसे एक सीरियल मॉडल पर होस्ट किए गए कई एमएल मॉडल को लागू करने के लिए सेजमेकर इंट्रेंस पाइपलाइन का उपयोग किया जाता है।

जैसा कि पहले चर्चा की गई थी, सेजमेकर इंट्रेंस पाइपलाइन का प्रबंधन किया जाता है, जो आपको सीरियल एनसेम्बल पाइपलाइन के निर्माण से जुड़े अविभाजित भारी भारोत्तोलन को कम करते हुए एमएल मॉडल चयन और विकास पर ध्यान केंद्रित करने में सक्षम बनाता है।

इसके अतिरिक्त, मॉडल विकास और परिनियोजन के लिए डिकॉउलिंग, एल्गोरिथम और ढांचे की पसंद के बारे में पहले चर्चा की गई कुछ विचार यहां भी प्रासंगिक हैं। उदाहरण के लिए, क्योंकि प्रत्येक मॉडल को एक अलग कंटेनर पर होस्ट किया जाता है, आपके पास एमएल फ्रेमवर्क का चयन करने में लचीलापन होता है जो प्रत्येक मॉडल और आपके समग्र उपयोग के मामले में सबसे उपयुक्त होता है। इसके अलावा, एक डिकूपिंग और परिचालन दृष्टिकोण से, आप अन्य मॉडलों को प्रभावित किए बिना, व्यक्तिगत चरणों को और अधिक आसानी से अपग्रेड या संशोधित करना जारी रख सकते हैं।

सेजमेकर इंट्रेंस पाइपलाइन भी के साथ एकीकृत है SageMaker मॉडल रजिस्ट्री मॉडल कैटलॉगिंग, वर्जनिंग, मेटाडेटा प्रबंधन, और उत्पादन वातावरण में शासित परिनियोजन के लिए लगातार परिचालन सर्वोत्तम प्रथाओं का समर्थन करने के लिए। सेजमेकर इंट्रेंस पाइपलाइन भी के साथ एकीकृत है अमेज़ॅन क्लाउडवॉच अनुमान पाइपलाइनों में बहु-कंटेनर मॉडल की निगरानी को सक्षम करने के लिए। आप इसमें दृश्यता भी प्राप्त कर सकते हैं वास्तविक समय मैट्रिक्स पाइपलाइन में प्रत्येक कंटेनर के लिए आमंत्रण और विलंबता को बेहतर ढंग से समझने के लिए, जो समस्या निवारण और संसाधन अनुकूलन में मदद करता है।

सीरियल इंट्रेंस पाइपलाइन (एक समूह से लक्षित मॉडल इनवोकेशन के साथ) सेजमेकर इंट्रेंस पाइपलाइन का उपयोग करना

सेजमेकर बहु-मॉडल समापन बिंदु (एमएमई) एकल समापन बिंदु के पीछे बड़ी संख्या में एमएल मॉडल को तैनात करने के लिए एक लागत प्रभावी समाधान प्रदान करते हैं। मल्टी-मॉडल एंडपॉइंट्स का उपयोग करने की प्रेरणा में अनुरोध विशेषताओं (जैसे मूल, भौगोलिक स्थिति, उपयोगकर्ता वैयक्तिकरण, और इसी तरह) के आधार पर एक विशिष्ट अनुकूलित मॉडल को शामिल करना या लागत-अनुकूलन प्राप्त करने के लिए एक ही समापन बिंदु के पीछे कई मॉडल की मेजबानी करना शामिल हो सकता है।

जब आप एकल बहु-मॉडल सक्षम समापन बिंदु पर एकाधिक मॉडल परिनियोजित करते हैं, तो सभी मॉडल कंप्यूट संसाधन और मॉडल प्रस्तुत करने वाले कंटेनर को साझा करते हैं। सेजमेकर इंट्रेंस पाइपलाइन को एमएमई पर तैनात किया जा सकता है, जहां पाइपलाइन में कंटेनरों में से एक विशिष्ट मॉडल के आधार पर गतिशील रूप से अनुरोधों की सेवा कर सकता है। पाइपलाइन के दृष्टिकोण से, मॉडल में समान प्रीप्रोसेसिंग आवश्यकताएं होती हैं और समान सुविधा सेट की अपेक्षा होती है, लेकिन एक विशिष्ट व्यवहार के लिए संरेखित करने के लिए प्रशिक्षित किया जाता है। निम्नलिखित आरेख एक संदर्भ पैटर्न दिखाता है कि यह एकीकृत पाइपलाइन कैसे काम करेगी।

MME के ​​​​साथ, क्लाइंट एप्लिकेशन से उत्पन्न होने वाले अनुमान अनुरोध को उस लक्ष्य मॉडल को निर्दिष्ट करना चाहिए जिसे लागू करने की आवश्यकता है। पाइपलाइन में पहला कंटेनर प्रारंभिक अनुरोध को संभालता है, कुछ प्रसंस्करण करता है, और फिर मध्यवर्ती प्रतिक्रिया को पाइपलाइन में दूसरे कंटेनर के अनुरोध के रूप में भेजता है, जो कई मॉडलों को होस्ट करता है। अनुमान अनुरोध में निर्दिष्ट लक्ष्य मॉडल के आधार पर, मॉडल को एक अनुमान उत्पन्न करने के लिए कहा जाता है। उत्पन्न अनुमान को आगे की प्रक्रिया के लिए पाइपलाइन में अगले कंटेनर में भेजा जाता है। यह पाइपलाइन में प्रत्येक बाद के कंटेनर के लिए होता है, और अंत में सेजमेकर कॉलिंग क्लाइंट एप्लिकेशन के लिए अंतिम प्रतिक्रिया देता है।

एक S3 बकेट में एकाधिक मॉडल कलाकृतियाँ बनी रहती हैं। जब एक विशिष्ट मॉडल का आह्वान किया जाता है, तो सेजमेकर गतिशील रूप से इसे समापन बिंदु की मेजबानी करने वाले कंटेनर पर लोड करता है। यदि मॉडल पहले से ही कंटेनर की मेमोरी में लोड हो चुका है, तो आह्वान तेज है क्योंकि सेजमेकर को अमेज़ॅन एस 3 से मॉडल डाउनलोड करने की आवश्यकता नहीं है। यदि इंस्टेंस मेमोरी उपयोग अधिक है और एक नया मॉडल लागू किया जाता है और इसलिए लोड करने की आवश्यकता होती है, तो अप्रयुक्त मॉडल मेमोरी से अनलोड हो जाते हैं। हालांकि, अनलोड किए गए मॉडल इंस्टेंस के स्टोरेज वॉल्यूम में बने रहते हैं, और कंटेनर की मेमोरी में बाद में फिर से लोड किए जा सकते हैं, बिना S3 बकेट से फिर से डाउनलोड किए।

एमएमई का उपयोग करते समय प्रमुख विचारों में से एक मॉडल आमंत्रण विलंबता व्यवहार को समझना है। जैसा कि पहले चर्चा की गई थी, मॉडल को गतिशील रूप से कंटेनर की मेमोरी में लोड किया जाता है, जब समापन बिंदु को होस्ट किया जाता है। इसलिए, पहली बार लागू होने पर मॉडल आमंत्रण में अधिक समय लग सकता है। जब मॉडल पहले से ही कंटेनर की मेमोरी में होता है, तो बाद के इनवोकेशन तेज होते हैं। यदि एक इंस्टेंस मेमोरी उपयोग अधिक है और एक नए मॉडल को लोड करने की आवश्यकता है, तो अप्रयुक्त मॉडल अनलोड किए जाते हैं। यदि इंस्टेंस का स्टोरेज वॉल्यूम भरा हुआ है, तो अप्रयुक्त मॉडल स्टोरेज वॉल्यूम से हटा दिए जाते हैं। सेजमेकर आपके द्वारा कोई विशेष कार्रवाई किए बिना, मॉडलों की लोडिंग और अनलोडिंग का पूरी तरह से प्रबंधन करता है। हालांकि, इस व्यवहार को समझना महत्वपूर्ण है क्योंकि इसका मॉडल आमंत्रण विलंबता पर प्रभाव पड़ता है और इसलिए समग्र रूप से एंड-टू-एंड विलंबता।

पाइपलाइन होस्टिंग विकल्प

सेजमेकर कई प्रदान करता है उदाहरण के प्रकार आपके उपयोग के मामले, थ्रूपुट और लागत आवश्यकताओं के आधार पर एमएल मॉडल को तैनात करने और अनुमान पाइपलाइनों के निर्माण के लिए चुनने के लिए विकल्प। उदाहरण के लिए, आप एक कंटेनर पर या कई कंटेनरों में सीरियल इंट्रेंस पाइपलाइन बनाने के लिए सीपीयू या जीपीयू अनुकूलित इंस्टेंस चुन सकते हैं। हालांकि, कभी-कभी ऐसी आवश्यकताएं होती हैं जहां अतिरिक्त लचीलेपन के लिए एक ही पाइपलाइन के भीतर सीपीयू या जीपीयू आधारित इंस्टेंस पर मॉडल चलाने के लिए लचीलापन और समर्थन होना वांछित होता है।

अब आप विषम गणना आवश्यकताओं के लिए सेजमेकर पर अनुमान के लिए मॉडल की सेवा के लिए एनवीआईडीआईए ट्राइटन इंफरेंस सर्वर का उपयोग कर सकते हैं। चेक आउट Amazon SageMaker में NVIDIA ट्राइटन इंफरेंस सर्वर के साथ तेज और स्केलेबल AI को तैनात करें अतिरिक्त जानकारी के लिए।

निष्कर्ष

जैसा कि संगठन एमएल द्वारा संचालित नए समाधानों की खोज और निर्माण करते हैं, इन पाइपलाइनों को व्यवस्थित करने के लिए आवश्यक उपकरण किसी दिए गए उपयोग के मामले के आधार पर समर्थन के लिए पर्याप्त लचीला होना चाहिए, जबकि चल रहे परिचालन ओवरहेड को सरल और कम करना चाहिए। सेजमेकर आपकी आवश्यकताओं के आधार पर इन सीरियल इंट्रेंस वर्कफ़्लोज़ को डिज़ाइन और बनाने के लिए कई विकल्प प्रदान करता है।

हम आपसे इस बारे में सुनने के लिए उत्सुक हैं कि आप सीरियल इंफ़ेक्शन पाइपलाइनों का उपयोग करके किन उपयोग मामलों का निर्माण कर रहे हैं। यदि आपके कोई प्रश्न या प्रतिक्रिया है, तो कृपया उन्हें टिप्पणियों में साझा करें।

लेखक के बारे में

राहुल शर्मा एडब्ल्यूएस डेटा लैब में एक वरिष्ठ समाधान वास्तुकार है, जो एडब्ल्यूएस ग्राहकों को एआई/एमएल समाधान डिजाइन और निर्माण करने में मदद करता है। AWS में शामिल होने से पहले, राहुल ने वित्त और बीमा क्षेत्र में कई साल बिताए हैं, जिससे ग्राहकों को डेटा और विश्लेषणात्मक प्लेटफॉर्म बनाने में मदद मिली है।

आनंद प्रकाश एडब्ल्यूएस डाटा लैब में वरिष्ठ समाधान वास्तुकार हैं। आनंद ग्राहकों को उत्पादन के रास्ते में तेजी लाने के लिए एआई/एमएल, डेटा एनालिटिक्स और डेटाबेस समाधानों के डिजाइन और निर्माण में मदद करने पर ध्यान केंद्रित करता है।

धवल पटेल AWS में प्रिंसिपल मशीन लर्निंग आर्किटेक्ट हैं। उन्होंने वितरित कंप्यूटिंग और आर्टिफिशियल इंटेलिजेंस से संबंधित समस्याओं पर बड़े उद्यमों से लेकर मध्यम आकार के स्टार्टअप तक के संगठनों के साथ काम किया है। वह एनएलपी और कंप्यूटर विज़न डोमेन सहित डीप लर्निंग पर ध्यान केंद्रित करता है। वह ग्राहकों को सेजमेकर पर उच्च प्रदर्शन मॉडल अनुमान प्राप्त करने में मदद करता है।

सौरभ त्रिकंडे Amazon SageMaker Inference के वरिष्ठ उत्पाद प्रबंधक हैं। उन्हें ग्राहकों के साथ काम करने और मशीन लर्निंग को अधिक सुलभ बनाने का शौक है। अपने खाली समय में, सौरभ को लंबी पैदल यात्रा, नवीन तकनीकों के बारे में सीखना, टेकक्रंच का अनुसरण करना और अपने परिवार के साथ समय बिताना पसंद है।