Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट्स के साथ मल्टी-मॉडल इंट्रेंस को रन और ऑप्टिमाइज़ करें

अमेज़न SageMaker मल्टी-मॉडल एंडपॉइंट (एमएमई) आपको एक ही एंडपॉइंट में कई मॉडलों को लागत प्रभावी ढंग से तैनात और होस्ट करने में सक्षम बनाता है और फिर स्केल प्राप्त करने के लिए क्षैतिज रूप से एंडपॉइंट को स्केल करता है। जैसा कि निम्नलिखित आंकड़े में दिखाया गया है, यह आपके मशीन लर्निंग (एमएल) बुनियादी ढांचे के भीतर मॉडल के बहु-किरायेदारी को लागू करने के लिए एक प्रभावी तकनीक है। हमने देखा है कि सॉफ्टवेयर एक सेवा (सास) व्यवसाय के रूप में कम लागत प्राप्त करते हुए अपने एमएल मॉडल में हाइपर-वैयक्तिकरण लागू करने के लिए इस सुविधा का उपयोग करता है।

एमएमई कैसे काम करता है, इसके उच्च-स्तरीय अवलोकन के लिए, एडब्ल्यूएस शिखर सम्मेलन वीडियो देखें एमएल को अगले स्तर तक बढ़ाना: सेजमेकर पर हजारों मॉडलों की मेजबानी. एमएमई द्वारा सक्षम किए जाने वाले अति-वैयक्तिकृत, बहु-किरायेदार उपयोग मामलों के बारे में अधिक जानने के लिए, देखें बहु-किरायेदार सास उपयोग के मामलों के लिए मशीन सीखने के अनुमान को कैसे मापें.

इस पोस्ट के बाकी हिस्सों में, हम सेजमेकर एमएमई के तकनीकी आर्किटेक्चर में गहराई से उतरते हैं और आपके मल्टी-मॉडल एंडपॉइंट्स को अनुकूलित करने के लिए सर्वोत्तम प्रथाओं को साझा करते हैं।

MME के ​​​​लिए सबसे उपयुक्त मामलों का उपयोग करें

सेजमेकर मल्टी-मॉडल एंडपॉइंट बड़ी संख्या में मॉडलों को होस्ट करने के लिए उपयुक्त हैं जिन्हें आप एक साझा सर्विंग कंटेनर के माध्यम से पेश कर सकते हैं और आपको एक ही समय में सभी मॉडलों तक पहुंचने की आवश्यकता नहीं है। एंडपॉइंट इंस्टेंस मेमोरी के आकार के आधार पर, मेमोरी के कुशल उपयोग को अधिकतम करने के लिए एक नए मॉडल को लोड करने के पक्ष में एक मॉडल को कभी-कभी मेमोरी से अनलोड किया जा सकता है, इसलिए आपके एप्लिकेशन को अनलोड किए गए मॉडल पर सामयिक विलंबता स्पाइक्स के प्रति सहनशील होना चाहिए।

MME को सह-होस्टिंग मॉडल के लिए भी डिज़ाइन किया गया है जो समान ML ढांचे का उपयोग करते हैं क्योंकि वे कई मॉडलों को लोड करने के लिए साझा कंटेनर का उपयोग करते हैं। इसलिए, यदि आपके पास अपने मॉडल बेड़े (जैसे कि PyTorch और TensorFlow) में ML फ्रेमवर्क का मिश्रण है, तो SageMaker समर्पित समापन बिंदु या मल्टी-कंटेनर होस्टिंग एक बेहतर विकल्प है।

अंत में, एमएमई उन अनुप्रयोगों के लिए उपयुक्त है जो कभी-कभार कोल्ड स्टार्ट लेटेंसी पेनल्टी को सहन कर सकते हैं, क्योंकि मॉडल पहले इनवोकेशन पर लोड किए जाते हैं और नए मॉडल लोड करने के पक्ष में अक्सर उपयोग किए जाने वाले मॉडल को मेमोरी से ऑफलोड किया जा सकता है। इसलिए, यदि आपके पास बार-बार और बार-बार एक्सेस किए जाने वाले मॉडल का मिश्रण है, तो एक बहु-मॉडल समापन बिंदु कम संसाधनों और उच्च लागत बचत के साथ इस ट्रैफ़िक को कुशलतापूर्वक प्रदान कर सकता है।

हमने कुछ परिदृश्य भी देखे हैं जहां ग्राहक अपने सभी मॉडलों को फिट करने के लिए पर्याप्त मेमोरी क्षमता के साथ एक एमएमई क्लस्टर तैनात करते हैं, जिससे मॉडल ऑफलोड से पूरी तरह से बचते हैं, फिर भी साझा अनुमान बुनियादी ढांचे के कारण लागत बचत प्राप्त करते हैं।

मॉडल सर्विंग कंटेनर

जब आप SageMaker Inference Toolkit या MME के ​​साथ संगत एक पूर्व-निर्मित SageMaker मॉडल सर्विंग कंटेनर का उपयोग करते हैं, तो आपके कंटेनर में मल्टी मॉडल सर्वर (जेवीएम प्रक्रिया) चल रहा है। मल्टी मॉडल सर्वर (एमएमएस) को अपने मॉडल सर्विंग कंटेनर में शामिल करने का सबसे आसान तरीका उपयोग करना है सेजमेकर मॉडल सेवारत कंटेनर एमएमई के साथ संगत (नौकरी के प्रकार = अनुमान और सीपीयू/जीपीयू = सीपीयू वाले लोगों की तलाश करें)। एमएमएस एक खुला स्रोत है, जो गहन शिक्षण मॉडल की सेवा के लिए उपयोग में आसान उपकरण है। यह एक वेब सर्वर के साथ एक आरईएसटी एपीआई प्रदान करता है जो एक ही होस्ट पर कई मॉडलों की सेवा और प्रबंधन करता है। हालांकि, एमएमएस का उपयोग करना अनिवार्य नहीं है; आप अपने स्वयं के मॉडल सर्वर को तब तक लागू कर सकते हैं जब तक वह इसे लागू करता है एमएमई के लिए आवश्यक एपीआई.

जब एमएमई प्लेटफॉर्म के हिस्से के रूप में उपयोग किया जाता है, तो एमएमएस या आपके अपने मॉडल सर्वर पर सभी पूर्वानुमान, लोड और अनलोड एपीआई कॉल को एमएमई डेटा प्लेन कंट्रोलर के माध्यम से प्रसारित किया जाता है। डेटा प्लेन कंट्रोलर से एपीआई कॉल स्थानीय होस्ट पर केवल उदाहरण के बाहर से अनधिकृत पहुंच को रोकने के लिए की जाती है। एमएमएस के प्रमुख लाभों में से एक यह है कि यह गहन शिक्षण ढांचे की एक विस्तृत श्रृंखला में संगतता के साथ लोडिंग, अनलोडिंग और इनवोकिंग मॉडल के लिए एक मानकीकृत इंटरफ़ेस को सक्षम बनाता है।

एमएमएस का उन्नत विन्यास

यदि आप मॉडल प्रस्तुत करने के लिए एमएमएस का उपयोग करना चुनते हैं, तो अपने एमएमई उदाहरणों की मापनीयता और थ्रूपुट को अनुकूलित करने के लिए निम्नलिखित उन्नत कॉन्फ़िगरेशन पर विचार करें।

प्रति मॉडल अनुमान समानता बढ़ाएँ

एमएमएस के मूल्य के आधार पर प्रति मॉडल एक या अधिक पायथन कार्यकर्ता प्रक्रियाएं बनाता है default_workers_per_model विन्यास पैरामीटर। ये पायथन कार्यकर्ता आपके द्वारा प्रदान किए जाने वाले किसी भी प्रीप्रोसेसिंग, भविष्यवाणी और पोस्ट प्रोसेसिंग फ़ंक्शन को चलाकर प्रत्येक व्यक्तिगत अनुमान अनुरोध को संभालते हैं। अधिक जानकारी के लिए देखें कस्टम सेवा हैंडलर गिटहब रेपो।

एक से अधिक मॉडल कार्यकर्ता होने से भविष्यवाणियों की समानता बढ़ जाती है जिसे किसी दिए गए मॉडल द्वारा परोसा जा सकता है। हालांकि, जब बड़ी संख्या में सीपीयू के साथ बड़ी संख्या में मॉडल होस्ट किए जा रहे हैं, तो आपको अपने एमएमई का लोड परीक्षण करना चाहिए ताकि इसके लिए इष्टतम मूल्य मिल सके। default_workers_per_model किसी भी मेमोरी या सीपीयू संसाधन थकावट को रोकने के लिए।

ट्रैफ़िक स्पाइक्स के लिए डिज़ाइन

एंडपॉइंट इंस्टेंस के भीतर प्रत्येक एमएमएस प्रक्रिया में एक अनुरोध कतार होती है जिसे कॉन्फ़िगर किया जा सकता है जॉब_क्यू_साइज पैरामीटर (डिफ़ॉल्ट 100 है)। यह निर्धारित करता है कि सभी कार्यकर्ता प्रक्रियाओं के व्यस्त होने पर एमएमएस कतारबद्ध अनुरोधों की संख्या क्या करेगा। प्रति मॉडल श्रमिकों की इष्टतम संख्या पर निर्णय लेने के बाद अपने समापन बिंदु उदाहरणों की प्रतिक्रिया को ठीक करने के लिए इस पैरामीटर का उपयोग करें।

इष्टतम कार्यकर्ता प्रति मॉडल अनुपात में, अधिकांश मामलों के लिए 100 का डिफ़ॉल्ट पर्याप्त होना चाहिए। हालांकि, उन मामलों के लिए जहां एंडपॉइंट स्पाइक्स के लिए ट्रैफ़िक का अनुरोध असामान्य रूप से होता है, आप क्यू के आकार को कम कर सकते हैं यदि आप चाहते हैं कि एंडपॉइंट एप्लिकेशन पर नियंत्रण पास करने के लिए तेजी से विफल हो जाए या यदि आप एंडपॉइंट स्पाइक को अवशोषित करना चाहते हैं तो क्यू का आकार बढ़ाएं। .

प्रति उदाहरण स्मृति संसाधनों को अधिकतम करें

प्रति मॉडल कई कार्यकर्ता प्रक्रियाओं का उपयोग करते समय, डिफ़ॉल्ट रूप से प्रत्येक कार्यकर्ता प्रक्रिया मॉडल की अपनी प्रति लोड करती है। यह अन्य मॉडलों के लिए उपलब्ध इंस्टेंस मेमोरी को कम कर सकता है। आप कॉन्फ़िगरेशन पैरामीटर सेट करके कार्यकर्ता प्रक्रियाओं के बीच एकल मॉडल साझा करके मेमोरी उपयोग को अनुकूलित कर सकते हैं प्रीलोड_मॉडल = सच. यहां आप अधिक मेमोरी दक्षता के साथ कम अनुमान समानता (एक मॉडल उदाहरण के कारण) का व्यापार कर रहे हैं। कई कार्यकर्ता प्रक्रियाओं के साथ यह सेटिंग उन मामलों के उपयोग के लिए एक अच्छा विकल्प हो सकती है जहां मॉडल विलंबता कम है लेकिन आपके पास भारी प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग (कार्यकर्ता प्रक्रियाओं द्वारा किया गया) प्रति अनुमान अनुरोध है।

MMS उन्नत कॉन्फ़िगरेशन के लिए मान सेट करें

MMS कॉन्फ़िगरेशन को संग्रहीत करने के लिए config.properties फ़ाइल का उपयोग करता है। इस config.properties फ़ाइल को ढूँढने के लिए MMS निम्न क्रम का उपयोग करता है:

  1. अगर MMS_CONFIG_FILE पर्यावरण चर सेट है, एमएमएस पर्यावरण चर से विन्यास लोड करता है।
  2. अगर --mms-config पैरामीटर एमएमएस को पास किया जाता है, यह पैरामीटर से कॉन्फ़िगरेशन लोड करता है।
  3. अगर वहां एक है config.properties वर्तमान फ़ोल्डर में जहां उपयोगकर्ता एमएमएस शुरू करता है, यह लोड करता है config.properties वर्तमान कार्यशील निर्देशिका से फ़ाइल।

यदि उपरोक्त में से कोई भी निर्दिष्ट नहीं है, तो MMS अंतर्निहित कॉन्फ़िगरेशन को डिफ़ॉल्ट मानों के साथ लोड करता है।

स्पष्ट कॉन्फ़िगरेशन फ़ाइल के साथ MMS प्रारंभ करने का कमांड लाइन उदाहरण निम्नलिखित है:

multi-model-server --start --mms-config /home/mms/config.properties

आपके समापन बिंदु प्रदर्शन की निगरानी के लिए प्रमुख मीट्रिक

आपके एमएमई को ऑप्टिमाइज़ करने में आपकी मदद करने वाले प्रमुख मेट्रिक्स आमतौर पर सीपीयू और मेमोरी उपयोग और अनुमान विलंबता से संबंधित होते हैं। इंस्टेंस-लेवल मेट्रिक्स एमएमएस द्वारा उत्सर्जित होते हैं, जबकि लेटेंसी मेट्रिक्स एमएमई से आते हैं। इस खंड में, हम उन विशिष्ट मेट्रिक्स पर चर्चा करते हैं जिनका उपयोग आप अपने एमएमई को समझने और अनुकूलित करने के लिए कर सकते हैं।

एंडपॉइंट इंस्टेंस-लेवल मेट्रिक्स (एमएमएस मेट्रिक्स)

से एमएमएस मेट्रिक्स की सूची, CPUUtilization और MemoryUtilization यह मूल्यांकन करने में आपकी सहायता कर सकता है कि आपका इंस्टेंस या MME क्लस्टर सही आकार का है या नहीं। अगर दोनों मेट्रिक्स का प्रतिशत 50-80% के बीच है, तो आपका एमएमई सही आकार का है।

आमतौर पर, कम CPUUtilization और उच्च MemoryUtilization एक अति-प्रावधानित MME क्लस्टर का एक संकेत है क्योंकि यह इंगित करता है कि बार-बार आह्वान किए गए मॉडल अनलोड नहीं किए जा रहे हैं। यह एमएमई के लिए प्रावधान किए गए एंडपॉइंट इंस्टेंस की अधिक-से-इष्टतम संख्या के कारण हो सकता है और इसलिए मेमोरी में बने रहने के लिए बार-बार एक्सेस किए जाने वाले मॉडल के लिए उच्च-से-इष्टतम कुल मेमोरी उपलब्ध है। इसके विपरीत, इन मेट्रिक्स के लगभग 100% उपयोग का मतलब है कि आपका क्लस्टर कम प्रावधानित है, इसलिए आपको अपनी क्लस्टर ऑटो स्केलिंग नीति को समायोजित करने की आवश्यकता है।

प्लेटफ़ॉर्म-स्तरीय मीट्रिक (MME मीट्रिक)

से एमएमई मेट्रिक्स की पूरी सूची, एक प्रमुख मीट्रिक जो आपके अनुमान अनुरोध की विलंबता को समझने में आपकी सहायता कर सकती है, वह है ModelCacheHit। यह मीट्रिक इनवोक अनुरोधों का औसत अनुपात दिखाता है जिसके लिए मॉडल पहले से ही मेमोरी में लोड किया गया था। यदि यह अनुपात कम है, तो यह इंगित करता है कि आपका एमएमई क्लस्टर कम प्रावधानित है क्योंकि एमएमई क्लस्टर में अद्वितीय मॉडल इनवोकेशन की संख्या के लिए पर्याप्त समग्र मेमोरी क्षमता नहीं है, इसलिए मॉडल को अक्सर मेमोरी से अनलोड किया जाता है।

क्षेत्र से सबक और एमएमई को अनुकूलित करने के लिए रणनीतियाँ

हमने कई ग्राहकों में एमएमई के कुछ उच्च-स्तरीय उपयोगों से निम्नलिखित सिफारिशें देखी हैं।

छोटे उदाहरणों के साथ क्षैतिज स्केलिंग बड़े उदाहरणों के साथ लंबवत स्केलिंग से बेहतर है

कम एंडपॉइंट इंस्टेंस पर उच्च अनुरोध प्रति सेकंड (RPS) चलाते समय आपको मॉडल आमंत्रण पर थ्रॉटलिंग का अनुभव हो सकता है। प्रति सेकंड इनवोकेशन की संख्या के लिए आंतरिक सीमाएं हैं (लोड और अनलोड जो एक उदाहरण पर एक साथ हो सकते हैं), और इसलिए छोटे उदाहरणों की संख्या अधिक होना हमेशा बेहतर होता है। अधिक संख्या में छोटे इंस्टेंस चलाने का अर्थ है समापन बिंदु के लिए इन सीमाओं की उच्च कुल क्षमता।

छोटे उदाहरणों के साथ क्षैतिज रूप से स्केलिंग का एक अन्य लाभ यह है कि आप एमएमएस को समानांतरता के उच्च स्तर के साथ चलाने के साथ-साथ मेमोरी में अधिक संख्या में मॉडल (जैसा कि इस पोस्ट में पहले वर्णित किया गया है) के साथ थकाऊ उदाहरण सीपीयू और मेमोरी संसाधनों के जोखिम को कम करते हैं।

पिटाई से बचना एक साझा जिम्मेदारी है

ताड़ना MME में तब होता है जब मॉडल को अक्सर मेमोरी से अनलोड किया जाता है और अपर्याप्त मेमोरी के कारण, या तो एक व्यक्तिगत उदाहरण में या क्लस्टर में समग्र रूप से पुनः लोड किया जाता है।

उपयोग के नजरिए से, आपको अलग-अलग एंडपॉइंट इंस्टेंस को सही आकार देना चाहिए और एमएमई क्लस्टर के समग्र आकार को सही आकार देना चाहिए ताकि यह सुनिश्चित हो सके कि आपके उपयोग के मामले के लिए क्लस्टर के लिए पर्याप्त मेमोरी क्षमता उपलब्ध है। एमएमई प्लेटफॉर्म का राउटर फ्लीट भी कैश हिट को अधिकतम करेगा।

कम, बड़े मेमोरी इंस्टेंस पर बहुत सारे मॉडल बिन पैकिंग के साथ आक्रामक न हों

उदाहरण के बारे में जागरूक होने के लिए मेमोरी एकमात्र संसाधन नहीं है। सीपीयू जैसे अन्य संसाधन एक बाधा कारक हो सकते हैं, जैसा कि निम्नलिखित लोड परीक्षण परिणामों में देखा गया है। कुछ अन्य मामलों में, हमने अन्य कर्नेल संसाधनों को भी देखा है जैसे कि एक उदाहरण पर प्रक्रिया आईडी समाप्त हो रही है, बहुत सारे मॉडल लोड होने के संयोजन के कारण और अंतर्निहित एमएल फ्रेमवर्क (जैसे टेंसरफ्लो) प्रति मॉडल स्पॉनिंग थ्रेड्स जो उपलब्ध के गुणक थे वीसीपीयू।

निम्नलिखित प्रदर्शन परीक्षण मॉडल विलंबता को प्रभावित करने वाले CPU बाधा का एक उदाहरण प्रदर्शित करता है। इस परीक्षण में, एक बड़े इंस्टेंस के साथ एक एकल इंस्टेंस एंडपॉइंट, जबकि सभी चार मॉडलों को मेमोरी में रखने के लिए पर्याप्त मेमोरी से अधिक होने पर, चार छोटे इंस्टेंस वाले एंडपॉइंट की तुलना में लोड के तहत तुलनात्मक रूप से खराब मॉडल लेटेंसी उत्पन्न होती है।

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।

एकल उदाहरण समापन बिंदु मॉडल विलंबता

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।

सिंगल इंस्टेंस एंडपॉइंट सीपीयू और मेमोरी उपयोग

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।

चार उदाहरण समापन बिंदु मॉडल विलंबता

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।

चार उदाहरण समापन बिंदु सीपीयू और मेमोरी उपयोग

प्रदर्शन और लागत-दक्षता दोनों को प्राप्त करने के लिए, अपने एमएमई क्लस्टर को अधिक संख्या में छोटे इंस्टेंस के साथ सही आकार दें, जो कुल मिलाकर आपको कम लेकिन बड़े मेमोरी इंस्टेंस के साथ लागत के बराबर होने के साथ-साथ इष्टतम मेमोरी और सीपीयू क्षमता प्रदान करते हैं।

MME के ​​अनुकूलन के लिए मानसिक मॉडल

अपने एमएमई को सही आकार देते समय चार प्रमुख मेट्रिक्स हैं जिन पर आपको हमेशा विचार करना चाहिए:

  • मॉडलों की संख्या और आकार
  • किसी दिए गए समय में लागू किए गए अद्वितीय मॉडलों की संख्या
  • उदाहरण प्रकार और आकार
  • उदाहरण समापन बिंदु के पीछे गिना जाता है

पहले दो बिंदुओं से शुरू करें, क्योंकि वे तीसरे और चौथे को सूचित करते हैं। उदाहरण के लिए, यदि आपके पास अद्वितीय मॉडल की संख्या या आकार के लिए एंडपॉइंट के पीछे पर्याप्त इंस्टेंस नहीं हैं, तो एंडपॉइंट के लिए कुल मेमोरी कम होगी और आपको एंडपॉइंट स्तर पर कम कैश हिट अनुपात और थ्रैशिंग दिखाई देगा क्योंकि एमएमई मॉडल को बार-बार मेमोरी में और बाहर लोड और अनलोड करेगा।

इसी तरह, अगर अद्वितीय मॉडल के लिए इनवोकेशन एंडपॉइंट के पीछे सभी इंस्टेंस की कुल मेमोरी से अधिक है, तो आपको कम कैश हिट दिखाई देगा। यह तब भी हो सकता है जब उदाहरणों का आकार (विशेषकर स्मृति क्षमता) बहुत छोटा हो।

वास्तव में बड़े मेमोरी इंस्टेंस के साथ लंबवत स्केलिंग भी मुद्दों को जन्म दे सकती है क्योंकि हालांकि मॉडल मेमोरी में फिट हो सकते हैं, सीपीयू और कर्नेल प्रक्रियाओं और थ्रेड सीमा जैसे अन्य संसाधन समाप्त हो सकते हैं। अपने एमएमई के लिए इष्टतम संख्या और इंस्टेंस का आकार प्राप्त करने के लिए प्री-प्रोडक्शन में लोड टेस्ट हॉरिजॉन्टल स्केलिंग।

सारांश

इस पोस्ट में, आपको MME प्लेटफॉर्म की गहरी समझ मिली है। आपने सीखा कि कौन से तकनीकी उपयोग के मामले MME उपयुक्त हैं और आपने MME प्लेटफ़ॉर्म के आर्किटेक्चर की समीक्षा की। आपने एमएमई आर्किटेक्चर के भीतर प्रत्येक घटक की भूमिका की गहरी समझ प्राप्त की और आप किन घटकों के प्रदर्शन को सीधे प्रभावित कर सकते हैं। अंत में, आपने अपने उपयोग के मामले के लिए एमएमई को अनुकूलित करने के लिए समायोजित किए जा सकने वाले कॉन्फ़िगरेशन मापदंडों और इष्टतम प्रदर्शन को बनाए रखने के लिए आपको जिन मीट्रिक की निगरानी करनी चाहिए, उन पर गहराई से विचार किया।

एमएमई के साथ आरंभ करने के लिए, समीक्षा करें अमेज़ॅन सेजमेकर मल्टी-मॉडल एंडपॉइंट्स XGBoost का उपयोग कर रहे हैं और एक कंटेनर में एक समापन बिंदु के पीछे कई मॉडल होस्ट करें.


लेखक के बारे में

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।सैयद जाफ़री एडब्ल्यूएस के साथ एक प्रमुख समाधान वास्तुकार है। वह मध्यम आकार के संगठनों, बड़े उद्यमों, वित्तीय सेवाओं और आईएसवी की कई कंपनियों के साथ काम करता है ताकि उन्हें क्लाउड में लागत प्रभावी और स्केलेबल एआई/एमएल एप्लिकेशन बनाने और संचालित करने में मदद मिल सके।

Amazon SageMaker मल्टी-मॉडल एंडपॉइंट प्लेटोब्लॉकचैन डेटा इंटेलिजेंस के साथ मल्टी-मॉडल इंट्रेंस को चलाएं और ऑप्टिमाइज़ करें। लंबवत खोज। ऐ।सौरभ त्रिकंडे Amazon SageMaker Inference के वरिष्ठ उत्पाद प्रबंधक हैं। उन्हें ग्राहकों के साथ काम करने का शौक है और वह मशीन लर्निंग को लोकतांत्रिक बनाने के लक्ष्य से प्रेरित हैं। वह जटिल एमएल अनुप्रयोगों, बहु-किरायेदार एमएल मॉडल, लागत अनुकूलन, और गहन शिक्षण मॉडल की तैनाती को और अधिक सुलभ बनाने से संबंधित मुख्य चुनौतियों पर ध्यान केंद्रित करता है। अपने खाली समय में, सौरभ को लंबी पैदल यात्रा, नवीन तकनीकों के बारे में सीखना, टेकक्रंच का अनुसरण करना और अपने परिवार के साथ समय बिताना पसंद है।

समय टिकट:

से अधिक AWS मशीन लर्निंग

अमेज़ॅन रिकॉग्निशन कस्टम लेबल्स और एडब्ल्यूएस स्टेप फ़ंक्शंस का उपयोग करके पुरीना के पेटफाइंडर एप्लिकेशन के लिए पालतू जानवरों की प्रोफाइल को अनुकूलित करें | अमेज़न वेब सेवाएँ

स्रोत नोड: 1903180
समय टिकट: अक्टूबर 18, 2023