अमेज़ॅन सेजमेकर के साथ क्लासिकल एमएल और एलएलएम को आसानी से पैकेज और तैनात करें, भाग 2: सेजमेकर स्टूडियो में इंटरएक्टिव उपयोगकर्ता अनुभव | अमेज़न वेब सेवाएँ

अमेज़न SageMaker एक पूरी तरह से प्रबंधित सेवा है जो डेवलपर्स और डेटा वैज्ञानिकों को बड़े पैमाने पर मशीन लर्निंग (एमएल) मॉडल को जल्दी और आसानी से बनाने, प्रशिक्षित करने और तैनात करने में सक्षम बनाती है। सेजमेकर सेवा में एपीआई कॉल के माध्यम से मॉडलों को सीधे उत्पादन में तैनात करना आसान बनाता है। मजबूत और स्केलेबल तैनाती के लिए मॉडलों को कंटेनरों में पैक किया जाता है।

सेजमेकर मॉडलों को तैनात करने के लिए विभिन्न प्रकार के विकल्प प्रदान करता है। ये विकल्प आपके नियंत्रण की मात्रा और आपकी ओर से आवश्यक कार्य के आधार पर भिन्न-भिन्न होते हैं। AWS एसडीके आपको सर्वाधिक नियंत्रण और लचीलापन देता है। यह Java, C++, Go, JavaScript, Node.js, PHP, Ruby और Python के लिए उपलब्ध निम्न-स्तरीय API है। सेजमेकर पायथन एसडीके एक उच्च-स्तरीय पायथन एपीआई है जो कुछ चरणों और कॉन्फ़िगरेशन को सारांशित करता है, और मॉडलों को तैनात करना आसान बनाता है। AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) एक और उच्च स्तरीय उपकरण है जिसका उपयोग आप अपना कोड लिखे बिना मॉडल को तैनात करने के लिए सेजमेकर के साथ इंटरैक्टिव काम करने के लिए कर सकते हैं।

हम दो नए विकल्प लॉन्च कर रहे हैं जो सेजमेकर का उपयोग करके पैकेजिंग और मॉडल तैनात करने की प्रक्रिया को और सरल बनाते हैं। एक तरीका प्रोग्रामेटिक परिनियोजन के लिए है। इसके लिए, हम पायथन एसडीके में सुधार की पेशकश कर रहे हैं। अधिक जानकारी के लिए देखें Amazon SageMaker के साथ क्लासिकल ML और LLM को आसानी से पैकेज और तैनात करें, भाग 1: PySDK सुधार। दूसरा तरीका इंटरैक्टिव परिनियोजन के लिए है। इसके लिए, हम एक नया इंटरैक्टिव अनुभव लॉन्च कर रहे हैं अमेज़ॅन सैजमेकर स्टूडियो. यह आपको अपने स्वयं के प्रशिक्षित या मूलभूत मॉडल (एफएम) को शीघ्रता से तैनात करने में मदद करेगा अमेज़न SageMaker जम्पस्टार्ट अनुकूलित कॉन्फ़िगरेशन के साथ, और न्यूनतम लागत पर पूर्वानुमानित प्रदर्शन प्राप्त करें। नया इंटरैक्टिव अनुभव कैसा दिखता है, यह जानने के लिए आगे पढ़ें।

सेजमेकर स्टूडियो में नया इंटरैक्टिव अनुभव

यह पोस्ट मानती है कि आपने एक या अधिक एमएल मॉडल को प्रशिक्षित किया है या सेजमेकर जम्पस्टार्ट मॉडल हब से एफएम का उपयोग कर रहे हैं और उन्हें तैनात करने के लिए तैयार हैं। सेजमेकर का उपयोग करके किसी मॉडल को प्रशिक्षित करना सेजमेकर का उपयोग करके मॉडल को तैनात करने के लिए कोई शर्त नहीं है। सेजमेकर स्टूडियो के साथ कुछ परिचितता भी मानी जाती है।

हम आपको बताते हैं कि निम्नलिखित कैसे करें:

• एक सेजमेकर मॉडल बनाएं
• एक सेजमेकर मॉडल तैनात करें
• एक सेजमेकर जम्पस्टार्ट बड़े भाषा मॉडल (एलएलएम) को तैनात करें
• एक समापन बिंदु के पीछे एकाधिक मॉडल तैनात करें
• परीक्षण मॉडल अनुमान
• त्रुटियों का निवारण करें

एक सेजमेकर मॉडल बनाएं

अनुमान के लिए सेजमेकर एंडपॉइंट स्थापित करने में पहला कदम एक सेजमेकर मॉडल ऑब्जेक्ट बनाना है। यह मॉडल ऑब्जेक्ट दो चीजों से बना है: मॉडल के लिए एक कंटेनर, और प्रशिक्षित मॉडल जिसका उपयोग अनुमान के लिए किया जाएगा। नया इंटरैक्टिव यूआई अनुभव सेजमेकर मॉडल निर्माण प्रक्रिया को सरल बनाता है। यदि आप सेजमेकर स्टूडियो में नए हैं, तो देखें डेवलपर गाइड आरंभ करना।

1. सेजमेकर स्टूडियो इंटरफ़ेस में, चुनें मॉडल नेविगेशन फलक में
2. पर परिनियोजन योग्य मॉडल टैब चुनें बनाएं.

अब आपको बस मॉडल कंटेनर विवरण, अपने मॉडल डेटा का स्थान और एक प्रदान करना होगा AWS पहचान और अभिगम प्रबंधन आपकी ओर से सेजमेकर द्वारा ग्रहण की जाने वाली (IAM) भूमिका।

3. मॉडल कंटेनर के लिए, आप सेजमेकर पूर्व-निर्मित डॉकर छवियों में से एक का उपयोग कर सकते हैं जो यह लोकप्रिय ढांचे और पुस्तकालयों के लिए प्रदान करता है। यदि आप इस विकल्प का उपयोग करना चुनते हैं, तो समर्थित प्रकारों की सूची से एक कंटेनर फ्रेमवर्क, संबंधित फ्रेमवर्क संस्करण और एक हार्डवेयर प्रकार चुनें।
   

वैकल्पिक रूप से, आप अपने संग्रहित कंटेनर के लिए एक पथ निर्दिष्ट कर सकते हैं अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़न ईसीआर)।

4. इसके बाद, अपनी मॉडल कलाकृतियाँ अपलोड करें। सेजमेकर स्टूडियो मॉडल कलाकृतियों को अपलोड करने के दो तरीके प्रदान करता है:
   • सबसे पहले, आप एक निर्दिष्ट कर सकते हैं model.tar.gz या तो एक में अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बाल्टी या आपके स्थानीय पथ में। यह model.tar.gz इसे उस प्रारूप में संरचित किया जाना चाहिए जो आपके द्वारा उपयोग किए जा रहे कंटेनर के अनुरूप हो।
   • वैकल्पिक रूप से, यह PyTorch और XGBoost मॉडल के लिए कच्चे आर्टिफैक्ट अपलोडिंग का समर्थन करता है। इन दो ढाँचों के लिए, कंटेनर द्वारा अपेक्षित प्रारूप में मॉडल कलाकृतियाँ प्रदान करें। उदाहरण के लिए, PyTorch के लिए यह एक होगा model.pth. ध्यान दें कि आपके मॉडल कलाकृतियों में प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग के लिए एक अनुमान स्क्रिप्ट भी शामिल है। यदि आप एक अनुमान स्क्रिप्ट प्रदान नहीं करते हैं, तो आपके द्वारा चुने गए कंटेनर के लिए डिफ़ॉल्ट अनुमान हैंडलर लागू किए जाएंगे।
5. अपने कंटेनर और आर्टिफैक्ट का चयन करने के बाद, एक IAM भूमिका निर्दिष्ट करें।
6. चुनें परिनियोजन योग्य मॉडल बनाएं सेजमेकर मॉडल बनाने के लिए।
   

पिछले चरण सरलतम वर्कफ़्लो प्रदर्शित करते हैं. आप मॉडल निर्माण प्रक्रिया को और अनुकूलित कर सकते हैं। उदाहरण के लिए, आप वीपीसी विवरण निर्दिष्ट कर सकते हैं और यह सुनिश्चित करने के लिए नेटवर्क अलगाव सक्षम कर सकते हैं कि कंटेनर सार्वजनिक इंटरनेट पर आउटबाउंड कॉल नहीं कर सकता है। आप इसका विस्तार कर सकते हैं उन्नत विकल्प अधिक विकल्प देखने के लिए अनुभाग।

आप SageMaker Inference Recommender बेंचमार्किंग कार्य चलाकर अपने समापन बिंदु को तैनात करने के लिए सर्वोत्तम मूल्य/प्रदर्शन अनुपात के लिए हार्डवेयर पर मार्गदर्शन प्राप्त कर सकते हैं। सेजमेकर मॉडल को और अधिक अनुकूलित करने के लिए, आप कंटेनर स्तर पर किसी भी ट्यून करने योग्य पर्यावरण चर को पास कर सकते हैं। आपके मॉडल सर्विंग और कंटेनर के लिए इष्टतम कॉन्फ़िगरेशन ढूंढने के लिए अनुमान अनुशंसाकर्ता इन चरों की एक श्रृंखला भी लेगा।

अपना मॉडल बनाने के बाद, आप इसे पर देख सकते हैं परिनियोजन योग्य मॉडल टैब. यदि मॉडल निर्माण में कोई समस्या पाई गई, तो आपको स्थिति इसमें दिखाई देगी मॉनिटर की स्थिति स्तंभ। विवरण देखने के लिए मॉडल का नाम चुनें.

एक सेजमेकर मॉडल तैनात करें

सबसे बुनियादी परिदृश्य में, आपको बस एक तैनाती योग्य मॉडल का चयन करना होगा मॉडल पेज या सेजमेकर जम्पस्टार्ट पेज से एलएलएम, एक इंस्टेंस प्रकार का चयन करें, प्रारंभिक इंस्टेंस गिनती सेट करें, और मॉडल को तैनात करें। आइए देखें कि आपके अपने सेजमेकर मॉडल के लिए सेजमेकर स्टूडियो में यह प्रक्रिया कैसी दिखती है। हम इस पोस्ट में बाद में एलएलएम के उपयोग पर चर्चा करेंगे।

1. पर मॉडल पृष्ठ, चुनें परिनियोजन योग्य मॉडल टैब.
2. तैनात करने और चुनने के लिए मॉडल का चयन करें तैनाती.
   
3. अगला चरण एक इंस्टेंस प्रकार का चयन करना है जिसे सेजमेकर अनुमान समापन बिंदु के पीछे रखेगा।

आप एक ऐसा उदाहरण चाहते हैं जो सबसे कम लागत पर सर्वोत्तम प्रदर्शन प्रदान करे। सेजमेकर सिफ़ारिशें दिखाकर आपके लिए यह निर्णय लेना आसान बनाता है। यदि आपने सेजमेकर मॉडल निर्माण चरण के दौरान सेजमेकर अनुमान अनुशंसाकर्ता का उपयोग करके अपने मॉडल को बेंचमार्क किया था, तो आप ड्रॉप-डाउन मेनू पर उस बेंचमार्क से सिफारिशें देखेंगे।

अन्यथा, आपको मेनू पर संभावित उदाहरणों की एक सूची दिखाई देगी। उस मामले में सूची को पॉप्युलेट करने के लिए सेजमेकर अपने स्वयं के अनुमान का उपयोग करता है।

4. आरंभिक उदाहरण संख्या निर्दिष्ट करें, फिर चुनें तैनाती.

सेजमेकर एक एंडपॉइंट कॉन्फ़िगरेशन बनाएगा और आपके मॉडल को उस एंडपॉइंट के पीछे तैनात करेगा। मॉडल तैनात होने के बाद, आपको समापन बिंदु और मॉडल स्थिति इस प्रकार दिखाई देगी सेवा में. ध्यान दें कि समापन बिंदु मॉडल से पहले तैयार हो सकता है।

सेजमेकर स्टूडियो में यह वह स्थान भी है जहां आप समापन बिंदु का प्रबंधन करेंगे। आप चुनकर समापन बिंदु विवरण पृष्ठ पर नेविगेट कर सकते हैं endpoints के अंतर्गत तैनाती नेविगेशन फलक में. उपयोग मॉडल जोड़ें और मिटाना किसी समापन बिंदु को दोबारा बनाने की आवश्यकता के बिना समापन बिंदु के पीछे के मॉडल को बदलने के लिए बटन। परीक्षण अनुमान टैब आपको सेजमेकर स्टूडियो इंटरफ़ेस से सीधे इन-सर्विस मॉडल में से किसी एक को परीक्षण अनुरोध भेजकर अपने मॉडल का परीक्षण करने में सक्षम बनाता है। आप ऑटो स्केलिंग नीति को भी संपादित कर सकते हैं ऑटो स्केलिंग इस पृष्ठ पर टैब करें. मॉडलों को जोड़ने, हटाने और परीक्षण करने के बारे में अधिक विवरण निम्नलिखित अनुभागों में दिए गए हैं। आप इस एंडपॉइंट के लिए नेटवर्क, सुरक्षा और गणना जानकारी देख सकते हैं सेटिंग टैब.

परिनियोजन को अनुकूलित करें

पिछले उदाहरण से पता चला है कि आपकी ओर से आवश्यक न्यूनतम कॉन्फ़िगरेशन के साथ एकल मॉडल को तैनात करना कितना सरल है। सेजमेकर आपके लिए अधिकांश फ़ील्ड भरता है, लेकिन आप कॉन्फ़िगरेशन को कस्टमाइज़ कर सकते हैं। उदाहरण के लिए, यह स्वचालित रूप से समापन बिंदु के लिए एक नाम उत्पन्न करता है। हालाँकि, आप अपनी पसंद के अनुसार समापन बिंदु को नाम दे सकते हैं, या मौजूदा समापन बिंदु का उपयोग कर सकते हैं समापन बिंदु नाम ड्रॉप डाउन मेनू। मौजूदा समापन बिंदुओं के लिए, आप केवल वही समापन बिंदु देखेंगे जो उस समय सेवा में हैं। आप इसका उपयोग कर सकते हैं उन्नत विकल्प IAM भूमिका, VPC विवरण और टैग निर्दिष्ट करने के लिए अनुभाग।

एक सेजमेकर जम्पस्टार्ट एलएलएम तैनात करें

सेजमेकर जम्पस्टार्ट एलएलएम को तैनात करने के लिए, निम्नलिखित चरणों को पूरा करें:

1. पर नेविगेट करें कूदना शुरू करो सेजमेकर स्टूडियो में पेज।
2. उस भागीदार से उपलब्ध मॉडलों की सूची ब्राउज़ करने के लिए भागीदार नामों में से एक चुनें, या यदि आप मॉडल का नाम जानते हैं तो मॉडल पृष्ठ पर जाने के लिए खोज सुविधा का उपयोग करें।
3. वह मॉडल चुनें जिसे आप तैनात करना चाहते हैं.
   
4. चुनें तैनाती.
   

ध्यान दें कि एलएलएम का उपयोग ईयूएलए और प्रदाता के नियमों और शर्तों के अधीन है।

5. लाइसेंस और शर्तें स्वीकार करें.
6. एक इंस्टेंस प्रकार निर्दिष्ट करें.

जम्पस्टार्ट मॉडल हब के कई मॉडल परिनियोजन के लिए मूल्य-प्रदर्शन अनुकूलित डिफ़ॉल्ट इंस्टेंस प्रकार के साथ आते हैं। उन मॉडलों के लिए जो इस डिफ़ॉल्ट के साथ नहीं आते हैं, आपको समर्थित इंस्टेंस प्रकारों की एक सूची प्रदान की जाएगी उदाहरण प्रकार ड्रॉप डाउन मेनू। बेंचमार्क मॉडल के लिए, यदि आप अपने विशिष्ट उपयोग के मामले को पूरा करने के लिए लागत या प्रदर्शन के लिए विशेष रूप से तैनाती को अनुकूलित करना चाहते हैं, तो आप चुन सकते हैं वैकल्पिक विन्यास अधिक विकल्प देखने के लिए जिन्हें कुल टोकन, इनपुट लंबाई और अधिकतम संगामिति के विभिन्न संयोजनों के साथ बेंचमार्क किया गया है। आप उस मॉडल के लिए अन्य समर्थित इंस्टेंसेस में से भी चयन कर सकते हैं।

7. यदि वैकल्पिक कॉन्फ़िगरेशन का उपयोग कर रहे हैं, तो अपना उदाहरण चुनें और चुनें चुनते हैं.
   
8. चुनें तैनाती मॉडल को तैनात करने के लिए.

आप समापन बिंदु और मॉडल स्थिति में परिवर्तन देखेंगे सेवा में. इस मामले में आपकी आवश्यकताओं को पूरा करने के लिए आपके पास तैनाती को अनुकूलित करने के विकल्प भी हैं।

एक समापन बिंदु के पीछे एकाधिक मॉडल तैनात करें

सेजमेकर आपको एक ही एंडपॉइंट के पीछे कई मॉडल तैनात करने में सक्षम बनाता है। यह केवल एक मॉडल के साथ एंडपॉइंट का उपयोग करने की तुलना में एंडपॉइंट उपयोग में सुधार करके होस्टिंग लागत को कम करता है। यह परिनियोजन ओवरहेड को भी कम करता है क्योंकि सेजमेकर मेमोरी में मॉडल लोड करने और उन्हें आपके एंडपॉइंट पर ट्रैफ़िक पैटर्न के आधार पर स्केल करने का प्रबंधन करता है। सेजमेकर स्टूडियो अब ऐसा करना आसान बना देता है।

1. उन मॉडलों का चयन करके शुरुआत करें जिन्हें आप तैनात करना चाहते हैं, फिर चुनें तैनाती.
   
2. फिर आप कई मॉडलों के साथ एक समापन बिंदु बना सकते हैं जिसमें आपके द्वारा परिभाषित गणना की आवंटित मात्रा होती है।

इस मामले में, हम समापन बिंदु के लिए ml.p4d.24xlarge उदाहरण का उपयोग करते हैं और अपने दो अलग-अलग मॉडलों के लिए आवश्यक संख्या में संसाधन आवंटित करते हैं। ध्यान दें कि आपका एंडपॉइंट उन इंस्टेंस प्रकारों तक सीमित है जो इस सुविधा द्वारा समर्थित हैं।

3. यदि आप से प्रवाह शुरू करते हैं परिनियोजन योग्य मॉडल टैब और एक सेजमेकर जंपस्टार्ट एलएलएम जोड़ना चाहते हैं, या इसके विपरीत, आप इसे चुनकर कई मॉडलों का एक समापन बिंदु बना सकते हैं मॉडल जोड़ें परिनियोजन वर्कफ़्लो प्रारंभ करने के बाद.
   
4. यहां, आप सेजमेकर जंपस्टार्ट मॉडल हब या इसका उपयोग करने वाले मॉडल से कोई अन्य एफएम चुन सकते हैं परिनियोजन योग्य मॉडल विकल्प, जो उन मॉडलों को संदर्भित करता है जिन्हें आपने सेजमेकर मॉडल ऑब्जेक्ट के रूप में सहेजा है।
5. अपनी मॉडल सेटिंग चुनें:
   • यदि मॉडल सीपीयू इंस्टेंस का उपयोग करता है, तो मॉडल के लिए सीपीयू की संख्या और प्रतियों की न्यूनतम संख्या चुनें।
   • यदि मॉडल GPU इंस्टेंस का उपयोग करता है, तो मॉडल के लिए त्वरक की संख्या और प्रतियों की न्यूनतम संख्या चुनें।
6. चुनें मॉडल जोड़ें.
   
7. चुनें तैनाती इन मॉडलों को सेजमेकर एंडपॉइंट पर तैनात करने के लिए।
   

जब समापन बिंदु तैयार हो जाए (सेवा में स्थिति), आपके पास एक ही समापन बिंदु के पीछे दो मॉडल तैनात होंगे।

परीक्षण मॉडल अनुमान

सेजमेकर स्टूडियो अब मॉडल अनुमान अनुरोधों का परीक्षण करना आसान बनाता है। आप समर्थित सामग्री प्रकार, जैसे एप्लिकेशन या JSON, टेक्स्ट या CSV का उपयोग करके सीधे पेलोड डेटा भेज सकते हैं, या नोटबुक या स्थानीय एकीकृत विकास वातावरण (आईडीई) जैसे अपने प्रोग्रामिंग वातावरण से आमंत्रण अनुरोध करने के लिए पायथन एसडीके नमूना कोड का उपयोग कर सकते हैं।

ध्यान दें कि पायथन एसडीके उदाहरण कोड विकल्प केवल सेजमेकर जम्पस्टार्ट मॉडल के लिए उपलब्ध है, और इसे इनपुट/आउटपुट डेटा परिवर्तन के साथ विशिष्ट मॉडल उपयोग के मामले के लिए तैयार किया गया है।

त्रुटियों का निवारण करें

समस्या निवारण और मॉडल परिनियोजन में गहराई से देखने में सहायता के लिए, संसाधन पर टूलटिप्स हैं स्थिति संबंधित त्रुटि और कारण संदेश दिखाने के लिए लेबल। के लिंक भी हैं अमेज़ॅन क्लाउडवॉच समापन बिंदु विवरण पृष्ठ पर समूहों को लॉग करें। एकल-मॉडल समापन बिंदुओं के लिए, क्लाउडवॉच कंटेनर लॉग का लिंक सुविधाजनक रूप से स्थित है सारांश समापन बिंदु विवरण का अनुभाग. एकाधिक मॉडल वाले एंडपॉइंट के लिए, क्लाउडवॉच लॉग के लिंक प्रत्येक पंक्ति पर स्थित होते हैं मॉडल तालिका दृश्य. समस्या निवारण के लिए कुछ सामान्य त्रुटि परिदृश्य निम्नलिखित हैं:

• मॉडल पिंग स्वास्थ्य जांच विफलता - मॉडल परिनियोजन विफल हो सकता है क्योंकि सर्विंग कंटेनर ने मॉडल पिंग स्वास्थ्य जांच पास नहीं की है। समस्या को डीबग करने के लिए, क्लाउडवॉच लॉग समूहों द्वारा प्रकाशित निम्नलिखित कंटेनर लॉग देखें:

  /aws/sagemaker/Endpoints/[EndpointName]
  /aws/sagemaker/InferenceComponents/[InferenceComponentName]

• असंगत मॉडल और एंडपॉइंट कॉन्फ़िगरेशन के कारण परिनियोजन विफलता हुई - यदि निम्न त्रुटि संदेशों में से किसी एक के कारण परिनियोजन विफल हो जाता है, तो इसका अर्थ है कि परिनियोजन के लिए चयनित मॉडल ने एक भिन्न IAM भूमिका, VPC कॉन्फ़िगरेशन, या नेटवर्क आइसोलेशन कॉन्फ़िगरेशन का उपयोग किया है। परिनियोजन प्रवाह के दौरान समान IAM भूमिका, VPC कॉन्फ़िगरेशन और नेटवर्क आइसोलेशन कॉन्फ़िगरेशन का उपयोग करने के लिए मॉडल विवरण को अद्यतन करना समाधान है। यदि आप किसी मौजूदा एंडपॉइंट में एक मॉडल जोड़ रहे हैं, तो आप लक्ष्य एंडपॉइंट कॉन्फ़िगरेशन से मेल खाने के लिए मॉडल ऑब्जेक्ट को फिर से बना सकते हैं।

  Model and endpoint config have different execution roles. Please ensure the execution roles are consistent.
  Model and endpoint config have different VPC configurations. Please ensure the VPC configurations are consistent.
  Model and endpoint config have different network isolation configurations. Please ensure the network isolation configurations are consistent.

• मौजूदा समापन बिंदु बुनियादी ढांचे पर अधिक मॉडल तैनात करने की पर्याप्त क्षमता नहीं है - यदि निम्न त्रुटि संदेश के साथ परिनियोजन विफल हो गया, तो इसका मतलब है कि वर्तमान समापन बिंदु बुनियादी ढांचे में मॉडल को तैनात करने के लिए पर्याप्त गणना या मेमोरी हार्डवेयर संसाधन नहीं हैं। उपाय यह है कि एंडपॉइंट पर अधिकतम इंस्टेंस गिनती बढ़ाई जाए या नए मॉडल परिनियोजन के लिए जगह बनाने के लिए एंडपॉइंट पर तैनात किसी भी मौजूदा मॉडल को हटा दिया जाए।

  There is not enough hardware resources on the instances for this endpoint to create a copy of the inference component. Please update resource requirements for this inference component, remove existing inference components, or increase the number of instances for this endpoint.

• एकाधिक मॉडल एंडपॉइंट परिनियोजन के लिए असमर्थित इंस्टेंस प्रकार - यदि निम्न त्रुटि संदेश के साथ परिनियोजन विफल हो गया, तो इसका मतलब है कि चयनित इंस्टेंस प्रकार वर्तमान में एकाधिक मॉडल एंडपॉइंट परिनियोजन के लिए समर्थित नहीं है। निवारण का उद्देश्य इंस्टेंस प्रकार को ऐसे इंस्टेंस में बदलना है जो इस सुविधा का समर्थन करता है और परिनियोजन का पुनः प्रयास करें।

  The instance type is not supported for multiple models endpoint. Please choose a different instance type.

अन्य मॉडल परिनियोजन समस्याओं के लिए, देखें समर्थित विशेषताएं.

क्लीन अप

सफाई भी सीधी है. आप सेजमेकर कंसोल पर विशिष्ट मॉडल का चयन करके अपने मौजूदा सेजमेकर एंडपॉइंट से एक या अधिक मॉडल हटा सकते हैं। संपूर्ण समापन बिंदु को हटाने के लिए, पर जाएँ endpoints पृष्ठ, वांछित समापन बिंदु का चयन करें, चुनें मिटाना, और हटाने के लिए आगे बढ़ने के लिए अस्वीकरण स्वीकार करें।

निष्कर्ष

सेजमेकर स्टूडियो में उन्नत इंटरैक्टिव अनुभव डेटा वैज्ञानिकों को तैनाती की जटिलताओं को दूर करते हुए मॉडल निर्माण और अपनी कलाकृतियों को सेजमेकर में लाने पर ध्यान केंद्रित करने की अनुमति देता है। जो लोग कोड-आधारित दृष्टिकोण पसंद करते हैं, उनके लिए निम्न-कोड समतुल्य की जाँच करें मॉडलबिल्डर वर्ग.

अधिक जानने के लिए, सेजमेकर पर जाएँ ModelBuilder पायथन इंटरफ़ेस दस्तावेज़ीकरण और मार्गदर्शन किया वर्कफ़्लो तैनात करें सेजमेकर स्टूडियो में। सेजमेकर एसडीके और सेजमेकर स्टूडियो के लिए कोई अतिरिक्त शुल्क नहीं है। आप केवल उपयोग किए गए अंतर्निहित संसाधनों के लिए भुगतान करते हैं। सेजमेकर के साथ मॉडलों को तैनात करने के तरीके के बारे में अधिक जानकारी के लिए देखें अनुमान के लिए मॉडल तैनात करें.

सिरिशा उपाध्यायला, मेलानी ली, धवल पटेल, सैम एडवर्ड्स और कुमार स्वामी बोर्रा को विशेष धन्यवाद।

---

लेखक के बारे में

रघु रमेश अमेज़ॅन सेजमेकर सर्विस टीम के साथ एक वरिष्ठ एमएल सॉल्यूशंस आर्किटेक्ट हैं। वह ग्राहकों को बड़े पैमाने पर एमएल उत्पादन कार्यभार को सेजमेकर में बनाने, तैनात करने और स्थानांतरित करने में मदद करने पर ध्यान केंद्रित करता है। वह मशीन लर्निंग, एआई और कंप्यूटर विज़न डोमेन में माहिर हैं और उनके पास यूटी डलास से कंप्यूटर साइंस में मास्टर डिग्री है। अपने खाली समय में उन्हें यात्रा करना और फोटोग्राफी करना पसंद है।

दीपक गर्ग AWS में सॉल्यूशन आर्किटेक्ट हैं। उन्हें AWS सेवाओं में गहराई से उतरना और ग्राहकों के साथ अपना ज्ञान साझा करना पसंद है। दीपक की पृष्ठभूमि सामग्री वितरण नेटवर्क और दूरसंचार में है

राम वेगीराजु अमेज़ॅन सेजमेकर सर्विस टीम के साथ एक एमएल आर्किटेक्ट है। वह Amazon SageMaker पर ग्राहकों को उनके AI/ML समाधान बनाने और अनुकूलित करने में मदद करने पर ध्यान केंद्रित करता है। अपने खाली समय में उन्हें यात्रा करना और लिखना पसंद है।

मार्क कारपो Amazon SageMaker सर्विस टीम के साथ एक ML आर्किटेक्ट है। वह बड़े पैमाने पर एमएल वर्कलोड को डिजाइन करने, तैनात करने और प्रबंधित करने में ग्राहकों की मदद करने पर ध्यान केंद्रित करता है। अपने खाली समय में उन्हें यात्रा करना और नई जगहों की खोज करना अच्छा लगता है।

शिव राज कोटिनी Amazon SageMaker Inference उत्पाद पोर्टफोलियो में प्रधान उत्पाद प्रबंधक के रूप में काम करता है। वह अनुमान के लिए सेजमेकर में मॉडल परिनियोजन, प्रदर्शन ट्यूनिंग और अनुकूलन पर ध्यान केंद्रित करता है।

एल्विन (कियुन) झाओ Amazon SageMaker Inference Platform टीम के साथ एक वरिष्ठ सॉफ़्टवेयर डेवलपमेंट इंजीनियर है। वह डिप्लॉयमेंट गार्डराइल्स और शैडो डिप्लॉयमेंट के प्रमुख डेवलपर हैं, और वह एमएल वर्कलोड और उच्च उपलब्धता के साथ बड़े पैमाने पर तैनाती का प्रबंधन करने में ग्राहकों की मदद करने पर ध्यान केंद्रित करते हैं। वह तेजी से और सुरक्षित एमएल नौकरियों की तैनाती और आसानी से एमएल ऑनलाइन प्रयोगों को चलाने के लिए प्लेटफॉर्म आर्किटेक्चर के विकास पर भी काम करता है। अपने खाली समय में उन्हें पढ़ना, जुआ खेलना और यात्रा करना अच्छा लगता है।

गौरव भंडेरी सेजमेकर में एआई प्लेटफॉर्म टीम के साथ फ्रंट एंड इंजीनियर हैं। वह AWS संगठन के भीतर ग्राहक-सामना यूआई समाधान प्रदान करने पर काम करता है। अपने खाली समय में, वह लंबी पैदल यात्रा और स्थानीय रेस्तरां देखने का आनंद लेते हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-2-interactive-user-experiences-in-sagemaker-studio/