अमेज़ॅन सेजमेकर जम्पस्टार्ट | का उपयोग करके बिना इंटरनेट कनेक्टिविटी के वीपीसी मोड में जेनरेटिव एआई फाउंडेशन मॉडल का उपयोग करें अमेज़न वेब सेवाएँ

हाल की प्रगति के साथ जनरेटिव ए.आई.विशिष्ट व्यावसायिक समस्याओं को हल करने के लिए विभिन्न उद्योगों में जेनेरिक एआई का उपयोग कैसे किया जाए, इस पर बहुत चर्चा हो रही है। जेनरेटिव एआई एक प्रकार का एआई है जो बातचीत, कहानियां, चित्र, वीडियो और संगीत सहित नई सामग्री और विचार बना सकता है। यह सब बहुत बड़े मॉडलों द्वारा समर्थित है जो विशाल मात्रा में डेटा पर पूर्व-प्रशिक्षित होते हैं और आमतौर पर इन्हें कहा जाता है फाउंडेशन मॉडल (एफएम). ये एफएम कई प्रकार के कार्य कर सकते हैं जो कई डोमेन में फैले हुए हैं, जैसे ब्लॉग पोस्ट लिखना, चित्र बनाना, गणित की समस्याओं को हल करना, संवाद में संलग्न होना और दस्तावेज़ के आधार पर प्रश्नों का उत्तर देना। एफएम का आकार और सामान्य प्रयोजन प्रकृति उन्हें पारंपरिक एमएल मॉडल से अलग बनाती है, जो आम तौर पर विशिष्ट कार्य करते हैं, जैसे भावनाओं के लिए पाठ का विश्लेषण करना, छवियों को वर्गीकृत करना और रुझानों का पूर्वानुमान लगाना।

जबकि संगठन इन एफएम की शक्ति का उपयोग करना चाह रहे हैं, वे यह भी चाहते हैं कि एफएम-आधारित समाधान उनके स्वयं के संरक्षित वातावरण में चलते रहें। वैश्विक वित्तीय सेवाओं और स्वास्थ्य देखभाल और जीवन विज्ञान जैसे अत्यधिक विनियमित स्थानों में काम करने वाले संगठनों को अपने वीपीसी में अपने पर्यावरण को चलाने के लिए श्रवण और अनुपालन आवश्यकताएं होती हैं। वास्तव में, कई बार, इन वातावरणों में प्रवेश और निकास दोनों में किसी भी अनपेक्षित ट्रैफ़िक के संपर्क से बचने के लिए सीधी इंटरनेट पहुंच भी अक्षम कर दी जाती है।

अमेज़न SageMaker जम्पस्टार्ट एक एमएल हब है जो एल्गोरिदम, मॉडल और एमएल समाधान पेश करता है। सेजमेकर जम्पस्टार्ट के साथ, एमएल व्यवसायी सर्वश्रेष्ठ प्रदर्शन करने वाले ओपन सोर्स एफएम की बढ़ती सूची में से चुन सकते हैं। यह इन मॉडलों को अपने यहां तैनात करने की क्षमता भी प्रदान करता है वर्चुअल प्राइवेट क्लाउड (VPC).

इस पोस्ट में, हम प्रदर्शित करते हैं कि तैनात करने के लिए जम्पस्टार्ट का उपयोग कैसे करें फ़्लान-T5 XXL बिना इंटरनेट कनेक्टिविटी वाले वीपीसी में मॉडल। हम निम्नलिखित विषयों पर चर्चा करते हैं:

• बिना इंटरनेट एक्सेस वाले वीपीसी में सेजमेकर जम्पस्टार्ट का उपयोग करके फाउंडेशन मॉडल कैसे तैनात करें
• वीपीसी मोड में सेजमेकर जम्पस्टार्ट मॉडल के माध्यम से एफएम तैनात करने के लाभ
• जम्पस्टार्ट के माध्यम से फाउंडेशन मॉडल की तैनाती को अनुकूलित करने के वैकल्पिक तरीके

FLAN-T5 XXL के अलावा, जम्पस्टार्ट विभिन्न कार्यों के लिए कई अलग-अलग फाउंडेशन मॉडल प्रदान करता है। पूरी सूची के लिए देखें अमेज़न सैजमेकर जम्पस्टार्ट के साथ शुरुआत करना.

समाधान अवलोकन

समाधान के भाग के रूप में, हम निम्नलिखित चरणों को शामिल करते हैं:

1. बिना इंटरनेट कनेक्शन वाला वीपीसी सेट करें।
2. सेट अप अमेज़ॅन सैजमेकर स्टूडियो हमारे द्वारा बनाए गए वीपीसी का उपयोग करके।
3. बिना इंटरनेट एक्सेस के वीपीसी में जम्पस्टार्ट का उपयोग करके जेनरेटिव एआई फ़्लान टी5-एक्सएक्सएल फाउंडेशन मॉडल को तैनात करें।

निम्नलिखित समाधान का एक आर्किटेक्चर आरेख है।

आइए इस समाधान को लागू करने के लिए विभिन्न चरणों पर चलें।

.. पूर्वापेक्षाएँ

इस पोस्ट के साथ अनुसरण करने के लिए, आपको निम्नलिखित की आवश्यकता है:

बिना इंटरनेट कनेक्शन वाला वीपीसी सेट करें

एक नया क्लाउडफॉर्मेशन स्टैक बनाएं का उपयोग करके 01_networking.yaml टेम्पलेट. यह टेम्प्लेट एक नया VPC बनाता है और बिना इंटरनेट कनेक्टिविटी वाले दो उपलब्धता क्षेत्रों में दो निजी सबनेट जोड़ता है। इसके बाद यह एक्सेस करने के लिए गेटवे वीपीसी एंडपॉइंट तैनात करता है अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस3) और सेजमेकर और कुछ अन्य सेवाओं के लिए इंटरफ़ेस वीपीसी एंडपॉइंट, वीपीसी में संसाधनों को एडब्ल्यूएस सेवाओं से कनेक्ट करने की अनुमति देने के लिए एडब्ल्यूएस प्राइवेटलिंक.

एक स्टैक नाम प्रदान करें, जैसे No-Internet, और स्टैक निर्माण प्रक्रिया को पूरा करें।

यह समाधान अत्यधिक उपलब्ध नहीं है क्योंकि क्लाउडफॉर्मेशन टेम्पलेट इस पोस्ट में दिए गए चरणों का पालन करते समय लागत को कम करने के लिए केवल एक सबनेट में इंटरफ़ेस वीपीसी एंडपॉइंट बनाता है।

वीपीसी का उपयोग करके स्टूडियो स्थापित करें

का उपयोग करके एक और क्लाउडफॉर्मेशन स्टैक बनाएं 02_sagemaker_studio.yaml, जो एक स्टूडियो डोमेन, स्टूडियो उपयोगकर्ता प्रोफ़ाइल और IAM भूमिकाओं जैसे सहायक संसाधन बनाता है। स्टैक के लिए एक नाम चुनें; इस पोस्ट के लिए, हम नाम का उपयोग करते हैं SageMaker-Studio-VPC-No-Internet. आपके द्वारा पहले बनाए गए वीपीसी स्टैक का नाम प्रदान करें (No-Internet) के रूप में CoreNetworkingStackName पैरामीटर और बाकी सभी चीज़ों को डिफ़ॉल्ट के रूप में छोड़ दें।

तब तक प्रतीक्षा करें जब तक AWS CloudFormation यह रिपोर्ट न कर दे कि स्टैक निर्माण पूरा हो गया है। आप पुष्टि कर सकते हैं कि स्टूडियो डोमेन सेजमेकर कंसोल पर उपयोग के लिए उपलब्ध है।

यह सत्यापित करने के लिए कि स्टूडियो डोमेन उपयोगकर्ता के पास कोई इंटरनेट एक्सेस नहीं है, सेजमेकर कंसोल का उपयोग करके स्टूडियो लॉन्च करें। चुनना पट्टिका, नया, तथा अंतिम, फिर इंटरनेट संसाधन तक पहुंचने का प्रयास करें। जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है, टर्मिनल संसाधन की प्रतीक्षा करता रहेगा और अंततः समय समाप्त हो जाएगा।

इससे साबित होता है कि स्टूडियो एक वीपीसी में काम कर रहा है जिसमें इंटरनेट की सुविधा नहीं है।

जम्पस्टार्ट का उपयोग करके जेनरेटिव एआई फाउंडेशन मॉडल फ़्लान टी5-एक्सएक्सएल को तैनात करें

हम इस मॉडल को स्टूडियो के साथ-साथ एपीआई के माध्यम से भी तैनात कर सकते हैं। जम्पस्टार्ट स्टूडियो के भीतर से सुलभ सेजमेकर नोटबुक के माध्यम से मॉडल को तैनात करने के लिए सभी कोड प्रदान करता है। इस पोस्ट के लिए, हम स्टूडियो से इस क्षमता का प्रदर्शन करते हैं।

• स्टूडियो स्वागत पृष्ठ पर, चुनें कूदना शुरू करो पूर्वनिर्मित और स्वचालित समाधान के अंतर्गत।

• नीचे फ़्लान-T5 XXL मॉडल चुनें फाउंडेशन मॉडल.

• डिफ़ॉल्ट रूप से, यह खुलता है तैनाती टैब. इसका विस्तार करें परिनियोजन विन्यास बदलने के लिए अनुभाग hosting instance और endpoint name, या कोई अतिरिक्त टैग जोड़ें। को बदलने का भी विकल्प मौजूद है S3 bucket location जहां समापन बिंदु बनाने के लिए मॉडल आर्टिफैक्ट संग्रहीत किया जाएगा। इस पोस्ट के लिए, हम सब कुछ उसके डिफ़ॉल्ट मानों पर छोड़ देते हैं। पूर्वानुमान लगाने के लिए समापन बिंदु का आह्वान करते समय उपयोग किए जाने वाले समापन बिंदु नाम को नोट कर लें।

• इसका विस्तार करें सुरक्षा सेटिंग्स अनुभाग, जहां आप निर्दिष्ट कर सकते हैं IAM role समापन बिंदु बनाने के लिए. आप यह भी निर्दिष्ट कर सकते हैं VPC configurations प्रदान करके subnets और security groups. सबनेट आईडी और सुरक्षा समूह आईडी एडब्ल्यूएस क्लाउडफॉर्मेशन कंसोल पर वीपीसी स्टैक के आउटपुट टैब से पाए जा सकते हैं। सेजमेकर जंपस्टार्ट को इस कॉन्फ़िगरेशन के हिस्से के रूप में कम से कम दो सबनेट की आवश्यकता होती है। सबनेट और सुरक्षा समूह मॉडल कंटेनर तक पहुंच को नियंत्रित करते हैं।

ध्यान दें: भले ही सेजमेकर जंपस्टार्ट मॉडल वीपीसी में तैनात है या नहीं, मॉडल हमेशा नेटवर्क आइसोलेशन मोड में चलता है, जो मॉडल कंटेनर को अलग करता है ताकि मॉडल कंटेनर से या उससे कोई इनबाउंड या आउटबाउंड नेटवर्क कॉल नहीं किया जा सके। क्योंकि हम एक वीपीसी का उपयोग कर रहे हैं, सेजमेकर हमारे निर्दिष्ट वीपीसी के माध्यम से मॉडल आर्टिफैक्ट डाउनलोड करता है। मॉडल कंटेनर को नेटवर्क आइसोलेशन में चलाने से आपके सेजमेकर एंडपॉइंट को अनुमान अनुरोधों का जवाब देने से नहीं रोका जा सकता है। एक सर्वर प्रक्रिया मॉडल कंटेनर के साथ चलती है और इसे अनुमान अनुरोधों को अग्रेषित करती है, लेकिन मॉडल कंटेनर में नेटवर्क पहुंच नहीं होती है।

• चुनें तैनाती मॉडल को तैनात करने के लिए. हम समापन बिंदु निर्माण की प्रगति की लगभग वास्तविक समय स्थिति देख सकते हैं। समापन बिंदु निर्माण को पूरा होने में 5-10 मिनट लग सकते हैं।

फ़ील्ड का मान देखें मॉडल डेटा स्थान इस पृष्ठ पर। सभी सेजमेकर जम्पस्टार्ट मॉडल सेजमेकर प्रबंधित S3 बकेट पर होस्ट किए गए हैं (s3://jumpstart-cache-prod-{region}). इसलिए, चाहे जम्पस्टार्ट से कोई भी मॉडल चुना गया हो, मॉडल सार्वजनिक रूप से सुलभ सेजमेकर जम्पस्टार्ट एस3 बकेट से तैनात किया जाता है और मॉडल डाउनलोड करने के लिए ट्रैफ़िक कभी भी सार्वजनिक मॉडल चिड़ियाघर एपीआई पर नहीं जाता है। यही कारण है कि मॉडल एंडपॉइंट का निर्माण तब भी सफलतापूर्वक शुरू हो गया, जब हम एक वीपीसी में एंडपॉइंट बना रहे थे, जिसमें सीधी इंटरनेट पहुंच नहीं थी।

मॉडल स्रोत स्थान को और अधिक नियंत्रित और सुरक्षित करने के लिए मॉडल आर्टिफैक्ट को किसी भी निजी मॉडल चिड़ियाघर या आपके स्वयं के S3 बाल्टी में भी कॉपी किया जा सकता है। आप स्थानीय रूप से मॉडल को डाउनलोड करने के लिए निम्न कमांड का उपयोग कर सकते हैं AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• कुछ मिनटों के बाद, समापन बिंदु सफलतापूर्वक बन जाता है और स्थिति इस प्रकार दिखाता है सेवा में। चुनना Open Notebook में Use Endpoint from Studio अनुभाग। यह एक नमूना नोटबुक है जो समापन बिंदु का त्वरित परीक्षण करने के लिए जम्पस्टार्ट अनुभव के हिस्से के रूप में प्रदान की गई है।

• नोटबुक में, छवि को इस रूप में चुनें डाटा साइंस 3.0 और कर्नेल के रूप में अजगर 3. जब कर्नेल तैयार हो जाता है, तो आप समापन बिंदु पर पूर्वानुमान लगाने के लिए नोटबुक सेल चला सकते हैं। ध्यान दें कि नोटबुक का उपयोग करता है invoke_endpoint() एपीआई से अजगर के लिए एडब्ल्यूएस एसडीके भविष्यवाणियाँ करने के लिए. वैकल्पिक रूप से, आप इसका उपयोग कर सकते हैं सेजमेकर पायथन एसडीके की भविष्यवाणी () समान परिणाम प्राप्त करने की विधि.

यह बिना इंटरनेट एक्सेस वाले वीपीसी के भीतर जंपस्टार्ट का उपयोग करके फ़्लान-टी5 एक्सएक्सएल मॉडल को तैनात करने के चरणों को समाप्त करता है।

सेजमेकर जम्पस्टार्ट मॉडल को वीपीसी मोड में तैनात करने के लाभ

वीपीसी मोड में सेजमेकर जम्पस्टार्ट मॉडल को तैनात करने के कुछ फायदे निम्नलिखित हैं:

• क्योंकि सेजमेकर जम्पस्टार्ट सार्वजनिक मॉडल चिड़ियाघर से मॉडल डाउनलोड नहीं करता है, इसका उपयोग पूरी तरह से लॉक-डाउन वातावरण में भी किया जा सकता है जहां इंटरनेट तक पहुंच नहीं है
• क्योंकि सेजमेकर जम्पस्टार्ट मॉडल के लिए नेटवर्क पहुंच को सीमित और सीमित किया जा सकता है, इससे टीमों को पर्यावरण की सुरक्षा स्थिति में सुधार करने में मदद मिलती है
• वीपीसी सीमाओं के कारण, समापन बिंदु तक पहुंच को सबनेट और सुरक्षा समूहों के माध्यम से भी सीमित किया जा सकता है, जो सुरक्षा की एक अतिरिक्त परत जोड़ता है

सेजमेकर जम्पस्टार्ट के माध्यम से फाउंडेशन मॉडल की तैनाती को अनुकूलित करने के वैकल्पिक तरीके

इस अनुभाग में, हम मॉडल को तैनात करने के कुछ वैकल्पिक तरीके साझा करते हैं।

अपनी पसंदीदा आईडीई से सेजमेकर जम्पस्टार्ट एपीआई का उपयोग करें

सेजमेकर जंपस्टार्ट द्वारा प्रदान किए गए मॉडल के लिए आपको स्टूडियो तक पहुंचने की आवश्यकता नहीं है। आप उन्हें किसी भी आईडीई से सेजमेकर एंडपॉइंट पर तैनात कर सकते हैं, इसके लिए धन्यवाद जम्पस्टार्ट एपीआई. आप इस पोस्ट में पहले चर्चा किए गए स्टूडियो सेटअप चरण को छोड़ सकते हैं और मॉडल को तैनात करने के लिए जम्पस्टार्ट एपीआई का उपयोग कर सकते हैं। ये एपीआई तर्क प्रदान करते हैं जहां वीपीसी कॉन्फ़िगरेशन भी प्रदान किए जा सकते हैं। एपीआई का हिस्सा हैं सेजमेकर पायथन एसडीके अपने आप। अधिक जानकारी के लिए देखें पूर्व प्रशिक्षित मॉडल.

सेजमेकर स्टूडियो से सेजमेकर जम्पस्टार्ट द्वारा प्रदान की गई नोटबुक का उपयोग करें

सेजमेकर जम्पस्टार्ट मॉडल को सीधे तैनात करने के लिए नोटबुक भी प्रदान करता है। मॉडल विवरण पृष्ठ पर, चुनें नोटबुक खोलें समापन बिंदु को तैनात करने के लिए कोड युक्त एक नमूना नोटबुक खोलने के लिए। नोटबुक का उपयोग करता है सेजमेकर जम्पस्टार्ट उद्योग एपीआई जो आपको मॉडलों को सूचीबद्ध करने और फ़िल्टर करने, कलाकृतियों को पुनः प्राप्त करने और अंतिम बिंदुओं को तैनात करने और क्वेरी करने की अनुमति देता है। आप अपने उपयोग के मामले-विशिष्ट आवश्यकताओं के अनुसार नोटबुक कोड को संपादित भी कर सकते हैं।

संसाधनों को साफ करें

चेक आउट क्लीनअप.एमडी इस पोस्ट के हिस्से के रूप में बनाए गए स्टूडियो, वीपीसी और अन्य संसाधनों को हटाने के लिए विस्तृत चरण खोजने के लिए फ़ाइल।

समस्या निवारण

यदि आपको क्लाउडफॉर्मेशन स्टैक बनाने में कोई समस्या आती है, तो देखें समस्या निवारण CloudFormation.

निष्कर्ष

बड़े भाषा मॉडल द्वारा संचालित जेनरेटिव एआई लोगों के जानकारी से अंतर्दृष्टि प्राप्त करने और लागू करने के तरीके को बदल रहा है। हालाँकि, अत्यधिक विनियमित स्थानों में काम करने वाले संगठनों को जेनरेटिव एआई क्षमताओं का उपयोग इस तरह से करना आवश्यक है जो उन्हें तेजी से नवाचार करने की अनुमति देता है लेकिन ऐसी क्षमताओं तक पहुंच पैटर्न को भी सरल बनाता है।

हम आपको अपने मौजूदा वातावरण में जेनेरिक एआई क्षमताओं को एम्बेड करने के लिए इस पोस्ट में दिए गए दृष्टिकोण को आज़माने के लिए प्रोत्साहित करते हैं, जबकि इसे बिना इंटरनेट एक्सेस के अपने वीपीसी के अंदर रखते हुए भी। सेजमेकर जम्पस्टार्ट फाउंडेशन मॉडल पर आगे पढ़ने के लिए, निम्नलिखित देखें:

---

लेखक के बारे में

विकेश पांडेय AWS में एक मशीन लर्निंग स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट है, जो वित्तीय उद्योगों के ग्राहकों को जेनरेटिव AI और ML पर समाधान डिजाइन और निर्माण करने में मदद करता है। काम के अलावा, विकेश को विभिन्न व्यंजन आज़माना और आउटडोर खेल खेलना पसंद है।

मेहरान नीकू AWS में एक वरिष्ठ समाधान वास्तुकार हैं, जो यूके में डिजिटल नेटिव व्यवसायों के साथ काम करते हैं और उन्हें उनके लक्ष्य हासिल करने में मदद करते हैं। अपने सॉफ्टवेयर इंजीनियरिंग अनुभव को मशीन लर्निंग में लागू करने के प्रति जुनूनी, वह एंड-टू-एंड मशीन लर्निंग और एमएलओपीएस प्रथाओं में माहिर हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/