AI21 Jurassic-1 फाउंडेशन मॉडल अब Amazon SageMaker पर उपलब्ध है

आज हमें यह घोषणा करते हुए खुशी हो रही है कि एआई21 जुरासिक-1 (जे1) फाउंडेशन मॉडल इस्तेमाल करने वाले ग्राहकों के लिए उपलब्ध हैं अमेज़न SageMaker. जुरासिक -1 मॉडल अत्यधिक बहुमुखी हैं, दोनों मानव-जैसी पाठ पीढ़ी के साथ-साथ जटिल कार्यों जैसे प्रश्न उत्तर, पाठ वर्गीकरण और कई अन्य को हल करने में सक्षम हैं। आप इस मॉडल को आसानी से आजमा सकते हैं और इसका इस्तेमाल कर सकते हैं अमेज़न SageMaker जम्पस्टार्ट. जम्पस्टार्ट, सेजमेकर का मशीन लर्निंग (एमएल) हब है जो बिल्ट-इन एल्गोरिदम और एंड-टू-एंड सॉल्यूशन टेम्प्लेट के अलावा फाउंडेशन मॉडल तक पहुंच प्रदान करता है ताकि आपको एमएल के साथ जल्दी से शुरुआत करने में मदद मिल सके।

इस पोस्ट में, हम सेजमेकर में जुरासिक-1 ग्रैंड मॉडल का उपयोग करने के तरीके के बारे में जानेंगे।

सैजमेकर में फाउंडेशन मॉडल

जम्पस्टार्ट हगिंग फेस, पायटॉर्च हब और टेन्सरफ्लो हब सहित लोकप्रिय मॉडल हब से मॉडल की एक श्रृंखला तक पहुँच प्रदान करता है, जिसका उपयोग आप SageMaker में अपने ML डेवलपमेंट वर्कफ़्लो में कर सकते हैं। एमएल में हालिया प्रगति ने मॉडल के एक नए वर्ग को जन्म दिया है जिसे जाना जाता है नींव मॉडल, जो आम तौर पर अरबों मापदंडों पर प्रशिक्षित होते हैं और उपयोग के मामलों की एक विस्तृत श्रेणी के अनुकूल होते हैं, जैसे कि पाठ सारांश, डिजिटल कला उत्पन्न करना और भाषा अनुवाद। क्योंकि ये मॉडल प्रशिक्षित करने के लिए महंगे हैं, ग्राहक इन मॉडलों को स्वयं प्रशिक्षित करने के बजाय मौजूदा पूर्व-प्रशिक्षित फाउंडेशन मॉडल का उपयोग करना चाहते हैं और आवश्यकतानुसार उन्हें ठीक करना चाहते हैं। SageMaker उन मॉडलों की एक क्यूरेटेड सूची प्रदान करता है जिन्हें आप SageMaker कंसोल से चुन सकते हैं।

अब आप जम्पस्टार्ट के भीतर विभिन्न मॉडल प्रदाताओं से नींव मॉडल पा सकते हैं, जिससे आप नींव मॉडल के साथ शीघ्रता से आरंभ कर सकते हैं। आप विभिन्न कार्यों या मॉडल प्रदाताओं के आधार पर नींव मॉडल पा सकते हैं, और आसानी से मॉडल की विशेषताओं और उपयोग की शर्तों की समीक्षा कर सकते हैं। आप परीक्षण UI विजेट का उपयोग करके भी इन मॉडलों को आज़मा सकते हैं। जब आप बड़े पैमाने पर एक नींव मॉडल का उपयोग करना चाहते हैं, तो आप मॉडल प्रदाताओं से पूर्व-निर्मित नोटबुक का उपयोग करके सैजमेकर को छोड़े बिना आसानी से कर सकते हैं। क्योंकि मॉडल को AWS पर होस्ट और तैनात किया जाता है, आप निश्चिंत हो सकते हैं कि आपका डेटा, चाहे वह मूल्यांकन के लिए उपयोग किया गया हो या बड़े पैमाने पर मॉडल का उपयोग किया गया हो, कभी भी तीसरे पक्ष के साथ साझा नहीं किया जाता है।

जुरासिक -1 फाउंडेशन मॉडल

जुरासिक-1 बड़ी भाषा मॉडल की श्रृंखला में पहली पीढ़ी है जिसे प्रशिक्षित किया गया है और इसके द्वारा व्यापक रूप से सुलभ बनाया गया है AI21 लैब्स. जुरासिक-1 के पूर्ण विवरण के लिए, बेंचमार्क और अन्य मॉडलों के साथ मात्रात्मक तुलना सहित, निम्नलिखित को देखें तकनीकी कागज. सभी J1 मॉडलों को अंग्रेजी पाठ के विशाल संग्रह पर प्रशिक्षित किया गया था, जिससे वे अत्यधिक बहुमुखी सामान्य प्रयोजन के पाठ-जनरेटर बन गए, जो मानव-समान पाठ की रचना करने और जटिल कार्यों जैसे प्रश्न उत्तर, पाठ वर्गीकरण और कई अन्य को हल करने में सक्षम थे। J1 को वस्तुतः किसी भी भाषा के कार्य के लिए लागू किया जा सकता है, जिसमें कार्य का विवरण और कुछ उदाहरण शामिल होते हैं, जिसे आमतौर पर एक प्रक्रिया के रूप में जाना जाता है। शीघ्र इंजीनियरिंग. लोकप्रिय उपयोग के मामलों में मार्केटिंग कॉपी बनाना, चैटबॉट को सशक्त बनाना और रचनात्मक लेखन में सहायता करना शामिल है।

"हम पाठ के लिए विश्व स्तरीय नींव मॉडल बना रहे हैं और अपने ग्राहकों को नवीनतम जुरासिक -1 मॉडल के साथ नवाचार करने में मदद करना चाहते हैं। अमेज़ॅन सैजमेकर एमएल सेवाओं का सबसे गहरा और व्यापक सेट प्रदान करता है, और हम अमेज़ॅन सैजमेकर के साथ सहयोग करने के लिए उत्साहित हैं ताकि ग्राहक अपने विकास के माहौल में सैजमेकर पर इन नींव मॉडल का उपयोग कर सकें। अब ग्राहक अपने व्यवसायों में तेजी से नवाचार कर सकते हैं, समय-से-मूल्य कम कर सकते हैं और दक्षता बढ़ा सकते हैं।

-ओरी गोशेन, AI21 लैब्स के सह-सीईओ।

Walkthrough

SageMaker में J1-Grande मॉडल का परीक्षण करने के लिए आइए आपको सैर पर ले चलते हैं। आप अनुभव को तीन सरल चरणों में आज़मा सकते हैं:

1. सेजमेकर कंसोल पर जुरासिक-1 मॉडल चुनें।
2. परीक्षण विजेट का उपयोग करके मॉडल का मूल्यांकन करें।
3. इसे अपने परिवेश में परिनियोजित करने के लिए नींव मॉडल से संबद्ध नोटबुक का उपयोग करें.

आइए प्रत्येक चरण का विस्तार से विस्तार करें।

सेजमेकर कंसोल पर जुरासिक-1 मॉडल चुनें

लॉगिन करने के लिए पहला कदम है एडब्ल्यूएस प्रबंधन कंसोल अमेज़ॅन सैजमेकर के लिए और फाउंडेशन मॉडल श्रेणी के तहत फाउंडेशन मॉडल की सूची तक पहुंच का अनुरोध करें कूदना शुरू करो यहाँ:

आपके खाते की अनुमति सूचीबद्ध होने के बाद, आप इस पृष्ठ पर मॉडलों की एक सूची देख सकते हैं। आप उसी दृश्य से जुरासिक -1 ग्रांडे मॉडल को जल्दी से खोज सकते हैं।

परीक्षण विजेट के साथ जुरासिक-1 ग्रांडे मॉडल का मूल्यांकन करें

Jurassic-1 Grande सूची में, चुनें मॉडल देखें. आपको मॉडल और आपके द्वारा किए जा सकने वाले कार्यों का विवरण दिखाई देगा। आगे बढ़ने से पहले मॉडल के लिए EULA को पढ़ें।

आइए पहले पाठ सारांशीकरण के मॉडल को देखें। चुनना मॉडल ट्राई करें.

आपको एक अलग ब्राउज़र टैब में पृष्ठ पर ले जाया जाता है जहाँ आप J1-Grande मॉडल को नमूना संकेत दे सकते हैं और आउटपुट देख सकते हैं।

निम्नलिखित उदाहरण समीक्षाओं के आधार पर एक रेस्तरां के बारे में सारांश तैयार करता है।

ध्यान दें कि नींव मॉडल और उनके आउटपुट मॉडल प्रदाता से हैं, और एडब्ल्यूएस उसमें सामग्री या सटीकता के लिए ज़िम्मेदार नहीं है।

सेटिंग्स और प्रॉम्प्ट के आधार पर मॉडल आउटपुट भिन्न हो सकता है। आप सरल निर्देशों का उपयोग करके मॉडल से पाठ उत्पन्न कर सकते हैं, लेकिन मॉडल को संकेत में अधिक उदाहरण प्रदान करके, जैसा कि एक मानव करेगा, यह आपके इरादों के साथ अधिक संरेखित पूर्णता उत्पन्न कर सकता है। मॉडल को निर्देशित करने का सबसे अच्छा तरीका प्रॉम्प्ट में इनपुट/आउटपुट जोड़े के कई उदाहरण प्रदान करना है। यह मॉडल की नकल करने के लिए एक पैटर्न स्थापित करता है। फिर क्वेरी उदाहरण के लिए इनपुट जोड़ें और मॉडल को उचित पीढ़ी के साथ इसे पूरा करने दें।

आपके द्वारा मॉडल के साथ खेलने के बाद, नोटबुक का उपयोग करने और इसे अपने परिवेश में समापन बिंदु के रूप में तैनात करने का समय आ गया है।

एक नोटबुक से नींव मॉडल परिनियोजित करें

पहले दिखाई गई मॉडल सूची पर वापस जाएं और चुनें नोटबुक देखें. मॉडल को तैनात करने के लिए आपको पूर्वाभ्यास के साथ जुरासिक -1 ग्रांड ज्यूपिटर नोटबुक देखना चाहिए।

आइए इस नोटबुक का उपयोग करें अमेज़ॅन सैजमेकर स्टूडियो. स्टूडियो खोलें और Git रेपो URL का उपयोग करके नोटबुक में खींचें https://github.com/AI21Labs/SageMaker.git.

नोटबुक उदाहरण एंडपॉइंट के साथ परिनियोजन और सहभागिता करने के लिए Boto3 SDK और AI21 SDK दोनों का उपयोग करता है।

ध्यान दें कि यह उदाहरण ml.g5.12xlarge उदाहरण का उपयोग करता है। यदि आपके AWS खाते के लिए आपकी डिफ़ॉल्ट सीमा 0 है, तो आपको इस GPU उदाहरण के लिए सीमा बढ़ाने का अनुरोध करना होगा।

SageMaker के अनुमान का उपयोग करके समापन बिंदु बनाते हैं। पहले हम आवश्यक चर सेट करते हैं, फिर हम मॉडल पैकेज से मॉडल को परिनियोजित करते हैं:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

समापन बिंदु तैनात होने के बाद, आप मॉडल के विरुद्ध अनुमान प्रश्न चला सकते हैं।

आप Jurassic-1 Grande को एक स्मार्ट ऑटो-पूर्ण एल्गोरिद्म के रूप में सोच सकते हैं: यह सादे अंग्रेजी में व्यक्त किए गए संकेतों और पैटर्न को पकड़ने और समान पैटर्न का अनुसरण करने वाले टेक्स्ट को जनरेट करने में बहुत अच्छा है। मॉडल के परिनियोजित होने के बाद, आप निम्न कोड स्निपेट का उपयोग करके परिनियोजित समापन बिंदु के साथ इंटरैक्ट कर सकते हैं:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

नोटबुक में एक पूर्वाभ्यास भी शामिल है कि आप AI21 SDK के साथ अनुमान क्वेरी कैसे चला सकते हैं।

निम्न वीडियो वर्कफ़्लो के माध्यम से चलता है।

क्लीन अप

समापन बिंदु का परीक्षण करने के बाद, सुनिश्चित करें कि आपने SageMaker निष्कर्ष समापन बिंदु को हटा दिया है और शुल्क लगाने से बचने के लिए मॉडल को हटा दिया है।

निष्कर्ष

इस पोस्ट में, हमने आपको दिखाया कि कैसे आप Amazon SageMaker का उपयोग करके AI21 के Jurassic Grande मॉडल का परीक्षण और उपयोग कर सकते हैं। पहुँचने का अनुरोध करें, फाउंडेशन मॉडल का प्रयास करें SageMaker में आज और हमें अपनी प्रतिक्रिया से अवगत कराएँ!

लेखक के बारे में

कार्तिक भारती उत्पाद प्रबंधन, उत्पाद रणनीति, निष्पादन और लॉन्च अनुभव के एक दशक से अधिक के साथ अमेज़न सैजमेकर टीम के लिए उत्पाद नेता है।

तोमर असीदा AI21 लैब्स में एक एल्गो टीम लीड है। एक एल्गो टीम लीड के रूप में, तोमर जुरासिक-21 मॉडल और संबद्ध एपीआई सहित हमारे डेवलपर प्लेटफॉर्म एआई1 स्टूडियो के एल्गोरिद्म विकास प्रयासों का नेतृत्व करते हैं।