बिल्डिंग फाउंडेशन मॉडल (एफएम) के लिए विशाल मात्रा में डेटा पर दसियों से सैकड़ों अरब मापदंडों के साथ मॉडल को प्रशिक्षित करने के लिए बड़े समूहों के निर्माण, रखरखाव और अनुकूलन की आवश्यकता होती है। एक लचीला वातावरण बनाना जो मॉडल प्रशिक्षण प्रगति के दिनों या हफ्तों को बर्बाद किए बिना विफलताओं और पर्यावरणीय परिवर्तनों को संभाल सकता है, एक परिचालन चुनौती है जिसके लिए आपको क्लस्टर स्केलिंग, सक्रिय स्वास्थ्य निगरानी, नौकरी चेकपॉइंटिंग और स्वचालित रूप से प्रशिक्षण फिर से शुरू करने की क्षमताओं को लागू करने की आवश्यकता होती है, विफलता या समस्याएं उत्पन्न होनी चाहिए .
हम इसे साझा करने के लिए उत्साहित हैं अमेज़ॅन सेजमेकर हाइपरपॉड अब आम तौर पर बड़े पैमाने पर प्रशिक्षण समूहों के संचालन में शामिल अविभाज्य भारी भारोत्तोलन को समाप्त करते हुए अत्यधिक लचीला प्रशिक्षण वातावरण प्रदान करके 40% तक की तेजी से हजारों त्वरक के साथ प्रशिक्षण फाउंडेशन मॉडल को सक्षम करने के लिए उपलब्ध है। सेजमेकर हाइपरपॉड के साथ, मशीन लर्निंग (एमएल) व्यवसायी बिना किसी व्यवधान के और हार्डवेयर विफलता के मुद्दों से निपटने के बिना हफ्तों और महीनों तक एफएम को प्रशिक्षित कर सकते हैं।
स्टेबिलिटी एआई जैसे ग्राहक स्टेबल डिफ्यूजन सहित अपने फाउंडेशन मॉडल को प्रशिक्षित करने के लिए सेजमेकर हाइपरपॉड का उपयोग करते हैं।
“अग्रणी ओपन सोर्स जेनरेटिव एआई कंपनी के रूप में, हमारा लक्ष्य आधुनिक एआई की पहुंच को अधिकतम करना है। हम दसियों अरब मापदंडों के साथ फाउंडेशन मॉडल का निर्माण कर रहे हैं, जिसके लिए प्रशिक्षण प्रदर्शन को बेहतर ढंग से बढ़ाने के लिए बुनियादी ढांचे की आवश्यकता होती है। सेजमेकर हाइपरपॉड के प्रबंधित बुनियादी ढांचे और अनुकूलन पुस्तकालयों के साथ, हम प्रशिक्षण समय और लागत को 50% से अधिक कम कर सकते हैं। यह अत्याधुनिक मॉडलों को तेजी से बनाने के लिए हमारे मॉडल प्रशिक्षण को अधिक लचीला और प्रदर्शनशील बनाता है।
- इमाद मोस्ताक, स्टेबिलिटी एआई के संस्थापक और सीईओ।
एफएम विकसित करने के पूरे चक्र को हार्डवेयर विफलताओं के प्रति लचीला बनाने के लिए, सेजमेकर हाइपरपॉड आपको क्लस्टर बनाने, क्लस्टर स्वास्थ्य की निगरानी करने, तुरंत दोषपूर्ण नोड्स की मरम्मत और बदलने, बार-बार होने वाली चौकियों को बचाने और प्रगति खोए बिना स्वचालित रूप से प्रशिक्षण फिर से शुरू करने में मदद करता है। इसके अलावा, सेजमेकर हाइपरपॉड के साथ पूर्व-कॉन्फ़िगर किया गया है अमेज़न SageMaker सहित वितरित प्रशिक्षण पुस्तकालय सेजमेकर डेटा पैरेललिज्म लाइब्रेरी (एसएमडीडीपी) और सेजमेकर मॉडल समांतरता लाइब्रेरी (एसएमपी), क्लस्टर की गणना और नेटवर्क बुनियादी ढांचे का पूरी तरह से उपयोग करते हुए, प्रशिक्षण डेटा और मॉडलों को छोटे हिस्सों में विभाजित करना और उन्हें क्लस्टर नोड्स में समानांतर में संसाधित करना आसान बनाकर एफएम प्रशिक्षण प्रदर्शन में सुधार करना। सेजमेकर हाइपरपॉड क्लस्टर और प्रशिक्षण कार्य ऑर्केस्ट्रेशन के लिए स्लम वर्कलोड मैनेजर को एकीकृत करता है।
स्लम वर्कलोड मैनेजर सिंहावलोकन
स्लम, जिसे पहले संसाधन प्रबंधन के लिए सरल लिनक्स उपयोगिता के रूप में जाना जाता था, वितरित कंप्यूटिंग क्लस्टर पर कार्य चलाने के लिए एक कार्य अनुसूचक है। यह का उपयोग करके समानांतर कार्य चलाने के लिए एक रूपरेखा भी प्रदान करता है एनवीडिया कलेक्टिव कम्युनिकेशंस लाइब्रेरी (एनसीसीएल) or संदेश पासिंग इंटरफ़ेस (एमपीआई) मानक. स्लम एक लोकप्रिय ओपन सोर्स क्लस्टर संसाधन प्रबंधन प्रणाली है जिसका उपयोग उच्च प्रदर्शन कंप्यूटिंग (एचपीसी) और जेनरेटिव एआई और एफएम प्रशिक्षण वर्कलोड द्वारा व्यापक रूप से किया जाता है। सेजमेकर हाइपरपॉड कुछ ही मिनटों में स्लम क्लस्टर के साथ उठने और चलने का एक सीधा तरीका प्रदान करता है।
निम्नलिखित एक उच्च-स्तरीय वास्तुशिल्प आरेख है कि उपयोगकर्ता सेजमेकर हाइपरपॉड के साथ कैसे इंटरैक्ट करते हैं और विभिन्न क्लस्टर घटक एक-दूसरे और अन्य एडब्ल्यूएस सेवाओं के साथ कैसे इंटरैक्ट करते हैं, जैसे कि चमक के लिए अमेज़न FSx और अमेज़न सरल भंडारण सेवा (अमेज़न S3)।
स्लम जॉब्स को कमांड लाइन पर कमांड द्वारा सबमिट किया जाता है। स्लम जॉब्स को चलाने के लिए कमांड हैं srun
और sbatch
। srun
कमांड प्रशिक्षण कार्य को इंटरैक्टिव और ब्लॉकिंग मोड में चलाता है, और sbatch
बैच प्रोसेसिंग और नॉन-ब्लॉकिंग मोड में चलता है। srun
जबकि इसका उपयोग ज्यादातर तत्काल कार्य चलाने के लिए किया जाता है sbatch
बाद के कार्यों के लिए उपयोग किया जा सकता है।
अतिरिक्त स्लम कमांड और कॉन्फ़िगरेशन के बारे में जानकारी के लिए, देखें स्लम वर्कलोड प्रबंधक दस्तावेज़ीकरण.
ऑटो-रेज़्यूमे और उपचार क्षमताएं
सेजमेकर हाइपरपॉड की नई सुविधाओं में से एक आपकी नौकरियों पर ऑटो-रेज़्यूमे की क्षमता है। पहले, जब प्रशिक्षण या फाइन-ट्यूनिंग जॉब रन के दौरान कोई वर्कर नोड विफल हो जाता था, तो जॉब की स्थिति की जांच करना, नवीनतम चेकपॉइंट से जॉब को पुनरारंभ करना और पूरे रन के दौरान जॉब की निगरानी करना जारी रखना उपयोगकर्ता पर निर्भर था। प्रशिक्षण नौकरियों या फाइन-ट्यूनिंग नौकरियों को एक समय में दिनों, हफ्तों या यहां तक कि महीनों तक चलाने की आवश्यकता होती है, यह उपयोगकर्ता के अतिरिक्त प्रशासनिक ओवरहेड के कारण महंगा हो जाता है, जिसे उस स्थिति में नौकरी की निगरानी और रखरखाव के लिए चक्र खर्च करने की आवश्यकता होती है। नोड क्रैश, साथ ही महंगे त्वरित गणना उदाहरणों के निष्क्रिय समय की लागत।
सेजमेकर हाइपरपॉड स्वचालित स्वास्थ्य जांच, नोड प्रतिस्थापन और जॉब रिकवरी का उपयोग करके नौकरी लचीलेपन को संबोधित करता है। सेजमेकर हाइपरपॉड में स्लम नौकरियों की निगरानी सेजमेकर कस्टम स्लम प्लगइन का उपयोग करके की जाती है स्पैंक ढांचा. जब कोई प्रशिक्षण कार्य विफल हो जाता है, तो सेजमेकर हाइपरपॉड स्वास्थ्य जांच के एक सेट के माध्यम से क्लस्टर स्वास्थ्य का निरीक्षण करेगा। यदि क्लस्टर में कोई दोषपूर्ण नोड पाया जाता है, तो सेजमेकर हाइपरपॉड स्वचालित रूप से क्लस्टर से नोड को हटा देगा, इसे एक स्वस्थ नोड से बदल देगा, और प्रशिक्षण कार्य को फिर से शुरू करेगा। प्रशिक्षण कार्यों में चेकपॉइंटिंग का उपयोग करते समय, कोई भी बाधित या विफल कार्य नवीनतम चेकपॉइंट से फिर से शुरू हो सकता है।
समाधान अवलोकन
अपने सेजमेकर हाइपरपॉड को तैनात करने के लिए, आप सबसे पहले अपना कॉन्फिगर करके अपना वातावरण तैयार करें अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी) नेटवर्क और सुरक्षा समूह, आपके वीपीसी में लस्टर के लिए एफएसएक्स जैसी सहायक सेवाएं तैनात कर रहे हैं, और आपकी स्लम जीवनचक्र स्क्रिप्ट को एस3 बकेट में प्रकाशित कर रहे हैं। फिर आप अपने सेजमेकर हाइपरपॉड को तैनात और कॉन्फ़िगर करें और अपने प्रशिक्षण कार्य शुरू करने के लिए हेड नोड से कनेक्ट करें।
.. पूर्वापेक्षाएँ
अपना सेजमेकर हाइपरपॉड बनाने से पहले, आपको सबसे पहले अपने वीपीसी को कॉन्फ़िगर करना होगा, लस्टर फ़ाइल सिस्टम के लिए एक एफएसएक्स बनाना होगा, और अपनी वांछित क्लस्टर जीवनचक्र स्क्रिप्ट के साथ एक एस3 बकेट स्थापित करना होगा। आपको इसका नवीनतम संस्करण भी चाहिए AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) और सीएलआई प्लगइन स्थापित किया गया है AWS सत्र प्रबंधक, की क्षमता एडब्ल्यूएस सिस्टम मैनेजर.
सेजमेकर हाइपरपॉड आपके वीपीसी के साथ पूरी तरह से एकीकृत है। नई वीपीसी बनाने के बारे में जानकारी के लिए देखें एक डिफ़ॉल्ट VPC बनाएँ or वीपीसी बनाएं. संसाधनों के बीच उच्चतम प्रदर्शन के साथ एक निर्बाध कनेक्शन की अनुमति देने के लिए, आपको अपने सभी संसाधनों को एक ही क्षेत्र और उपलब्धता क्षेत्र में बनाना चाहिए, साथ ही यह सुनिश्चित करना चाहिए कि संबंधित सुरक्षा समूह नियम क्लस्टर संसाधनों के बीच कनेक्शन की अनुमति दें।
अब आप लस्टर फ़ाइल सिस्टम के लिए एक FSx बनाएं. यह हमारे पूरे मॉडल प्रशिक्षण में उपयोग के लिए उच्च-प्रदर्शन फ़ाइल सिस्टम के रूप में काम करेगा। सुनिश्चित करें कि लस्टर और क्लस्टर सुरक्षा समूहों के लिए एफएसएक्स क्लस्टर संसाधनों और लस्टर फ़ाइल सिस्टम के लिए एफएसएक्स के बीच इनबाउंड और आउटबाउंड संचार की अनुमति देता है।
अपनी क्लस्टर जीवनचक्र स्क्रिप्ट को सेट करने के लिए, जो नए क्लस्टर उदाहरण जैसी घटनाओं के घटित होने पर चलती हैं, आप एक S3 बकेट बनाते हैं और फिर डिफ़ॉल्ट जीवनचक्र स्क्रिप्ट को कॉपी और वैकल्पिक रूप से अनुकूलित करते हैं। इस उदाहरण के लिए, हम सभी जीवनचक्र स्क्रिप्ट को एक बकेट उपसर्ग में संग्रहीत करते हैं lifecycle-scripts
.
सबसे पहले, आप यहां से नमूना जीवनचक्र स्क्रिप्ट डाउनलोड करें गीथहब रेपो. आपको इन्हें अपने इच्छित क्लस्टर व्यवहार के अनुरूप अनुकूलित करना चाहिए।
इसके बाद, अनुकूलित जीवनचक्र स्क्रिप्ट को संग्रहीत करने के लिए एक S3 बकेट बनाएं।
इसके बाद, अपनी स्थानीय निर्देशिका से डिफ़ॉल्ट जीवनचक्र स्क्रिप्ट को अपनी इच्छित बकेट और उपसर्ग का उपयोग करके कॉपी करें aws s3 sync
:
अंत में, क्लस्टर के हेड नोड से सरलीकृत कनेक्शन के लिए क्लाइंट को सेट अप करना होगा AWS CLI इंस्टॉल या अपडेट करें और स्थापित करें एडब्ल्यूएस सत्र प्रबंधक सीएलआई प्लगइन क्लस्टर को प्रशासित करने और प्रशिक्षण कार्य चलाने के लिए इंटरैक्टिव टर्मिनल कनेक्शन की अनुमति देना।
आप उपलब्ध ऑन-डिमांड संसाधनों के साथ या सेजमेकर के साथ क्षमता आरक्षण का अनुरोध करके एक सेजमेकर हाइपरपॉड क्लस्टर बना सकते हैं। क्षमता आरक्षण बनाने के लिए, आप सेवा कोटा डैशबोर्ड पर विशिष्ट गणना उदाहरण प्रकारों और क्षमता आवंटन को आरक्षित करने के लिए कोटा वृद्धि अनुरोध बनाते हैं।
अपना प्रशिक्षण क्लस्टर स्थापित करें
अपना सेजमेकर हाइपरपॉड क्लस्टर बनाने के लिए, निम्नलिखित चरणों को पूरा करें:
- SageMaker कंसोल पर, चुनें क्लस्टर प्रबंधन के अंतर्गत हाइपरपॉड क्लस्टर नेविगेशन फलक में
- चुनें एक क्लस्टर बनाएं.
- क्लस्टर संसाधनों पर लागू करने के लिए क्लस्टर नाम और वैकल्पिक रूप से कोई भी टैग प्रदान करें, फिर चुनें अगला.
- चुनते हैं उदाहरण समूह बनाएँ और इंस्टेंस समूह का नाम, आवश्यक इंस्टेंस प्रकार, वांछित इंस्टेंस की मात्रा और S3 बकेट और उपसर्ग पथ निर्दिष्ट करें जहां आपने पहले अपने क्लस्टर जीवनचक्र स्क्रिप्ट की प्रतिलिपि बनाई थी।
क्लस्टर को प्रशासित करने और नौकरियां सबमिट करने के लिए उपयोग किए जाने वाले नियंत्रक नोड्स और त्वरित गणना उदाहरणों का उपयोग करके प्रशिक्षण कार्य चलाने के लिए उपयोग किए जाने वाले कार्यकर्ता नोड्स के लिए अलग-अलग उदाहरण समूह रखने की अनुशंसा की जाती है। आप वैकल्पिक रूप से लॉगिन नोड्स के लिए एक अतिरिक्त इंस्टेंस समूह कॉन्फ़िगर कर सकते हैं।
- आप सबसे पहले कंट्रोलर इंस्टेंस ग्रुप बनाएं, जिसमें क्लस्टर हेड नोड शामिल होगा।
- इस उदाहरण के लिए समूह AWS पहचान और अभिगम प्रबंधन (IAM) भूमिका, चुनें एक नई भूमिका बनाएँ और किसी भी S3 बकेट को निर्दिष्ट करें जिसे आप इंस्टेंस समूह में क्लस्टर इंस्टेंस तक पहुंच प्राप्त करना चाहते हैं।
जेनरेट की गई भूमिका को डिफ़ॉल्ट रूप से निर्दिष्ट बकेट तक केवल पढ़ने के लिए पहुंच प्रदान की जाएगी।
- चुनें भूमिका बनाएं.
- ऑन-क्रिएट स्क्रिप्ट प्रॉम्प्ट में प्रत्येक इंस्टेंस निर्माण पर चलने के लिए स्क्रिप्ट नाम दर्ज करें। इस उदाहरण में, ऑन-क्रिएट स्क्रिप्ट को कहा जाता है
on_create.sh
. - चुनें सहेजें.
- चुनें उदाहरण समूह बनाएँ अपना वर्कर इंस्टेंस ग्रुप बनाने के लिए।
- उदाहरण के प्रकार और वांछित मात्रा सहित सभी अनुरोधित विवरण प्रदान करें।
यह उदाहरण हमारे प्रशिक्षण कार्य को करने के लिए चार ml.trn1.32xl त्वरित उदाहरणों का उपयोग करता है। आप पहले की तरह ही IAM भूमिका का उपयोग कर सकते हैं या कार्यकर्ता उदाहरणों के लिए भूमिका को अनुकूलित कर सकते हैं। इसी प्रकार, आप इस वर्कर इंस्टेंस समूह के लिए पिछले इंस्टेंस समूह की तुलना में भिन्न ऑन-क्रिएट जीवनचक्र स्क्रिप्ट का उपयोग कर सकते हैं।
- चुनें अगला आगे बढ़ने के लिए।
- अपने क्लस्टर इंस्टेंस के लिए वांछित वीपीसी, सबनेट और सुरक्षा समूह चुनें।
हम कम विलंबता सुनिश्चित करने के लिए क्लस्टर इंस्टेंस को एकल उपलब्धता क्षेत्र और सबनेट में होस्ट करते हैं।
ध्यान दें कि यदि आप बार-बार S3 डेटा एक्सेस कर रहे हैं, तो किसी भी संभावित डेटा ट्रांसफर लागत को कम करने के लिए एक VPC एंडपॉइंट बनाने की अनुशंसा की जाती है जो निजी सबनेट की रूटिंग टेबल से जुड़ा हो।
- चुनें अगला.
- क्लस्टर विवरण सारांश की समीक्षा करें, फिर चुनें सब्मिट.
वैकल्पिक रूप से, AWS CLI का उपयोग करके अपना सेजमेकर हाइपरपॉड बनाने के लिए, पहले क्लस्टर बनाने के लिए उपयोग किए गए JSON पैरामीटर को कस्टमाइज़ करें:
फिर दिए गए इनपुट का उपयोग करके क्लस्टर बनाने के लिए निम्न कमांड का उपयोग करें:
लामा 2 के साथ अपना पहला प्रशिक्षण कार्य चलाएँ
ध्यान दें कि लामा 2 मॉडल का उपयोग मेटा लाइसेंस द्वारा नियंत्रित होता है। मॉडल वज़न और टोकनाइज़र डाउनलोड करने के लिए, पर जाएँ वेबसाइट और पहुंच का अनुरोध करने से पहले लाइसेंस स्वीकार करें मेटा की हगिंग फेस वेबसाइट.
क्लस्टर चलने के बाद, क्लस्टर आईडी, इंस्टेंस ग्रुप नाम और इंस्टेंस आईडी का उपयोग करके सत्र प्रबंधक के साथ लॉगिन करें। अपने क्लस्टर विवरण देखने के लिए निम्न आदेश का उपयोग करें:
प्रतिक्रिया में क्लस्टर एआरएन के भीतर शामिल क्लस्टर आईडी को नोट करें।
क्लस्टर में लॉगिन करने के लिए आवश्यक इंस्टेंस समूह नाम और इंस्टेंस आईडी को पुनः प्राप्त करने के लिए निम्नलिखित कमांड का उपयोग करें।
नोट कर लें InstanceGroupName
और InstanceId
प्रतिक्रिया में, इनका उपयोग सत्र प्रबंधक के साथ इंस्टेंस से कनेक्ट करने के लिए किया जाएगा।
अब आप हेड नोड, या किसी एक लॉगिन नोड में लॉग इन करने और अपना प्रशिक्षण कार्य चलाने के लिए सत्र प्रबंधक का उपयोग करते हैं:
इसके बाद, हम पर्यावरण तैयार करने जा रहे हैं और लामा 2 और रेडपाजामा डेटासेट डाउनलोड करेंगे। पूर्ण कोड और इसके चरण-दर-चरण पूर्वाभ्यास के लिए, दिए गए निर्देशों का पालन करें AWकुछ वितरित प्रशिक्षण गिटहब रेपो।
में विस्तृत चरणों का पालन करें 2.test_cases/8.neuronx-nemo-megatron/README.md
फ़ाइल। वातावरण तैयार करने, मॉडल तैयार करने, डेटासेट डाउनलोड और टोकनाइज़ करने और मॉडल को पूर्व-संकलित करने के चरणों का पालन करने के बाद, आपको इसे संपादित करना चाहिए 6.pretrain-model.sh
स्क्रिप्ट और sbatch
जॉब सबमिशन कमांड में एक पैरामीटर शामिल करना होगा जो आपको सेजमेकर हाइपरपॉड की ऑटो-रेज़्यूमे सुविधा का लाभ उठाने की अनुमति देगा।
संपादित करें sbatch
निम्नलिखित की तरह दिखने वाली पंक्ति:
जॉब सबमिट करने के बाद आपको एक मिलेगा JobID
जिसका उपयोग आप निम्नलिखित कोड का उपयोग करके नौकरी की स्थिति की जांच करने के लिए कर सकते हैं:
इसके अतिरिक्त, आप निम्न कोड का उपयोग करके जॉब आउटपुट लॉग का अनुसरण करके कार्य की निगरानी कर सकते हैं:
क्लीन अप
अपने सेजमेकर हाइपरपॉड क्लस्टर को हटाने के लिए, या तो सेजमेकर कंसोल या निम्नलिखित AWS CLI कमांड का उपयोग करें:
निष्कर्ष
इस पोस्ट ने आपको दिखाया कि अपना AWS वातावरण कैसे तैयार करें, अपना पहला सेजमेकर हाइपरपॉड क्लस्टर कैसे तैनात करें और 7-बिलियन पैरामीटर लामा 2 मॉडल को प्रशिक्षित करें। सेजमेकर हाइपरपॉड आज आम तौर पर अमेरिका (उत्तर वर्जीनिया, ओहियो और ओरेगन), एशिया प्रशांत (सिंगापुर, सिडनी और टोक्यो) और यूरोप (फ्रैंकफर्ट, आयरलैंड और स्टॉकहोम) क्षेत्रों में उपलब्ध है। उन्हें SageMaker कंसोल, AWS CLI और AWS SDKs के माध्यम से तैनात किया जा सकता है, और वे p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5 और t3 इंस्टेंस परिवारों का समर्थन करते हैं।
सेजमेकर हाइपरपॉड के बारे में अधिक जानने के लिए, यहां जाएं अमेज़ॅन सेजमेकर हाइपरपॉड.
लेखक के बारे में
ब्रैड डोरान अमेज़ॅन वेब सर्विसेज में एक वरिष्ठ तकनीकी खाता प्रबंधक हैं, जो जेनरेटिव एआई पर केंद्रित है। वह डिजिटल नेटिव बिजनेस मार्केट सेगमेंट में जेनेरिक एआई ग्राहकों के लिए इंजीनियरिंग चुनौतियों को हल करने के लिए जिम्मेदार हैं। वह बुनियादी ढांचे और सॉफ्टवेयर विकास पृष्ठभूमि से आते हैं और वर्तमान में कृत्रिम बुद्धिमत्ता और मशीन लर्निंग में डॉक्टरेट अध्ययन और अनुसंधान कर रहे हैं।
कीता वतनबे अमेज़ॅन वेब सर्विसेज में एक वरिष्ठ जेनएआई स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं, जहां वह स्लम और कुबेरनेट्स जैसे ओएसएस परियोजनाओं का उपयोग करके मशीन लर्निंग समाधान विकसित करने में मदद करते हैं। उनकी पृष्ठभूमि मशीन लर्निंग अनुसंधान और विकास में है। AWS में शामिल होने से पहले, कीटा ने ईकॉमर्स उद्योग में उत्पाद खोज के लिए छवि पुनर्प्राप्ति प्रणाली विकसित करने वाले एक शोध वैज्ञानिक के रूप में काम किया था। कीता ने टोक्यो विश्वविद्यालय से विज्ञान में पीएचडी की उपाधि प्राप्त की है।
जस्टिन पर्टले अमेज़न वेब सर्विसेज में प्रिंसिपल सॉल्यूशंस आर्किटेक्ट हैं। वह नियमित रूप से जेनरेटिव एआई ग्राहकों को उनके बुनियादी ढांचे को डिजाइन करने, तैनात करने और स्केलिंग करने की सलाह देते हैं। वह AWS सम्मेलनों में नियमित वक्ता हैं, जिनमें री:इन्वेंट के साथ-साथ अन्य AWS कार्यक्रम भी शामिल हैं। जस्टिन के पास ऑस्टिन में टेक्सास विश्वविद्यालय से प्रबंधन सूचना प्रणाली में स्नातक की डिग्री और सिएटल विश्वविद्यालय से सॉफ्टवेयर इंजीनियरिंग में मास्टर डिग्री है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :है
- :कहाँ
- $यूपी
- 1
- 100
- 12
- 14
- 24
- 7
- a
- क्षमता
- About
- त्वरित
- त्वरक
- स्वीकार करें
- पहुँच
- एक्सेसिबिलिटी
- तक पहुँचने
- लेखा
- के पार
- इसके अलावा
- अतिरिक्त
- पतों
- प्रशासन के
- प्रशासनिक
- लाभ
- बाद
- AI
- सब
- आवंटन
- अनुमति देना
- की अनुमति देता है
- भी
- वीरांगना
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- अमेरिका की
- राशियाँ
- an
- और
- कोई
- लागू करें
- वास्तु
- हैं
- उठता
- कृत्रिम
- कृत्रिम बुद्धिमत्ता
- आर्टिफिशियल इंटेलिजेंस एंड मशीन लर्निंग
- AS
- एशिया
- एशिया प्रशांत
- जुड़े
- At
- ऑस्टिन
- स्वचालित
- स्वतः
- उपलब्धता
- उपलब्ध
- एडब्ल्यूएस
- पृष्ठभूमि
- BE
- हो जाता है
- से पहले
- व्यवहार
- के बीच
- अरबों
- ब्लॉकिंग
- निर्माण
- इमारत
- व्यापार
- by
- बुलाया
- कर सकते हैं
- क्षमताओं
- क्षमता
- क्षमता
- मुख्य कार्यपालक अधिकारी
- चुनौती
- चुनौतियों
- परिवर्तन
- चेक
- जाँचता
- चुनें
- ग्राहक
- समूह
- कोड
- सामूहिक
- आता है
- संचार
- संचार
- कंपनी
- पूरा
- घटकों
- गणना करना
- कंप्यूटिंग
- सम्मेलनों
- विन्यास
- को विन्यस्त
- जुडिये
- संबंध
- कनेक्शन
- कंसोल
- जारी रखने के
- नियंत्रक
- लागत
- महंगा
- लागत
- बनाना
- बनाना
- निर्माण
- वर्तमान में
- रिवाज
- ग्राहक
- अनुकूलित
- अनुकूलित
- चक्र
- चक्र
- डैशबोर्ड
- तिथि
- दिन
- सौदा
- चूक
- डिग्री
- तैनात
- तैनात
- तैनाती
- डिज़ाइन बनाना
- वांछित
- विस्तृत
- विवरण
- विकसित करना
- विकासशील
- विकास
- विभिन्न
- प्रसार
- डिजिटल
- विघटन
- वितरित
- वितरित अभिकलन
- वितरित प्रशिक्षण
- डाउनलोड
- दो
- दौरान
- से प्रत्येक
- ई-कॉमर्स
- भी
- नष्ट
- सक्षम
- endpoint
- अभियांत्रिकी
- सुनिश्चित
- संपूर्ण
- वातावरण
- ambiental
- स्थापित करना
- यूरोप
- और भी
- कार्यक्रम
- घटनाओं
- उदाहरण
- उत्तेजित
- महंगा
- अतिरिक्त
- चेहरा
- विफल रहे
- विफल रहता है
- विफलता
- विफलताओं
- परिवारों
- और तेज
- दोषपूर्ण
- Feature
- विशेषताएं
- पट्टिका
- प्रथम
- ध्यान केंद्रित
- का पालन करें
- निम्नलिखित
- के लिए
- पूर्व में
- पाया
- बुनियाद
- संस्थापक
- संस्थापक और कार्यकारी अधिकारी
- चार
- ढांचा
- फ़्रंकफ़र्ट
- बारंबार
- अक्सर
- से
- पूर्ण
- पूरी तरह से
- आम तौर पर
- उत्पन्न
- उत्पादक
- जनरेटिव एआई
- मिल
- GitHub
- लक्ष्य
- जा
- शासित
- दी गई
- समूह
- समूह की
- संभालना
- हार्डवेयर
- है
- होने
- he
- सिर
- चिकित्सा
- स्वास्थ्य
- स्वस्थ
- mmmmm
- भार उठाना
- मदद करता है
- हाई
- उच्च स्तर
- उच्च प्रदर्शन
- उच्चतम
- अत्यधिक
- उसके
- रखती है
- मेजबान
- कैसे
- How To
- एचपीसी
- एचटीएमएल
- http
- HTTPS
- सैकड़ों
- ID
- पहचान
- निष्क्रिय
- if
- की छवि
- तत्काल
- लागू करने के
- में सुधार
- in
- शामिल
- शामिल
- सहित
- बढ़ना
- उद्योग
- करें-
- सूचना प्रणालियों
- इंफ्रास्ट्रक्चर
- निविष्टियां
- स्थापित
- installed
- उदाहरण
- निर्देश
- एकीकृत
- एकीकृत
- बुद्धि
- बातचीत
- इंटरैक्टिव
- इंटरफेस
- बाधित
- में
- शुरू करने
- शामिल
- आयरलैंड
- मुद्दों
- IT
- काम
- नौकरियां
- शामिल होने
- जेपीजी
- JSON
- जस्टिन
- जानने वाला
- बड़ा
- बड़े पैमाने पर
- विलंब
- बाद में
- ताज़ा
- प्रमुख
- जानें
- सीख रहा हूँ
- पुस्तकालयों
- पुस्तकालय
- लाइसेंस
- जीवन चक्र
- उत्तोलक
- पसंद
- लाइन
- लिनक्स
- लामा
- स्थानीय
- लॉग इन
- लॉग इन
- देखिए
- हमशक्ल
- हार
- निम्न
- मशीन
- यंत्र अधिगम
- बनाए रखना
- को बनाए रखने के
- बनाना
- बनाता है
- निर्माण
- कामयाब
- प्रबंध
- प्रबंधक
- बाजार
- मास्टर की
- बात
- अधिकतम करने के लिए
- मेटा
- मिनटों
- ML
- मोड
- आदर्श
- मॉडल
- आधुनिक
- मॉनिटर
- नजर रखी
- निगरानी
- महीने
- अधिक
- अधिकतर
- नाम
- देशी
- पथ प्रदर्शन
- आवश्यकता
- जरूरत
- ज़रूरत
- नेटवर्क
- नया
- नई सुविधाएँ
- नोड
- नोड्स
- नोट
- अभी
- Nvidia
- of
- ओहियो
- on
- ऑन डिमांड
- ONE
- खुला
- खुला स्रोत
- परिचालन
- परिचालन
- इष्टतमीकरण
- के अनुकूलन के
- or
- आर्केस्ट्रा
- ओरेगन
- Oss
- अन्य
- हमारी
- उत्पादन
- के ऊपर
- पसिफ़िक
- फलक
- समानांतर
- प्राचल
- पैरामीटर
- पासिंग
- पथ
- निष्पादन
- प्रदर्शन
- पीएचडी
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- लगाना
- लोकप्रिय
- पद
- संभावित
- तैयार करना
- पिछला
- पहले से
- प्रिंसिपल
- पूर्व
- निजी
- प्रोएक्टिव
- बढ़ना
- प्रसंस्करण
- एस्ट्रो मॉल
- प्रगति
- परियोजनाओं
- बशर्ते
- प्रदान करता है
- प्रदान कर
- प्रकाशन
- मात्रा
- RE
- की सिफारिश की
- वसूली
- को कम करने
- उल्लेख
- क्षेत्र
- क्षेत्रों
- नियमित
- नियमित तौर पर
- हटाना
- मरम्मत
- की जगह
- प्रतिस्थापन
- का अनुरोध
- की आवश्यकता होती है
- की आवश्यकता होती है
- अनुसंधान
- अनुसंधान और विकास
- बुकिंग
- रिज़र्व
- लचीला
- संसाधन
- उपयुक्त संसाधन चुनें
- प्रतिक्रिया
- जिम्मेदार
- बायोडाटा
- भूमिका
- मार्ग
- नियम
- रन
- दौड़ना
- चलाता है
- sagemaker
- वही
- सहेजें
- स्केल
- स्केलिंग
- विज्ञान
- वैज्ञानिक
- लिपि
- लिपियों
- एसडीकेएस
- निर्बाध
- Search
- सीएटल
- सुरक्षा
- देखना
- खंड
- वरिष्ठ
- सेवा
- सेवा
- सेवाएँ
- सत्र
- सेट
- Share
- चाहिए
- पता चला
- उसी प्रकार
- सरल
- सरलीकृत
- सिंगापुर
- एक
- छोटे
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- सॉफ्टवेयर इंजीनियरिंग
- समाधान ढूंढे
- सुलझाने
- स्रोत
- वक्ता
- विशेषज्ञ
- विशिष्ट
- विनिर्दिष्ट
- बिताना
- विभाजित
- स्थिरता
- स्थिर
- मानकों
- प्रारंभ
- राज्य के-the-कला
- स्थिति
- कदम
- भंडारण
- की दुकान
- सरल
- पढ़ाई
- प्रस्तुत
- प्रस्तुत
- प्रस्तुत
- उप - जाल
- ऐसा
- सूट
- सूट
- सारांश
- समर्थन
- सहायक
- निश्चित
- सिडनी
- सिंक।
- प्रणाली
- सिस्टम
- तालिका
- लेना
- तकनीकी
- है
- अंतिम
- टेक्सास
- से
- कि
- RSI
- लेकिन हाल ही
- उन
- फिर
- इन
- वे
- इसका
- हजारों
- यहाँ
- भर
- पहर
- सेवा मेरे
- आज
- tokenize
- टोक्यो
- रेलगाड़ी
- प्रशिक्षण
- स्थानांतरण
- टाइप
- प्रकार
- के अंतर्गत
- विश्वविद्यालय
- टोक्यो विश्वविद्यालय
- अपडेट
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- उपयोगकर्ताओं
- का उपयोग करता है
- का उपयोग
- उपयोगिता
- उपयोग
- विभिन्न
- व्यापक
- संस्करण
- के माध्यम से
- देखें
- वर्जीनिया
- वास्तविक
- भेंट
- walkthrough
- था
- मार्ग..
- we
- वेब
- वेब सेवाओं
- सप्ताह
- कुंआ
- कब
- कौन कौन से
- जब
- व्यापक रूप से
- विकिपीडिया
- मर्जी
- साथ में
- अंदर
- बिना
- काम किया
- कामगार
- होगा
- आप
- आपका
- जेफिरनेट