एनवीडिया इसे नहीं काट रहा है? Google और Amazon के नवीनतम AI चिप्स आ चुके हैं

अमेज़ॅन वेब सर्विसेज (एडब्ल्यूएस) और Google क्लाउड ने अपने नवीनतम कस्टम एआई त्वरक की सामान्य उपलब्धता की घोषणा के बाद इस सप्ताह क्लाउड-आधारित एआई प्रशिक्षण थोड़ा और विविध हो गया।

अमेज़ॅन के साथ चीजों को मारना, क्लाउड प्रदाता के ट्रेनियम चिप्स अब आम तौर पर एडब्ल्यूएस पर उपलब्ध हैं। प्रथम पूर्वावलोकन AWS re:Invent पिछले साल, Amazon के Trainium-संचालित Trn1n उदाहरणों को बड़े मशीन-लर्निंग मॉडल को प्रशिक्षित करने के लिए डिज़ाइन किया गया है, जैसे कि प्राकृतिक भाषा प्रसंस्करण और छवि पहचान में उपयोग किए जाने वाले।

अमेज़ॅन का दावा है कि अमेज़ॅन के आंतरिक बेंचमार्क के अनुसार, इसके एनवीडिया ए 40-संचालित पी 250 डी इंस्टेंस की तुलना में बीएफ 16 और 32-बिट टेन्सरफ्लो वर्कलोड में 100 प्रतिशत से 4 प्रतिशत अधिक प्रदर्शन के बीच हैं। त्वरक FP32, FP16, UINT8 और एक विन्यास योग्य FP8 डेटाटाइप का भी समर्थन करता है। FP8 है प्रसिद्ध होना हाल के वर्षों में एआई दुनिया में कच्चे प्रदर्शन के लिए सटीकता का व्यापार करने के साधन के रूप में।

उदाहरण दो आकारों में उपलब्ध हैं: Amazon के trn1.2xlarge जोड़े आठ वीसीपीयू के साथ एक ट्रेनियम चिप, 64 जीबी मेमोरी सीपीयू और एक्सेलेरेटर के बीच समान रूप से विभाजित, 12.5 जीबी / सेकेंड नेटवर्किंग, और 500 जीबी स्थानीय एसएसडी स्टोरेज। इस बीच, बड़े वर्कलोड के लिए, trn1.32xlarge 16 गुना बड़ा है, 128 vCPU, 16 ट्रेनियम चिप्स, 1TB की संयुक्त मेमोरी, और 800Gbit / sec नेटवर्क बैंडविड्थ प्रति उदाहरण पैकिंग।

बड़े पैमाने पर मॉडल प्रशिक्षण के लिए, अमेज़ॅन की FSx लस्टर स्टोरेज सेवा और "पेटाबिट-क्लास" नॉन-ब्लॉकिंग टॉप-ऑफ-रैक स्विच का उपयोग करके कई trn1.32xबड़े उदाहरणों को क्लस्टर किया जा सकता है।

एक्सेलेरेटर उसी न्यूरॉन एसडीके का उपयोग करता है जो अमेज़ॅन की पहले से घोषित इन्फरेंटिया इंफेरेंसिंग चिप के रूप में है, जो एक कंपाइलर, फ्रेमवर्क एक्सटेंशन, एक रनटाइम लाइब्रेरी और डेवलपर टूल के साथ आता है। एक साथ रखें, अमेज़ॅन का दावा है कि लोकप्रिय एमएल फ्रेमवर्क, जैसे कि PyTorch और TensorFlow में लिखे गए वर्कलोड को न्यूनतम रिफैक्टरिंग के साथ ट्रेनियम पर चलाने के लिए अनुकूलित किया जा सकता है।

Trn1n इंस्टेंस इस सप्ताह अमेज़न के यूएस ईस्ट और यूएस वेस्ट क्षेत्रों में उपलब्ध हैं।

Google का TPU v4 अब आम तौर पर उपलब्ध है

Google ने इस सप्ताह अपने क्लाउड नेक्स्ट इवेंट में हार्डवेयर अपडेट के एक बंडल का भी अनावरण किया, जिसमें शामिल हैं सामान्य उपलब्धता इसकी चौथी पीढ़ी की टेंसर प्रोसेसिंग यूनिट्स (टीपीयू) की।

Google क्लाउड की TPU v4-संचालित वर्चुअल मशीनें चार चिप्स से लेकर कॉन्फ़िगरेशन में उपलब्ध हैं - एक एकल TPU मॉड्यूल - 4,096 चिप्स तक पैक किए गए पॉड तक जो सभी एक उच्च गति वाले कपड़े से जुड़े हुए हैं।

जो लोग परिचित नहीं हैं, उनके लिए Google के TPU त्वरक को विशेष रूप से हार्डवेयर बड़े मशीन-लर्निंग मॉडल में गति देने के लिए डिज़ाइन किया गया था, जैसे कि प्राकृतिक भाषा प्रसंस्करण, अनुशंसा प्रणाली और कंप्यूटर दृष्टि में उपयोग किए जाने वाले।

उच्च स्तर पर, त्वरक अनिवार्य रूप से एमएक्सयू नामक बड़े बीफ्लोट मैट्रिक्स गणित इंजनों का एक गुच्छा है, जो इसे प्रोग्राम करने योग्य बनाने के लिए कुछ उच्च बैंडविड्थ मेमोरी और कुछ सीपीयू कोर द्वारा समर्थित है; सीपीयू कोर को उच्च गति प्रसंस्करण के लिए एमएक्सयू में वर्कलोड के एआई गणित संचालन को फीड करने का निर्देश दिया जाता है। प्रत्येक TPU VM में चार चिप्स होते हैं, प्रत्येक में दो प्रोसेसिंग कोर और कुल 128GB मेमोरी होती है।

Google के नवीनतम TPU आर्किटेक्चर के पूर्ण विश्लेषण के लिए, हम अनुशंसा करते हैं हमारी जाँच कर रहा है बहन साइट अगला प्लेटफार्म.

कस्टम त्वरक को Google के अपने AI वर्कलोड को गति देने के लिए डिज़ाइन किया गया था, लेकिन बाद में GCP पर ग्राहकों के लिए खोल दिया गया। जैसा कि आप अपेक्षा करते हैं, TPU विभिन्न लोकप्रिय ML फ्रेमवर्क का समर्थन करते हैं जिनमें JAX, PyTorch और TensorFlow शामिल हैं। और Google के अनुसार, TPU v4 अपने पूर्ववर्ती की तुलना में दोगुने से अधिक तेज़ है, जबकि प्रति डॉलर 40 प्रतिशत उच्च प्रदर्शन प्रदान करता है।

TPU v4 पॉड स्लाइस अब GCP के ओक्लाहोमा क्षेत्र में $0.97 और $3.22 प्रति चिप, प्रति घंटे की दर से उपलब्ध हैं। Google के सबसे छोटे उदाहरण के लिए, यह एक साल की प्रतिबद्धता के साथ प्रति माह $ 5,924 तक काम करता है।

Google इंटेल के अगली पीढ़ी के सीपीयू, स्मार्टएनआईसी की एक झलक पेश करता है

इंटेल के सैफायर रैपिड्स सीपीयू और माउंट इवांस आईपीयू ने भी इस सप्ताह एक निजी पूर्वावलोकन के रूप में Google क्लाउड में उपस्थिति दर्ज कराई।

चुनिंदा ग्राहक अब दे सकते हैं इंटेल लंबी देरी सफायर रैपिड्स सीपीयू एक स्पिन है, हालांकि, आज की घोषणा कुछ संकेत प्रदान करती है कि हम माइक्रोप्रोसेसरों से क्या उम्मीद कर सकते हैं। इसके बजाय, बिज़ ने माउंट इवांस आईपीयू को इंटेल के साथ सह-विकसित किया।

"किसी भी सार्वजनिक क्लाउड में अपनी तरह का पहला, C3 VMs 4th Gen Intel Xeon स्केलेबल प्रोसेसर पर वर्कलोड चलाएगा, जबकि वे IPU को प्रोग्रामेबल पैकेट प्रोसेसिंग को 200Gbit / sec की लाइन दरों पर सुरक्षित रूप से मुक्त करते हैं," निक मैककेन, जो इंटेल नेटवर्क का नेतृत्व करते हैं और बढ़त समूह, a . में कहा कथन.

पिछले साल इंटेल के आर्किटेक्चर डे पर घोषित, माउंट इवांस - जिसे अब E2000 के रूप में पुनः ब्रांडेड किया गया है - इंटेल का पहला IPU ASIC है। IPU एक इन्फ्रास्ट्रक्चर प्रोसेसिंग यूनिट है, जो मूल रूप से नेटवर्किंग और स्टोरेज कार्यों के लिए एक अन्य हार्डवेयर त्वरक है।

स्मार्टएनआईसी-क्लास चिप का इस्तेमाल गूगल के क्लाउड इंफ्रास्ट्रक्चर वर्कलोड को तेज करने के लिए किया जाएगा। पहले में से एक भंडारण होगा। क्लाउड प्रदाता का दावा है कि इसका IPU-बढ़ाया C3 इंस्टेंस 10x उच्च IOPS और इसके आउटगोइंग C4 इंस्टेंस के 2x थ्रूपुट की पेशकश करता है, जब इसका उपयोग किया जाता है हाल ही में घोषणा की हाइपरडिस्क सेवा।

क्लाउड वर्ल्ड में आईपीयू, डेटा प्रोसेसिंग यूनिट और स्मार्टएनआईसी शायद ही कोई नई घटना है। Amazon, Microsoft Azure, और अलीबाबा क्लाउड भी SmartNIC का उपयोग इंफ्रास्ट्रक्चर कार्यों को ऑफ़लोड करने के लिए कर रहे हैं, जैसे नेटवर्किंग, स्टोरेज, और होस्ट से सुरक्षा, प्रक्रिया में किरायेदार वर्कलोड द्वारा उपयोग के लिए CPU चक्र को मुक्त करना।

इंटेल के नीलम रैपिड्स अभी भी बादल में फंस गए हैं

नीलम रैपिड्स द्वारा संचालित "पब्लिक क्लाउड में पहला वीएम" के रूप में C3 उदाहरणों को छेड़ने के बावजूद, "सार्वजनिक" शायद यहाँ गलत शब्द है। Google के C3 उदाहरण एप्लिकेशन द्वारा चुनिंदा ग्राहकों तक सीमित रहते हैं, संभवतः एक सख्त NDA के तहत।

इस सप्ताह तक, इंटेल ने अभी तक अपने नीलम रैपिड्स प्रोसेसर परिवार के लिए लॉन्च की तारीख की घोषणा नहीं की है, जो पहले से ही एक वर्ष से अधिक समय से पीछे है। हालांकि, इस गिरावट के लिए एएमडी के चौथे-जीन एपिक प्रोसेसर के लॉन्च के साथ, इंटेल कुछ ग्राहकों के हाथों में अपनी अगली-जेन डेटासेंटर चिप्स प्राप्त करने के लिए पहले से कहीं अधिक उत्सुक दिखाई देता है - कम से कम वस्तुतः।

कुछ क्षमता में ग्राहकों को नीलम रैपिड्स-आधारित संसाधन उपलब्ध कराने के लिए Google केवल नवीनतम इंटेल भागीदार है। जबकि Google क्लाउड VMs की पेशकश कर रहा है, सुपरमाइक्रो और इंटेल प्रत्येक ग्राहकों को चिप्स द्वारा सक्षम नई क्षमताओं का पता लगाने का अवसर प्रदान करने के लिए बेयर-मेटल सिस्टम तक रिमोट एक्सेस की पेशकश कर रहे हैं।

इंटेल ने कुछ ओईएम, क्लाउड दोस्तों और सरकारी एजेंसियों को सैफायर-रैपिड्स-संचालित चौथे-जीन ज़ीऑन स्केलेबल प्रोसेसर की शिपिंग शुरू कर दी है। हालाँकि, यह स्पष्ट नहीं है कि x86 टाइटन ने ग्राहकों को कितने चिप्स दिए हैं। ®