GPU हमेशा आपका सर्वश्रेष्ठ दांव नहीं होता, Twitter ML परीक्षण सुझाव देते हैं

ट्विटर के ग्राफ लर्निंग रिसर्च के प्रमुख माइकल ब्रोंस्टीन के अनुसार, GPU मशीन-लर्निंग वर्कलोड के लिए एक शक्तिशाली उपकरण हैं, हालांकि जरूरी नहीं कि वे हर AI जॉब के लिए सही टूल हों।

उनकी टीम ने हाल ही में दिखाया कि ग्राफकोर के एआई हार्डवेयर ने टेम्पोरल ग्राफ नेटवर्क (टीजीएन) मॉडल में "एकल आईपीयू प्रोसेसर की तुलना एनवीडिया ए 100 जीपीयू से करते समय परिमाण गति के क्रम की पेशकश की"।

"ग्राफ एमएल मॉडल को लागू करने के लिए हार्डवेयर का चुनाव एक महत्वपूर्ण, फिर भी अक्सर अनदेखी की गई समस्या है," पढ़ता है संयुक्त लेख ब्रोंस्टीन द्वारा ट्विटर पर एक एमएल शोधकर्ता इमानुएल रॉसी और ग्राफकोर के एक शोधकर्ता डैनियल जस्टस के साथ लिखा गया है।

ग्राफ तंत्रिका नेटवर्क जटिल प्रणालियों में आदेश खोजने का एक साधन प्रदान करते हैं, और आमतौर पर सामाजिक नेटवर्क और अनुशंसा प्रणाली में उपयोग किए जाते हैं। हालांकि, इन वातावरणों की गतिशील प्रकृति इन मॉडलों को प्रशिक्षित करने के लिए विशेष रूप से चुनौतीपूर्ण बनाती है, तीनों ने समझाया।

समूह ने कई टीजीएन मॉडलों को संभालने में ग्राफकोर के आईपीयू की व्यवहार्यता की जांच की। प्रारंभिक परीक्षण एक छोटे टीजीएन मॉडल के आधार पर किया गया था जोडी विकिपीडिया डेटासेट जो उपयोगकर्ताओं को उनके द्वारा पृष्ठों पर किए गए संपादनों से जोड़ता है। ग्राफ में कुल 8,227 नोड्स के लिए 1,000 उपयोगकर्ता और 9,227 लेख शामिल थे। JODIE एक ओपन-सोर्स प्रेडिक्शन सिस्टम है जिसे टेम्पोरल इंटरैक्शन नेटवर्क की समझ बनाने के लिए डिज़ाइन किया गया है।

तीनों के प्रयोग से पता चला कि बड़े बैच आकार के परिणामस्वरूप छोटे बैच आकारों की तुलना में अवक्रमित सत्यापन और अनुमान सटीकता में कमी आई है।

"नोड मेमोरी और ग्राफ़ कनेक्टिविटी दोनों केवल एक पूर्ण बैच संसाधित होने के बाद ही अपडेट किए जाते हैं," तीनों ने लिखा। "इसलिए, एक बैच के भीतर की बाद की घटनाएं पुरानी जानकारी पर भरोसा कर सकती हैं क्योंकि उन्हें पहले की घटनाओं के बारे में पता नहीं है।"

हालाँकि, 10 के बैच आकार का उपयोग करके, समूह इष्टतम सत्यापन और अनुमान सटीकता प्राप्त करने में सक्षम था, लेकिन उन्होंने ध्यान दिया कि बड़े बैच आकारों का उपयोग करते हुए भी, IPU पर प्रदर्शन अभी भी GPU से बेहतर था।

"10 के बैच पक्ष का उपयोग करते समय, टीजीएन को आईपीयू पर लगभग 11 गुना तेजी से प्रशिक्षित किया जा सकता है, और यहां तक ​​​​कि 200 के बड़े बैच आकार के साथ, आईपीयू पर प्रशिक्षण अभी भी तीन गुना तेज है," पोस्ट पढ़ता है। "सभी कार्यों के दौरान, IPU छोटे बैच आकारों को अधिक कुशलता से संभालता है।"

टीम का मानना ​​है कि ग्राफकोर के बड़े इन-प्रोसेसर एसआरएएम कैश द्वारा पेश की गई तेज मेमोरी एक्सेस और उच्च थ्रूपुट ने आईपीयू को बढ़त दी है।

यह प्रदर्शन लीड उन ग्राफ़ मॉडल तक भी विस्तारित हुआ जो IPU की इन-प्रोसेसर मेमोरी से अधिक थे - प्रत्येक IPU में 1GB SRAM कैश होता है - जिसमें चिप्स से जुड़ी धीमी DRAM मेमोरी के उपयोग की आवश्यकता होती है।

ब्रोंस्टीन की टीम ने पाया कि 261 मिलियन ट्विटर उपयोगकर्ताओं के बीच 15.5 मिलियन फॉलोअर्स वाले ग्राफ मॉडल पर परीक्षण में, नोड मेमोरी के लिए डीआरएएम का उपयोग दो के कारक द्वारा थ्रूपुट पर अंकुश लगाया गया।

हालांकि, ट्विटर ग्राफ़ के आकार के 10X सिंथेटिक डेटासेट के आधार पर कई उप-ग्राफ़ को प्रेरित करते समय, टीम ने ग्राफ़ आकार से स्वतंत्र रूप से स्केल किए गए थ्रूपुट को पाया। दूसरे शब्दों में, प्रदर्शन हिट धीमी मेमोरी का उपयोग करने का परिणाम था न कि मॉडल के आकार का परिणाम।

"आईपीयू पर इस तकनीक का उपयोग करते हुए, टीजीएन को लगभग मनमानी ग्राफ आकारों पर लागू किया जा सकता है, केवल उपलब्ध होस्ट मेमोरी की मात्रा तक सीमित है, जबकि प्रशिक्षण और अनुमान के दौरान बहुत अधिक थ्रूपुट बनाए रखा जाता है," लेख पढ़ता है।

टीम ने निष्कर्ष निकाला कि ग्राफकोर का आईपीयू आर्किटेक्चर वर्कलोड में जीपीयू पर महत्वपूर्ण लाभ दिखाता है जहां गणना और मेमोरी एक्सेस विषम हैं।

हालांकि, व्यापक निष्कर्ष यह है कि एमएल शोधकर्ताओं को हार्डवेयर की अपनी पसंद पर ध्यान से विचार करना चाहिए और जीपीयू का उपयोग करने के लिए डिफ़ॉल्ट नहीं होना चाहिए।

तीनों ने लिखा, "अंतर्निहित हार्डवेयर को अलग करने वाली क्लाउड कंप्यूटिंग सेवाओं की उपलब्धता इस संबंध में कुछ आलस्य की ओर ले जाती है।" "हमें उम्मीद है कि हमारा अध्ययन इस महत्वपूर्ण विषय पर अधिक ध्यान आकर्षित करेगा और भविष्य के लिए मार्ग प्रशस्त करेगा, ग्राफ एमएल अनुप्रयोगों के लिए अधिक कुशल एल्गोरिदम और हार्डवेयर आर्किटेक्चर।" ®