औसत एआई दुकान के लिए, विरल मॉडल और सस्ती मेमोरी जीत जाएगी

प्रमुख बड़े पैमाने के भाषा मॉडल के रूप में सम्मोहक हो सकता है, तथ्य यह है कि केवल सबसे बड़ी कंपनियों के पास ही उन्हें सार्थक पैमाने पर तैनात और प्रशिक्षित करने के लिए संसाधन हैं।

प्रतिस्पर्धी लाभ के लिए एआई का लाभ उठाने के इच्छुक उद्यमों के लिए, एक सस्ता, छोटा विकल्प बेहतर फिट हो सकता है, खासकर अगर इसे विशेष उद्योगों या डोमेन के लिए ट्यून किया जा सकता है।

यहीं पर एआई स्टार्टअप्स का एक उभरता हुआ सेट एक जगह बनाने की उम्मीद कर रहा है: विरल, सिलवाया मॉडल बनाकर, जो शायद उतना शक्तिशाली नहीं है GPT-3, उद्यम उपयोग के मामलों के लिए पर्याप्त हैं और हार्डवेयर पर चलते हैं जो कमोडिटी डीडीआर के लिए महंगी हाई-बैंडविड्थ मेमोरी (एचबीएम) को छोड़ देता है।

जर्मन एआई स्टार्टअप एलेफ अल्फा ऐसा ही एक उदाहरण है। 2019 में स्थापित, हीडलबर्ग, जर्मनी स्थित कंपनी का प्रकाशयुक्त नेचुरल-लैंग्वेज मॉडल में OpenAI के GPT-3 जैसी ही कई हेडलाइन-हथियाने वाली विशेषताएं हैं: कॉपी राइटिंग, वर्गीकरण, सारांश और अनुवाद, कुछ का नाम लेने के लिए।

ब्रिटिश पर विरल भाषा मॉडल का पता लगाने और विकसित करने के लिए मॉडल स्टार्टअप ने ग्राफकोर के साथ मिलकर काम किया है चिपमेकर का हार्डवेयर.

एलेफ अल्फा के सीईओ जोनास एंड्रुलियस ने एक में कहा, "ग्राफकोर के आईपीयू सशर्त विरलता जैसे उन्नत तकनीकी दृष्टिकोणों का मूल्यांकन करने का अवसर प्रदान करते हैं।" कथन. "ये आर्किटेक्चर निस्संदेह एलेफ अल्फा के भविष्य के शोध में एक भूमिका निभाएंगे।"

विरलता पर ग्राफकोर का बड़ा दांव

सशर्त रूप से विरल मॉडल - जिसे कभी-कभी विशेषज्ञों या रूटेड मॉडल का मिश्रण कहा जाता है - केवल लागू मापदंडों के खिलाफ डेटा को संसाधित करता है, कुछ ऐसा जो उन्हें चलाने के लिए आवश्यक गणना संसाधनों को काफी कम कर सकता है।

उदाहरण के लिए, यदि एक भाषा मॉडल को इंटरनेट पर सभी भाषाओं में प्रशिक्षित किया गया था, और फिर रूसी में एक प्रश्न पूछा जाता है, तो उस डेटा को पूरे मॉडल के माध्यम से चलाने का कोई मतलब नहीं होगा, केवल रूसी भाषा से संबंधित पैरामीटर, के साथ एक साक्षात्कार में ग्राफ़कोर सीटीओ साइमन नोल्स के बारे में बताया रजिस्टर.

"यह पूरी तरह से स्पष्ट है। इस तरह आपका दिमाग काम करता है, और यह भी है कि एआई को कैसे काम करना चाहिए, ”उन्होंने कहा। "मैंने यह कई बार कहा है, लेकिन अगर कोई AI कई काम कर सकता है, तो उसे एक काम करने के लिए अपने सभी ज्ञान तक पहुँचने की आवश्यकता नहीं है।"

नोल्स, जिनकी कंपनी इस प्रकार के मॉडलों के लिए त्वरक बनाती है, आश्चर्यजनक रूप से मानते हैं कि वे एआई का भविष्य हैं। "मुझे आश्चर्य होगा अगर, अगले साल तक, कोई भी सघन भाषा मॉडल बना रहा है," उन्होंने कहा।

एचबीएम-2 महंगा? इसके बजाय DDR पर कैश करें

विरल भाषा मॉडल उनकी चुनौतियों के बिना नहीं हैं। नोल्स के अनुसार सबसे अधिक दबाव में से एक का संबंध स्मृति से है। इन मॉडलों के लिए आवश्यक बैंडविड्थ और क्षमता प्राप्त करने के लिए हाई-एंड जीपीयू में उपयोग किया जाने वाला एचबीएम महंगा है और इससे भी अधिक महंगे त्वरक से जुड़ा हुआ है।

यह घने-भाषा मॉडल के लिए कोई मुद्दा नहीं है, जहां आपको उस सभी गणना और स्मृति की आवश्यकता हो सकती है, लेकिन यह स्पैस मॉडल के लिए एक समस्या बन गई है, जो गणना पर स्मृति का पक्ष लेती है, उन्होंने समझाया।

एनवीडिया के एनवीलिंक की तरह इंटरकनेक्ट तकनीक का उपयोग कई जीपीयू में मेमोरी को पूल करने के लिए किया जा सकता है, लेकिन अगर मॉडल को उस सभी गणना की आवश्यकता नहीं है, तो जीपीयू को निष्क्रिय छोड़ दिया जा सकता है। "यह स्मृति खरीदने का एक बहुत महंगा तरीका है," नोल्स ने कहा।

ग्राफकोर के त्वरक इस चुनौती को दूर करने का प्रयास करते हैं, एक ऐसी तकनीक उधार लेते हैं जो खुद कंप्यूटिंग जैसी पुरानी है: कैशिंग। इन मॉडलों की बैंडविड्थ आवश्यकताओं को पूरा करने के लिए प्रत्येक आईपीयू में अपेक्षाकृत बड़ा एसआरएएम कैश - 1 जीबी - होता है, जबकि सस्ती डीडीआर 4 मेमोरी के बड़े पूल का उपयोग करके कच्ची क्षमता हासिल की जाती है।

नोल्स ने कहा, "आपके पास जितना अधिक एसआरएएम है, आपको कम डीआरएएम बैंडविड्थ की आवश्यकता है, और यही वह है जो हमें एचबीएम का उपयोग नहीं करने की अनुमति देता है।"

एक्सेलेरेटर से मेमोरी को अलग करके, यह बहुत कम खर्चीला है - कुछ कमोडिटी डीडीआर मॉड्यूल की लागत - उद्यमों के लिए बड़े एआई मॉडल का समर्थन करने के लिए।

सस्ती मेमोरी का समर्थन करने के अलावा, नोल्स का दावा है कि कंपनी के आईपीयू को भी जीपीयू पर एक वास्तुशिल्प लाभ है, कम से कम जब यह विरल मॉडल की बात आती है।

बड़ी संख्या में बड़े मैट्रिक्स मल्टीप्लायरों पर चलने के बजाय - जैसा कि आप एक टेंसर प्रोसेसिंग यूनिट में पाते हैं - ग्राफकोर के चिप्स में बड़ी संख्या में छोटी मैट्रिक्स गणित इकाइयाँ होती हैं जो मेमोरी को स्वतंत्र रूप से संबोधित कर सकती हैं।

यह विरल मॉडल के लिए अधिक ग्रैन्युलैरिटी प्रदान करता है, जहां "आपको प्रासंगिक सबसेट लाने के लिए स्वतंत्रता की आवश्यकता होती है, और जितनी छोटी इकाई आप लाने के लिए बाध्य होते हैं, उतनी ही अधिक स्वतंत्रता आपके पास होती है," उन्होंने समझाया।

फैसला अभी बाकी है

एक साथ रखें, नोल्स का तर्क है कि यह दृष्टिकोण अपने आईपीयू को जीपीयू की तुलना में काफी कम लागत पर सैकड़ों अरबों या यहां तक ​​​​कि खरबों मापदंडों के साथ बड़े एआई / एमएल मॉडल को प्रशिक्षित करने में सक्षम बनाता है।

हालाँकि, एंटरप्राइज़ AI बाज़ार अभी भी अपनी प्रारंभिक अवस्था में है, और ग्राफ़कोर को इस स्थान में बड़े, अधिक स्थापित प्रतिद्वंद्वियों से कड़ी प्रतिस्पर्धा का सामना करना पड़ता है।

इसलिए जबकि एआई के लिए अल्ट्रा-स्पैस, कट-रेट भाषा मॉडल का विकास जल्द ही समाप्त होने की संभावना नहीं है, यह देखा जाना बाकी है कि यह ग्राफकोर का आईपीयू होगा या किसी और का त्वरक जो उद्यम एआई वर्कलोड को समाप्त करता है। ®