सुपर-ह्यूमन AI चिप लेआउट के Google के दावे माइक्रोस्कोप के तहत वापस आ गए

विशेष रिपोर्ट नेचर में प्रकाशित एक Google के नेतृत्व वाला शोध पत्र, दावा करता है कि मशीन-लर्निंग सॉफ़्टवेयर मनुष्यों की तुलना में बेहतर चिप्स को तेजी से डिज़ाइन कर सकता है, एक नए अध्ययन के परिणामों पर विवाद के बाद इसे सवालों के घेरे में लाया गया है।

जून 2021 में, Google ने बनाया मुख्य बातें एक सुदृढीकरण-सीखने-आधारित प्रणाली विकसित करने के लिए जो स्वचालित रूप से अनुकूलित माइक्रोचिप फ़्लोरप्लान बनाने में सक्षम है। ये योजनाएं चिप के भीतर इलेक्ट्रॉनिक सर्किट्री के ब्लॉक की व्यवस्था निर्धारित करती हैं: जहां सीपीयू और जीपीयू कोर, और मेमोरी और परिधीय नियंत्रक जैसी चीजें वास्तव में भौतिक सिलिकॉन मरने पर बैठती हैं।

Google ने कहा कि वह इस AI सॉफ़्टवेयर का उपयोग अपने घरेलू TPU चिप्स को डिज़ाइन करने के लिए कर रहा था जो AI वर्कलोड को तेज करता है: यह अपने अन्य मशीन-लर्निंग सिस्टम को तेज़ी से चलाने के लिए मशीन लर्निंग का उपयोग कर रहा था। 

चिप का फ्लोरप्लान महत्वपूर्ण है क्योंकि यह तय करता है कि प्रोसेसर कितना अच्छा प्रदर्शन करता है। आप चिप के सर्किट के ब्लॉक को सावधानीपूर्वक व्यवस्थित करना चाहेंगे ताकि, उदाहरण के लिए, इन क्षेत्रों के बीच वांछित दर पर सिग्नल और डेटा प्रसारित हो। इंजीनियर आमतौर पर इष्टतम कॉन्फ़िगरेशन खोजने की कोशिश में अपने डिजाइनों को परिष्कृत करने में हफ्तों या महीनों का समय लगाते हैं। चिप को शक्तिशाली, ऊर्जा कुशल और जितना संभव हो उतना छोटा बनाने के लिए सभी विभिन्न उप-प्रणालियों को एक विशेष तरीके से रखा जाना चाहिए। 

आज एक फ्लोरप्लान का निर्माण आमतौर पर चिप डिजाइन अनुप्रयोगों का उपयोग करके मैन्युअल कार्य और स्वचालन का मिश्रण शामिल करता है। Google की टीम ने यह प्रदर्शित करने की कोशिश की कि इसका सुदृढीकरण-सीखने का दृष्टिकोण उद्योग के उपकरणों का उपयोग करके केवल मानव इंजीनियरों द्वारा बनाए गए डिजाइनों की तुलना में बेहतर डिजाइन तैयार करेगा। इतना ही नहीं, Google ने कहा कि उसके मॉडल ने लेआउट पर चलने वाले इंजीनियरों की तुलना में अपना काम बहुत तेजी से पूरा किया।

"पांच दशकों के शोध के बावजूद, चिप फ़्लोरप्लानिंग ने ऑटोमेशन को चुनौती दी है, निर्माण योग्य लेआउट बनाने के लिए भौतिक डिज़ाइन इंजीनियरों द्वारा महीनों के गहन प्रयास की आवश्यकता है ... छह घंटे के भीतर, हमारी विधि स्वचालित रूप से चिप फ़्लोरप्लान उत्पन्न करती है जो सभी में मनुष्यों द्वारा उत्पादित बेहतर या तुलनीय हैं। प्रमुख मेट्रिक्स," Googlers लिखा था उनके नेचर पेपर में।

अनुसंधान ने इलेक्ट्रॉनिक डिज़ाइन ऑटोमेशन समुदाय का ध्यान आकर्षित किया, जो पहले से ही मशीन-लर्निंग एल्गोरिदम को अपने सॉफ़्टवेयर सूट में शामिल करने की ओर बढ़ रहा था। अब Google के अपने बेहतर-से-मानव मॉडल के दावों को कैलिफोर्निया विश्वविद्यालय, सैन डिएगो (UCSD) की एक टीम ने चुनौती दी है।

गैर वाजिब लाभ?

कंप्यूटर विज्ञान और इंजीनियरिंग के एक प्रोफेसर एंड्रयू कहंग के नेतृत्व में, उस समूह ने नेचर में Google द्वारा वर्णित फ़्लोरप्लानिंग पाइपलाइन के रिवर्स इंजीनियरिंग में महीनों बिताए। वेब जायंट ने व्यावसायिक संवेदनशीलता का हवाला देते हुए अपने मॉडल की आंतरिक कार्यप्रणाली के कुछ विवरणों को रोक दिया, इसलिए यूसीएसडी को यह पता लगाना पड़ा कि Googlers के निष्कर्षों को सत्यापित करने के लिए अपना स्वयं का पूर्ण संस्करण कैसे बनाया जाए। प्रो काहंग, हमने ध्यान दिया, Google के पेपर की सहकर्मी-समीक्षा प्रक्रिया के दौरान प्रकृति के समीक्षक के रूप में कार्य किया।

विश्वविद्यालय के शिक्षाविदों ने अंततः सर्किट प्रशिक्षण (सीटी) के रूप में संदर्भित मूल Google कोड का अपना स्वयं का पुनरुत्पादन पाया उनका अध्ययन, वास्तव में पारंपरिक उद्योग विधियों और उपकरणों का उपयोग करके मनुष्यों से भी बदतर प्रदर्शन किया।

इस विसंगति का क्या कारण हो सकता है? कोई कह सकता है कि मनोरंजन अधूरा था, हालांकि एक और स्पष्टीकरण हो सकता है। समय के साथ, UCSD टीम को पता चला कि Google ने इलेक्ट्रॉनिक डिज़ाइन ऑटोमेशन (EDA) सुइट्स के एक प्रमुख निर्माता Synopsys द्वारा विकसित व्यावसायिक सॉफ़्टवेयर का उपयोग किया था, ताकि चिप के लॉजिक गेट्स की एक प्रारंभिक व्यवस्था बनाई जा सके जिसे वेब दिग्गज के सुदृढीकरण सीखने की प्रणाली ने तब अनुकूलित किया।

प्रयोगों से पता चलता है कि आरंभिक प्लेसमेंट जानकारी होने से सीटी परिणामों में काफी वृद्धि हो सकती है

Google पेपर में उल्लेख किया गया था कि उद्योग-मानक सॉफ़्टवेयर टूल और मैन्युअल ट्वीकिंग का उपयोग किया गया था बाद मॉडल ने एक लेआउट तैयार किया था, मुख्य रूप से यह सुनिश्चित करने के लिए कि प्रोसेसर इरादा के अनुसार काम करेगा और इसे निर्माण के लिए अंतिम रूप देगा। Googlers ने तर्क दिया कि यह एक आवश्यक कदम था कि क्या फ़्लोरप्लान मशीन-लर्निंग एल्गोरिथम या मानक टूल वाले मनुष्यों द्वारा बनाया गया था, और इस प्रकार इसका मॉडल अनुकूलित अंतिम उत्पाद के लिए श्रेय का हकदार था।

हालांकि, यूसीएसडी टीम ने कहा कि इस्तेमाल किए जा रहे ईडीए टूल्स के नेचर पेपर में इसका कोई जिक्र नहीं था पहले से मॉडल के पुनरावृति के लिए एक लेआउट तैयार करने के लिए। यह तर्क दिया जाता है कि इन Synopsys उपकरणों ने मॉडल को एक अच्छी शुरुआत दी होगी जिससे AI सिस्टम की वास्तविक क्षमताओं पर सवाल उठाया जाना चाहिए।

"पेपर समीक्षा के दौरान यह स्पष्ट नहीं था," विश्वविद्यालय की टीम ने मॉडल के लिए एक लेआउट तैयार करने के लिए सिनॉप्सिस सूट के उपयोग के बारे में लिखा, "और नेचर में इसका उल्लेख नहीं किया गया है। प्रयोगों से पता चलता है कि प्रारंभिक नियुक्ति की जानकारी होने से सीटी परिणामों में उल्लेखनीय वृद्धि हो सकती है।"

प्रकृति Google के शोध की पड़ताल करती है

तब से कुछ शिक्षाविदों ने नेचर से यूसीएसडी के अध्ययन के आलोक में गूगल के पेपर की समीक्षा करने का आग्रह किया है। द्वारा देखी गई पत्रिका के ईमेल में रजिस्टर, शोधकर्ताओं ने प्रोफेसर कहंग और उनके सहयोगियों द्वारा उठाई गई चिंताओं पर प्रकाश डाला और सवाल किया कि क्या Google का पेपर भ्रामक था।

डलास में टेक्सास विश्वविद्यालय में इलेक्ट्रिकल इंजीनियरिंग पढ़ाने वाले एक वरिष्ठ व्याख्याता बिल स्वार्ट्ज ने कहा कि नेचर पेपर ने "बहुत सारे [शोधकर्ताओं] को अंधेरे में छोड़ दिया" क्योंकि परिणामों में इंटरनेट टाइटन के मालिकाना टीपीयू शामिल थे और इसलिए, सत्यापित करना असंभव था।

उन्होंने कहा कि Google के सॉफ़्टवेयर को प्रमुख बनाने के लिए Synopsys के सॉफ़्टवेयर के उपयोग की जाँच की जानी चाहिए। "हम सभी केवल वास्तविक एल्गोरिथम जानना चाहते हैं ताकि हम इसे पुन: उत्पन्न कर सकें। अगर [Google के] दावे सही हैं, तो हम इसे लागू करना चाहते हैं। विज्ञान होना चाहिए, सब वस्तुनिष्ठ होना चाहिए; अगर यह काम करता है, यह काम करता है," उन्होंने कहा।

प्रकृति ने बताया रजिस्टर यह Google के पेपर की जांच कर रहा है, हालांकि इसने ठीक-ठीक यह नहीं बताया कि वह क्या जांच कर रहा था और न ही क्यों।

नेचर के एक प्रवक्ता ने हमें बताया, "गोपनीयता कारणों से हम व्यक्तिगत मामलों के विवरण पर टिप्पणी नहीं कर सकते हैं।" "हालांकि, आम तौर पर बोलते हुए, जब जर्नल में प्रकाशित किसी भी पेपर के बारे में चिंताएं उठाई जाती हैं, तो हम एक स्थापित प्रक्रिया का ध्यानपूर्वक पालन करते हुए उन्हें देखते हैं।

"इस प्रक्रिया में लेखकों के साथ परामर्श शामिल है और जहां उपयुक्त हो, सहकर्मी समीक्षकों और अन्य बाहरी विशेषज्ञों से सलाह लेना शामिल है। एक बार हमारे पास निर्णय लेने के लिए पर्याप्त जानकारी होने के बाद हम उस प्रतिक्रिया का अनुसरण करते हैं जो सबसे उपयुक्त है और जो परिणाम के रूप में हमारे पाठकों के लिए स्पष्टता प्रदान करती है।

यह पहली बार नहीं है जब जर्नल ने अध्ययन के प्रकाशन के बाद की जांच की है, जो नए सिरे से जांच का सामना कर रहा है। मार्च 2022 में जोड़े गए लेखक सुधार के साथ Googlers का पेपर ऑनलाइन बना हुआ है, जिसमें a शामिल है संपर्क अध्ययन के तरीकों का पालन करने की कोशिश करने वालों के लिए Google के कुछ ओपन सोर्स सीटी कोड के लिए।

नो-प्रेट्रेनिंग और पर्याप्त गणना नहीं?

Google के पेपर के प्रमुख लेखक, Azalia Mirhoseini और Anna Goldie ने कहा कि UCSD टीम का काम उनकी पद्धति का सटीक कार्यान्वयन नहीं है। उन्होंने बताया कि प्रोफेसर कहंग के समूह ने खराब परिणाम प्राप्त किए क्योंकि उन्होंने अपने मॉडल को किसी भी डेटा पर पूर्व-प्रशिक्षित नहीं किया।

"एक सीखने-आधारित पद्धति निश्चित रूप से खराब प्रदर्शन करेगी यदि उसे पूर्व अनुभव से सीखने की अनुमति नहीं है। हमारे नेचर पेपर में, हम आयोजित परीक्षण मामलों पर मूल्यांकन करने से पहले 20 ब्लॉकों पर प्री-ट्रेन करते हैं," दोनों ने एक बयान में कहा [पीडीएफ].

प्रो काहंग की टीम ने भी अपने सिस्टम को उतनी ही कंप्यूटिंग शक्ति का उपयोग करके प्रशिक्षित नहीं किया जितना कि Google ने किया था, और सुझाव दिया कि यह कदम ठीक से नहीं किया गया होगा, जिससे मॉडल का प्रदर्शन खराब हो गया। मिरहोसेनी और गोल्डी ने यह भी कहा कि ईडीए अनुप्रयोगों का उपयोग करते हुए पूर्व-प्रसंस्करण कदम जो कि उनके नेचर पेपर में स्पष्ट रूप से वर्णित नहीं किया गया था, उल्लेख करने के लिए पर्याप्त महत्वपूर्ण नहीं था। 

"[यूसीएसडी] पेपर भौतिक संश्लेषण से क्लस्टर मानक कोशिकाओं के प्रारंभिक प्लेसमेंट के उपयोग पर केंद्रित है, लेकिन यह कोई व्यावहारिक चिंता का विषय नहीं है। किसी भी प्लेसमेंट पद्धति को चलाने से पहले भौतिक संश्लेषण किया जाना चाहिए," उन्होंने कहा। "यह चिप डिजाइन में मानक अभ्यास है।"

यूसीएसडी समूह, तथापि, कहा उन्होंने अपने मॉडल को पूर्व-प्रशिक्षित नहीं किया क्योंकि उनके पास Google के स्वामित्व वाले डेटा तक पहुंच नहीं थी। उन्होंने दावा किया, हालांकि, उनके सॉफ्टवेयर को इंटरनेट दिग्गज के दो अन्य इंजीनियरों द्वारा सत्यापित किया गया था, जिन्हें नेचर पेपर के सह-लेखक के रूप में भी सूचीबद्ध किया गया था। प्रोफेसर कहंग भौतिक डिजाइन पर इस वर्ष के अंतर्राष्ट्रीय संगोष्ठी में अपनी टीम का अध्ययन प्रस्तुत कर रहे हैं सम्मेलन मंगलवार।

इस बीच, Google अपने टीपीयू को बढ़ाने के लिए सुदृढीकरण-सीखने-आधारित तकनीकों का उपयोग करना जारी रखता है, जो इसके डेटासेंटर में सक्रिय रूप से उपयोग किए जाते हैं।

निकाल दिए गए Googler का दावा है कि आकर्षक क्लाउड सौदे के लिए शोध को प्रचारित किया गया था

अलग से, Google के नेचर पेपर के अलौकिक प्रदर्शन के दावों को इंटरनेट दिग्गज के भीतर आंतरिक रूप से विवादित किया गया था। पिछले साल मई में, एआई शोधकर्ता सत्रजीत चटर्जी को कारणवश Google से निकाल दिया गया था; उन्होंने दावा किया कि उन्हें जाने दिया गया क्योंकि उन्होंने नेचर अध्ययन की आलोचना की थी और पेपर के निष्कर्षों का विरोध किया था। चटर्जी को यह भी बताया गया कि Google पहले अध्ययन की आलोचना करते हुए उनका पेपर प्रकाशित नहीं करेगा।

उन पर अन्य Googlers द्वारा उनकी आलोचना में बहुत आगे जाने का भी आरोप लगाया गया था - जैसे, उदाहरण के लिए, कथित तौर पर मौखिक रूप से काम को "ट्रेन दुर्घटना" और "टायर में आग" के रूप में वर्णित करना - और उनके कथित व्यवहार के लिए उन्हें HR जांच के तहत रखा गया था।

चटर्जी ने तब से सांता क्लारा में कैलिफोर्निया के सुपीरियर कोर्ट में Google पर गलत तरीके से समाप्ति का दावा करते हुए मुकदमा दायर किया है। चटर्जी ने इस कहानी पर टिप्पणी करने से इनकार कर दिया, और उन्होंने किसी भी गलत काम से इनकार किया। चटर्जी को हटाए जाने के बाद 2022 के मध्य में मिरहोसिनी और गोल्डी ने Google छोड़ दिया।

गूगल के खिलाफ उनकी शिकायत में, जिसे संशोधित किया गया था [पीडीएफ] पिछले महीने, चटर्जी के वकीलों ने दावा किया कि वेब जायंट "कंपनी एस" के साथ अपने एआई-आधारित फ्लोरप्लान-जेनरेटिंग सॉफ़्टवेयर का व्यावसायीकरण करने के बारे में सोच रहा था, जबकि वह उस समय एस के साथ $120 मिलियन मूल्य के Google क्लाउड सौदे पर बातचीत कर रहा था। चटर्जी ने दावा किया कि Google ने कंपनी S को इस महत्वपूर्ण व्यावसायिक समझौते के साथ जहाज पर लाने में मदद करने के लिए फ्लोरप्लान पेपर का समर्थन किया।

"अध्ययन [कंपनी एस] के साथ संभावित व्यावसायीकरण की दिशा में पहले कदम के रूप में किया गया था (और [कंपनी एस] से संसाधनों के साथ आयोजित किया गया था)। चूंकि यह एक बड़ी संभावित क्लाउड डील के संदर्भ में किया गया था, इसलिए यह कहना अनैतिक होगा कि हमारे पास क्रांतिकारी तकनीक थी जब हमारे परीक्षण अन्यथा दिखाते थे, "चटर्जी ने Google के सीईओ सुंदर पिचाई, उपाध्यक्ष और इंजीनियरिंग फेलो जे को एक ईमेल में लिखा था। याग्निक, और गूगल रिसर्च के वीपी राहुल सुकथंकर, जिसे मुकदमे के हिस्से के रूप में खुलासा किया गया था।

उनके अदालती दाखिलों ने Google पर अपने अध्ययन के परिणामों को "ओवरस्टेटिंग" करने का आरोप लगाया, और "क्लाउड कंप्यूटिंग सौदे पर हस्ताक्षर करने के लिए इसे प्रेरित करने के लिए जानबूझकर कंपनी एस से सामग्री की जानकारी को रोक दिया," प्रभावी रूप से अन्य व्यवसाय को लुभाने के लिए जो उन्होंने संदिग्ध तकनीक के रूप में देखा।

कंपनी एस को अदालती दस्तावेजों में "इलेक्ट्रॉनिक डिजाइन ऑटोमेशन कंपनी" के रूप में वर्णित किया गया है। मामले की जानकारी रखने वाले लोगों ने बताया रजिस्टर कंपनी S Synopsys है।

Synopsys और Google ने टिप्पणी करने से इनकार कर दिया। ®

क्या आर्टिफिशियल इंटेलिजेंस की दुनिया के अंदर कोई कहानी है जिसे आप साझा करना चाहते हैं? हमसे बात करें विश्वास में।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• स्रोत: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/