Googlen väitteet super-ihmisen AI-sirun asettelusta takaisin mikroskoopin alle

Erikois raportti Nature-lehdessä julkaistu Googlen johtama tutkimuspaperi, jonka mukaan koneoppimisohjelmisto voi suunnitella parempia siruja nopeammin kuin ihmiset, on asetettu kyseenalaiseksi, kun uusi tutkimus kiisti sen tulokset.

Kesäkuussa 2021 Google teki pääotsikot Vahvistusoppimiseen perustuvan järjestelmän kehittämiseen, joka pystyy luomaan automaattisesti optimoituja mikrosirupohjapiirroksia. Nämä suunnitelmat määrittävät elektronisten piirien lohkojen sijoittelun sirussa: missä asiat, kuten CPU- ja GPU-ytimet sekä muisti- ja oheisohjaimet, todella istuvat fyysisen piin päällä.

Google sanoi käyttävänsä tätä tekoälyohjelmistoa suunnitellakseen kotitekoisia TPU-siruja, jotka nopeuttavat tekoälyn työmäärää: se käytti koneoppimista saadakseen muut koneoppimisjärjestelmänsä toimimaan nopeammin. 

Sirun pohjapiirros on tärkeä, koska se määrää, kuinka hyvin prosessori toimii. Sirun piirien lohkot kannattaa järjestää huolellisesti niin, että esimerkiksi signaalit ja data etenevät näiden alueiden välillä halutulla nopeudella. Insinöörit viettävät yleensä viikkoja tai kuukausia hiomalla suunnitelmiaan löytääkseen optimaalisen kokoonpanon. Kaikki eri osajärjestelmät on sijoitettava tietyllä tavalla, jotta siru olisi mahdollisimman tehokas, energiatehokas ja pieni. 

Pohjapiirroksen tuottaminen nykyään sisältää yleensä yhdistelmän manuaalista työtä ja automaatiota käyttämällä sirusuunnittelusovelluksia. Googlen tiimi yritti osoittaa, että sen vahvistus-oppimismenetelmä tuottaisi parempia malleja kuin pelkät insinöörit alan työkaluja käyttämällä. Paitsi, että Google sanoi, että sen malli valmistui paljon nopeammin kuin suunnittelijat, jotka iteroivat asetteluja.

"Viiden vuosikymmenen tutkimuksesta huolimatta sirupohjasuunnittelu on uhmannut automaatiota, mikä vaatii fyysisiltä suunnitteluinsinööreiltä kuukausien intensiivistä työtä valmistaakseen valmistettavan asettelun... Alle kuudessa tunnissa menetelmämme luo automaattisesti sirupohjapiirroksia, jotka ovat ylivoimaisia ​​tai verrattavissa ihmisten tuottamiin pohjapiirroksiin. keskeisiä mittareita, Googlen työntekijät kirjoitti Nature-lehdessään.

Tutkimus sai elektronisen suunnittelun automaatioyhteisön huomion, joka oli jo siirtymässä koneoppimisalgoritmien sisällyttämiseen ohjelmistoihinsä. Nyt Kalifornian yliopiston San Diegon (UCSD) tiimi on haastanut Googlen väitteet sen ihmisistä paremmasta mallista.

Epäreilu etu?

Tietojenkäsittelytieteen ja tekniikan professorin Andrew Kahngin johtama ryhmä käytti kuukausia käänteisen suunnittelun pohjasuunnittelua, jonka Google kuvaili Naturessa. Verkkojättiläinen salasi joitain yksityiskohtia mallinsa sisäisestä toiminnasta kaupalliseen herkkyyteen vedoten, joten UCSD:n oli keksittävä, kuinka tehdä oma täydellinen versio Googlen työntekijöiden havaintojen vahvistamiseksi. Huomaamme, että professori Kahng toimi Naturen arvioijana Googlen paperin vertaisarviointiprosessin aikana.

Yliopistotutkijat löysivät lopulta oman luomuksensa alkuperäisestä Google-koodista, jota kutsuttiin piirikoulutukseksi (CT) heidän tutkimukseensa, suoriutuivat itse asiassa huonommin kuin ihmiset perinteisillä teollisuuden menetelmillä ja työkaluilla.

Mistä tämä ristiriita on voinut johtua? Voidaan sanoa, että virkistys oli epätäydellinen, vaikka siihen voi olla toinenkin selitys. Ajan myötä UCSD-tiimi sai tietää, että Google oli käyttänyt kaupallisia ohjelmistoja, jotka oli kehittänyt Synopsys, joka on merkittävä elektronisen suunnittelun automaation (EDA) valmistaja, luodakseen sirun logiikkaporttien aloitusjärjestelyn, jonka verkkojättiläisen vahvistusoppimisjärjestelmä sitten optimoisi.

Kokeet osoittavat, että alustavien sijoitustietojen saaminen voi parantaa merkittävästi TT-tuloksia

Google-paperi mainitsi, että käytettiin alan standardiohjelmistotyökaluja ja manuaalista säätämistä jälkeen malli oli luonut asettelun ensisijaisesti varmistaakseen, että prosessori toimii tarkoitetulla tavalla ja viimeistellä sen valmistusta varten. Googlen työntekijät väittivät, että tämä oli välttämätön askel, olipa pohjapiirros tehty koneoppimisalgoritmilla tai ihmisten luomalla vakiotyökaluilla, joten malli ansaitsi kiitoksen optimoidusta lopputuotteesta.

UCSD-tiimi kuitenkin sanoi, että Nature-paperissa ei mainita EDA-työkalujen käytöstä etukäteen valmistella asettelu mallille toistettavaksi. Väitetään, että nämä Synopsys-työkalut ovat saattaneet antaa mallille riittävän etumatkan, jotta tekoälyjärjestelmän todelliset ominaisuudet tulisi kyseenalaistaa.

"Tämä ei käynyt ilmi paperikatsauksen aikana", yliopiston tiimi kirjoitti Synopsysin sarjan käytöstä mallin asettelun valmisteluun, "eikä sitä mainita Naturessa. Kokeet osoittavat, että alustavien sijoitustietojen saaminen voi parantaa merkittävästi TT-tuloksia."

Luonto tutkii Googlen tutkimusta

Jotkut tutkijat ovat sittemmin kehottaneet Naturea tarkistamaan Googlen paperin UCSD:n tutkimuksen valossa. Sähköpostissa tarkastelemaan päiväkirjaan Rekisteri, tutkijat korostivat professori Kahngin ja hänen kollegoidensa esittämiä huolenaiheita ja kyseenalaistivat, oliko Googlen paperi harhaanjohtava.

Bill Swartz, johtava luennoitsija, joka opettaa sähkötekniikkaa Texasin yliopistossa Dallasissa, sanoi Nature-paperin "jätti monet [tutkijat] hämärään", koska tulokset koskivat Internet-titaanin omia TPU:ita ja siksi niitä on mahdotonta varmistaa.

Synopsys-ohjelmiston käyttöä Googlen ohjelmistojen valmistukseen on tutkittava, hän sanoi. "Me kaikki haluamme vain tietää todellisen algoritmin, jotta voimme toistaa sen. Jos [Googlen] väitteet pitävät paikkansa, haluamme toteuttaa sen. Tiedettä pitäisi olla, sen kaiken pitäisi olla objektiivista; jos se toimii, se toimii", hän sanoi.

Luonto kertoi Rekisteri se tutkii Googlen paperia, vaikka se ei kertonut tarkalleen, mitä se tutki tai miksi.

"Emme voi kommentoida yksittäisten tapausten yksityiskohtia luottamuksellisuussyistä", Naturen tiedottaja kertoi meille. "Kuitenkin yleisesti ottaen, kun lehdessä julkaistuista kirjoituksista herää huolta, tutkimme niitä huolellisesti vakiintuneen prosessin mukaisesti.

"Tässä prosessissa kuullaan tekijöitä ja pyydetään tarvittaessa neuvoja vertaisarvioijilta ja muilta ulkopuolisilta asiantuntijoilta. Kun meillä on tarpeeksi tietoa päätöksen tekemiseen, seuraamme sopivinta vastausta, joka antaa lukijoillemme selkeyden tuloksesta."

Tämä ei ole ensimmäinen kerta, kun lehti on suorittanut julkaisun jälkeisen tutkimuksen tutkimuksesta, jota tarkastellaan uudelleen. Googlen työntekijöiden artikkeli on pysynyt verkossa, ja maaliskuussa 2022 lisätty tekijän korjaus, joka sisälsi a linkkiä joihinkin Googlen avoimen lähdekoodin CT-koodiin niille, jotka yrittävät seurata tutkimuksen menetelmiä.

Ei harjoittelua eikä tarpeeksi laskemista?

Googlen paperin johtavat kirjoittajat Azalia Mirhoseini ja Anna Goldie sanoivat, että UCSD-tiimin työ ei ole heidän menetelmänsä tarkka toteutus. He huomauttivat, että professori Kahngin ryhmä sai huonompia tuloksia, koska he eivät esikouluttaneet malliaan millään tiedolla.

”Oppimiseen perustuva menetelmä toimii tietysti huonommin, jos sen ei sallita oppia aikaisemmasta kokemuksesta. Nature-paperissamme harjoittelemme 20 lohkoa ennen kuin arvioimme pidennettyjä testitapauksia", he sanoivat lausunnossaan [PDF].

Professori Kahngin tiimi ei myöskään kouluttanut järjestelmäänsä käyttämällä samaa laskentatehoa kuin Google käytti, ja ehdotti, että tätä vaihetta ei ehkä suoritettu kunnolla, mikä lamauttaa mallin suorituskyvyn. Mirhoseini ja Goldie sanoivat myös, että esikäsittelyvaihe EDA-sovelluksilla, jota ei ollut erikseen kuvattu heidän Nature-paperissaan, ei ollut tarpeeksi tärkeä mainittavaksi. 

"[UCSD]-paperi keskittyy alkuperäisen sijoittelun käyttöön fysikaalisesta synteesistä klusteristandardisoluihin, mutta tällä ei ole käytännön merkitystä. Fyysinen synteesi on suoritettava ennen minkään sijoitusmenetelmän suorittamista", he sanoivat. "Tämä on vakiokäytäntö sirusuunnittelussa."

UCSD-ryhmä kuitenkin sanoi he eivät esikouluttaneet malliaan, koska heillä ei ollut pääsyä Googlen omistamiin tietoihin. He väittivät kuitenkin, että heidän ohjelmistonsa oli varmentanut kaksi muuta Internet-jättiläisen insinööriä, jotka myös oli listattu Nature-lehden kirjoittajiksi. Professori Kahng esittelee tiiminsä tutkimusta tämän vuoden kansainvälisessä fyysisen suunnittelun symposiumissa konferenssi Tiistai.

Samaan aikaan Google jatkaa vahvistusoppimiseen perustuvien tekniikoiden käyttöä parantaakseen TPU:taan, joita käytetään aktiivisesti sen tietokeskuksissa.

Erotettu Googlen työntekijä väittää, että tutkimusta haettiin tuottoisasta pilvisopimuksesta

Googlen Nature-lehden väitteet yli-inhimillisistä suorituksista kiisteltiin sisäisesti Internet-goliatissa. Viime vuoden toukokuussa tekoälytutkija Satrajit Chatterjee erotettiin Googlesta syystä; hän väitti, että hänet päästettiin irti, koska hän oli arvostellut Nature-tutkimusta ja kiistänyt lehden tulokset. Chatterjeelle kerrottiin myös, että Google ei julkaise hänen ensimmäistä tutkimusta arvostelevaa paperiaan.

Muut Googlen työntekijät syyttivät häntä myös siitä, että hän meni liian pitkälle kritisoinnissaan – esimerkiksi väitettiin, että hän kuvaili teoksen sanallisesti ”junaonnettomuudeksi” ja ”rengaspaloksi”, ja hänet asetettiin HR-tutkinnan kohteeksi väitetyn käytöksensä vuoksi.

Chatterjee on sittemmin haastanut Googlen oikeuteen Kalifornian oikeuteen Santa Clarassa väittäen luvattoman irtisanomisen. Chatterjee kieltäytyi kommentoimasta tätä tarinaa ja kiistää kaikki väärinkäytökset. Mirhoseini ja Goldie jättivät Googlen vuoden 2022 puolivälissä sen jälkeen, kun Chatterjee kirvettiin.

Googlea vastaan ​​esittämässään valituksessa, jota muutettiin [PDF] viime kuussa Chatterjeen asianajajat väittivät, että verkkojätti ajatteli tekoälypohjaisen pohjapiirrosohjelmistonsa kaupallistamista "Company S" kanssa, kun se neuvotteli tuolloin S:n kanssa 120 miljoonan dollarin arvoisesta Google Cloud -sopimuksesta. Chatterjee väitti, että Google puolusti pohjapiirrospaperia saadakseen yrityksen S:n mukaan tähän merkittävään kaupalliseen sopimukseen.

"Tutkimus tehtiin osittain ensimmäisenä askeleena kohti mahdollista kaupallistamista [Yritys S]:n kanssa (ja suoritettiin [Yritys S]:n resursseilla). Koska se tehtiin suuren mahdollisen Cloud-kaupan yhteydessä, olisi ollut epäeettistä antaa ymmärtää, että meillä oli vallankumouksellinen tekniikka, kun testimme osoittivat toisin”, Chatterjee kirjoitti sähköpostissa Googlen toimitusjohtajalle Sundar Pichaille, varajohtajalle ja insinööritutkija Jaylle. Yagnik ja Google Researchin varapääjohtaja Rahul Sukthankar, joka paljastettiin osana oikeusjuttua.

Hänen oikeudenkäyntihakemuksensa syyttivät Googlea tutkimuksensa tulosten "liioittamisesta" ja "yrityksen S:n tarkoituksellisesta pidättämisestä olennaisten tietojen saattamiseksi siihen, että se allekirjoittaisi pilvipalvelusopimuksen", mikä tehokkaasti houkutteli toista yritystä käyttämällä hänen mielestään kyseenalaista tekniikkaa.

Yritys S on kuvattu oikeudenkäyntiasiakirjoissa "elektronisen suunnittelun automaatioyritykseksi". Asiaan perehtyneet ihmiset kertoivat Rekisteri Yritys S on Synopsys.

Synopsys ja Google kieltäytyivät kommentoimasta. ®

Onko tekoälyn maailmassa tarina, jonka haluat jakaa? Puhu meille luottamuksellisesti.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/