Google's Claims Of Super-human AI Chip Layout Back Under The Microscope

Ponovno objavil Platon

Spremljevalci: 0

Google's claims of super-human AI chip layout back under the microscope PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Posebno poročilo Raziskovalni članek pod vodstvom Googla, objavljen v Nature, ki trdi, da lahko programska oprema za strojno učenje oblikuje boljše čipe hitreje kot ljudje, je bil postavljen pod vprašaj, potem ko je nova študija izpodbijala njene rezultate.

Junija 2021 je Google naredil naslovi za razvoj sistema, ki temelji na okrepitvenem učenju in je sposoben samodejno generirati optimizirane tlorise mikročipov. Ti načrti določajo razporeditev blokov elektronskega vezja znotraj čipa: kjer stvari, kot so jedra CPE in GPU ter pomnilnik in periferni krmilniki, dejansko sedijo na fizičnem siliciju.

Google je dejal, da uporablja to programsko opremo z umetno inteligenco za oblikovanje svojih domačih čipov TPU, ki pospešujejo delovne obremenitve z umetno inteligenco: uporabljal je strojno učenje za hitrejše delovanje svojih drugih sistemov za strojno učenje.

Tloris čipa je pomemben, ker narekuje, kako dobro deluje procesor. Boste želeli skrbno razporediti bloke vezij čipa, tako da se na primer signali in podatki med temi področji širijo z želeno hitrostjo. Inženirji običajno porabijo tedne ali mesece za izpopolnjevanje svojih načrtov in poskušajo najti optimalno konfiguracijo. Vsi različni podsistemi morajo biti nameščeni na poseben način, da se proizvede čim močnejši, energijsko učinkovit in majhen čip.

Izdelava tlorisa danes običajno vključuje mešanico ročnega dela in avtomatizacije z uporabo aplikacij za načrtovanje čipov. Googlova ekipa je skušala dokazati, da bi njen pristop krepitvenega učenja ustvaril boljše načrte od tistih, ki jih izdelajo samo človeški inženirji z uporabo industrijskih orodij. Ne le to, Google je dejal, da je njegov model opravil svoje delo veliko hitreje kot inženirji, ki ponavljajo postavitve.

»Kljub petim desetletjem raziskav je tloris čipov kljuboval avtomatizaciji, kar je zahtevalo mesece intenzivnega truda inženirjev fizičnega oblikovanja, da bi izdelali postavitev, ki jo je mogoče izdelati ... V manj kot šestih urah naša metoda samodejno ustvari tlorise čipov, ki so boljši ali primerljivi s tistimi, ki jih ustvarijo ljudje v vseh pogledih. ključne meritve,« Googlovci Napisal v svojem časopisu Nature.

Raziskava je pritegnila pozornost skupnosti za avtomatizacijo elektronskega načrtovanja, ki se je že premikala proti vključevanju algoritmov strojnega učenja v svoje programske pakete. Zdaj je Googlova trditev o njegovem modelu boljši od človeka izpodbijala skupina na Univerzi Kalifornije v San Diegu (UCSD).

Nepoštena prednost?

Ta skupina, ki jo je vodil Andrew Kahng, profesor računalništva in inženiringa, je mesece porabila za vzvratno inženirstvo cevovoda za načrtovanje tal, ki ga je Google opisal v Nature. Spletni gigant je zamolčal nekatere podrobnosti o notranjem delovanju svojega modela, pri čemer se je skliceval na komercialno občutljivost, zato je moral UCSD ugotoviti, kako narediti lastno popolno različico, da bi preveril ugotovitve Googlovih delavcev. Opažamo, da je profesor Kahng služil kot recenzent za Nature med postopkom strokovnega pregleda Googlovega dokumenta.

Univerzitetni akademiki so nazadnje našli lastno poustvaritev izvirne Googlove kode, imenovane krožno usposabljanje (CT) v njihovo študijo, so dejansko delovali slabše kot ljudje z uporabo tradicionalnih industrijskih metod in orodij.

Kaj bi lahko povzročilo to neskladje? Lahko bi rekli, da je bila rekreacija nepopolna, čeprav morda obstaja druga razlaga. Sčasoma je ekipa UCSD izvedela, da je Google uporabil komercialno programsko opremo, ki jo je razvil Synopsys, glavni izdelovalec paketov za avtomatizacijo elektronskega načrtovanja (EDA), da bi ustvaril začetno razporeditev logičnih vrat čipa, ki jih je sistem spletnega velikana za okrepitev učenja nato optimiziral.

Poskusi kažejo, da lahko informacije o začetni postavitvi bistveno izboljšajo rezultate CT

V Googlovem dokumentu je bilo omenjeno, da so bila uporabljena standardna programska orodja in ročno prilagajanje po model je ustvaril postavitev, predvsem za zagotovitev, da bo procesor deloval, kot je predvideno, in ga dokončal za izdelavo. Zaposleni pri Googlu so trdili, da je to nujen korak, ne glede na to, ali je tloris ustvaril algoritem strojnega učenja ali ljudje s standardnimi orodji, in zato si njegov model zasluži zasluge za optimiziran končni izdelek.

Vendar pa je ekipa UCSD dejala, da v dokumentu Nature ni omenjenih orodij EDA predhodno pripraviti postavitev za model, ki ga je treba ponoviti. Trdijo, da so ta orodja Synopsys morda dala modelu dovolj spodobno prednost, da bi bilo treba resnične zmogljivosti sistema AI postaviti pod vprašaj.

»To ni bilo očitno med pregledom papirja,« je univerzitetna ekipa zapisala o uporabi Synopsysovega paketa za pripravo postavitve modela, »in ni omenjeno v Nature. Poskusi kažejo, da lahko informacije o začetni postavitvi znatno izboljšajo rezultate CT.«

Narava raziskuje Googlovo raziskavo

Nekateri akademiki so od takrat pozvali Nature, naj pregleda Googlov dokument v luči študije UCSD. V e-poštnih sporočilih reviji, ki si jo ogleduje Register, so raziskovalci izpostavili pomisleke, ki so jih izpostavili prof. Kahng in njegovi sodelavci, ter se spraševali, ali je Googlov dokument zavajajoč.

Bill Swartz, višji predavatelj, ki poučuje elektrotehniko na teksaški univerzi v Dallasu, je dejal, da je dokument Nature "pustil veliko [raziskovalcev] v temi", saj so rezultati vključevali lastniške TPU internetnega titana in jih je zato nemogoče preveriti.

Treba je raziskati uporabo Synopsysove programske opreme za pripravo Googlove programske opreme, je dejal. »Vsi samo želimo vedeti dejanski algoritem, da ga lahko reproduciramo. Če [Googlove] trditve držijo, potem jih želimo izvesti. Morala bi biti znanost, vse bi moralo biti objektivno; če deluje, deluje,« je dejal.

Narava je povedala Register preučuje Googlov dokument, čeprav ni natančno povedal, kaj preiskuje niti zakaj.

"Zaradi zaupnosti ne moremo komentirati podrobnosti posameznih primerov," nam je povedal tiskovni predstavnik Nature. »Vendar na splošno, ko se pojavijo pomisleki glede katerega koli članka, objavljenega v reviji, jih skrbno preučimo po ustaljenem postopku.

»Ta postopek vključuje posvetovanje z avtorji in, kjer je primerno, iskanje nasvetov pri strokovnih ocenjevalcih in drugih zunanjih strokovnjakih. Ko imamo dovolj informacij za odločitev, sledimo odgovoru, ki je najbolj primeren in ki našim bralcem zagotavlja jasnost glede izida.«

To ni prvič, da je revija opravila študijo po objavi, ki se sooča s ponovnim nadzorom. Članek zaposlenih pri Googlu je ostal na spletu z avtorskim popravkom, dodanim marca 2022, ki je vključeval a povezava na nekaj Googlove odprtokodne kode CT za tiste, ki poskušajo slediti metodam študije.

Brez predhodnega usposabljanja in premalo računalništva?

Vodilni avtorici Googlovega dokumenta Azalia Mirhoseini in Anna Goldie sta dejali, da delo ekipe UCSD ni natančna implementacija njihove metode. Poudarili so, da je skupina profesorja Kahnga dosegla slabše rezultate, saj svojega modela niso predhodno usposobili na nobenih podatkih.

»Metoda, ki temelji na učenju, bo seveda slabša, če se ne bo učila iz predhodnih izkušenj. V našem dokumentu Nature se predhodno usposabljamo na 20 blokih, preden ocenimo na zadržanih testnih primerih,« sta dejala v izjavi [PDF].

Ekipa profesorja Kahnga prav tako ni usposobila svojega sistema z uporabo enake količine računalniške moči, kot jo je uporabil Google, in predlagala, da ta korak morda ni bil izveden pravilno, kar je ohromilo delovanje modela. Mirhoseini in Goldie sta tudi dejala, da korak predhodne obdelave z uporabo aplikacij EDA, ki ni bil izrecno opisan v njunem dokumentu Nature, ni bil dovolj pomemben, da bi ga omenil.

»Dokument [UCSD] se osredotoča na uporabo začetne postavitve od fizične sinteze do standardnih celic grozda, vendar to praktično ni zaskrbljujoče. Fizično sintezo je treba izvesti pred izvajanjem katere koli metode umestitve,« so povedali. "To je standardna praksa pri načrtovanju čipov."

Skupina UCSD pa je je dejal svojega modela niso predhodno usposobili, ker niso imeli dostopa do Googlovih lastniških podatkov. Trdili pa so, da sta njihovo programsko opremo preverila dva druga inženirja pri spletnem velikanu, ki sta bila tudi navedena kot soavtorja časopisa Nature. Profesor Kahng predstavlja študijo svoje ekipe na letošnjem mednarodnem simpoziju o fizičnem oblikovanju Konferenca Torek.

Medtem Google še naprej uporablja tehnike, ki temeljijo na učenju krepitve, za izboljšanje svojih TPU-jev, ki se aktivno uporabljajo v njegovih podatkovnih centrih.

Odpuščeni Googlov delavec trdi, da je bila raziskava napeta zaradi donosnega posla v oblaku

Separately, Google’s Nature paper’s claims of superhuman performance were disputed internally within the internet goliath. In May last year, Satrajit Chatterjee, an AI researcher, was fired from Google with cause; he claimed he was let go was because he had criticized the Nature study and contested the paper’s findings. Chatterjee was also told Google wouldn’t publish his paper critiquing the first study.

He was also accused by other Googlers of going too far in his criticism – such as, for instance, allegedly verbally describing the work as a “train wreck” and a “tire fire” – and was placed under HR investigation for his alleged behavior.

Chatterjee has since sued Google in the Superior Court of California in Santa Clara claiming wrongful termination. Chatterjee declined to comment for this story, and he denies any wrongdoing. Mirhoseini and Goldie left Google in mid-2022 after Chatterjee was axed.

V svoji pritožbi proti Googlu, ki je bila spremenjena [PDF] prejšnji mesec so Chatterjeejevi odvetniki trdili, da je spletni gigant razmišljal o komercializaciji svoje programske opreme za ustvarjanje tlorisov, ki temelji na umetni inteligenci, s podjetjem S, medtem ko se je takrat s podjetjem S pogajal o poslu Google Cloud, ki naj bi bil vreden 120 milijonov dolarjev. Chatterjee je trdil, da je Google zagovarjal tlorisni papir, da bi prepričal podjetje S, da se vključi v ta pomemben komercialni pakt.

»Študija je bila deloma narejena kot prvi korak k morebitni komercializaciji s [podjetjem S] (in izvedena z viri [podjetja S]). Ker je bilo to storjeno v kontekstu velikega potencialnega posla v oblaku, bi bilo neetično namigovati, da imamo revolucionarno tehnologijo, ko so naši testi pokazali drugače,« je Chatterjee zapisal v elektronskem sporočilu izvršnemu direktorju Googla Sundarju Pichaiju, podpredsedniku in inženirskemu sodelavcu Jayu. Yagnik in podpredsednik Googlovih raziskav Rahul Sukthankar, ki je bil razkrit kot del tožbe.

Njegove sodne vloge so obtožile Google, da je "precenjeval" rezultate svoje študije in "namerno zamolčal pomembne podatke podjetju S, da bi ga spodbudil k podpisu pogodbe o računalništvu v oblaku", s čimer je dejansko pridobil drugo podjetje z uporabo, po njegovem mnenju vprašljive tehnologije.

Podjetje S je v sodnih dokumentih opisano kot "podjetje za avtomatizacijo elektronskega načrtovanja". Poznavalci so povedali Register Podjetje S je Synopsys.

Synopsys in Google sta zavrnila komentiranje. ®

Ali obstaja kakšna zgodba v svetu umetne inteligence, ki bi jo radi delili? Pogovorite se z nami v zaupanju.