Googles påstander om supermenneskelig AI-brikkeoppsett tilbake under lupen

Spesialrapport En Google-ledet forskningsartikkel publisert i Nature, som hevder maskinlæringsprogramvare kan designe bedre brikker raskere enn mennesker, har blitt stilt spørsmål ved etter at en ny studie bestridte resultatene.

I juni 2021 laget Google overskrifter for å utvikle et forsterkningslæringsbasert system som er i stand til automatisk å generere optimaliserte mikrochip-planløsninger. Disse planene bestemmer arrangementet av blokker med elektroniske kretser i brikken: der ting som CPU- og GPU-kjerner, og minne- og periferkontrollere, faktisk sitter på den fysiske silisiumformen.

Google sa at de brukte denne AI-programvaren til å designe sine hjemmelagde TPU-brikker som akselererer AI-arbeidsbelastninger: den brukte maskinlæring for å få de andre maskinlæringssystemene til å kjøre raskere. 

Planløsningen til en brikke er viktig fordi den dikterer hvor godt prosessoren yter. Du vil ønske å ordne blokker av brikkens kretser nøye slik at for eksempel signaler og data forplanter seg mellom disse områdene med en ønsket hastighet. Ingeniører bruker vanligvis uker eller måneder på å finpusse designene sine for å finne den optimale konfigurasjonen. Alle de forskjellige undersystemene må plasseres på en bestemt måte for å produsere en chip så kraftig, energieffektiv og liten som mulig. 

Å produsere en planløsning i dag innebærer vanligvis en blanding av manuelt arbeid og automatisering ved bruk av chipdesignapplikasjoner. Googles team forsøkte å demonstrere at deres tilnærming til forsterkningslæring ville produsere design bedre enn de som bare ble laget av menneskelige ingeniører ved hjelp av industriverktøy. Ikke nok med det, Google sa at modellen fullførte arbeidet mye raskere enn ingeniører som itererte over oppsett.

"Til tross for fem tiår med forskning, har planlegging av brikkegulv trosset automatisering, og krever måneder med intens innsats av fysiske designingeniører for å produsere fabrikerbar layout ... På under seks timer genererer metoden vår automatisk planløsninger for flis som er overlegne eller sammenlignbare med de som produseres av mennesker i alle fall nøkkeltall», Googlers skrev i deres Nature-papir.

Forskningen fikk oppmerksomheten til det elektroniske designautomatiseringssamfunnet, som allerede var på vei mot å inkorporere maskinlæringsalgoritmer i programvarepakkene deres. Nå har Googles påstander om sin bedre enn-menneske-modell blitt utfordret av et team ved University of California, San Diego (UCSD).

Urettferdig fordel?

Ledet av Andrew Kahng, en professor i informatikk og ingeniørfag, brukte denne gruppen måneder på omvendt utvikling av gulvplanleggingsrørledningen som Google beskrev i Nature. Nettgiganten holdt tilbake noen detaljer om modellens indre funksjoner, med henvisning til kommersiell følsomhet, så UCSD måtte finne ut hvordan de skulle lage sin egen komplette versjon for å verifisere Googlers funn. Vi legger merke til at professor Kahng fungerte som anmelder for Nature under fagfellevurderingsprosessen til Googles artikkel.

Universitetsakademikerne fant til slutt sin egen gjenskaping av den originale Google-koden, referert til som kretstrening (CT) i deres studie, faktisk presterte dårligere enn mennesker ved å bruke tradisjonelle industrimetoder og verktøy.

Hva kan ha forårsaket denne uoverensstemmelsen? Man kan si at rekreasjonen var ufullstendig, selv om det kan være en annen forklaring. Over tid fikk UCSD-teamet vite at Google hadde brukt kommersiell programvare utviklet av Synopsys, en stor produsent av elektronisk designautomatisering (EDA), for å lage et startarrangement av brikkens logiske porter som nettgigantens forsterkningslæringssystem deretter optimaliserte.

Eksperimenter viser at å ha informasjon om innledende plassering kan forbedre CT-resultatene betydelig

Google-artikkelen nevnte at industristandard programvareverktøy og manuell justering ble brukt etter modellen hadde generert en layout, først og fremst for å sikre at prosessoren ville fungere etter hensikten og fullføre den for fabrikasjon. Googlers hevdet at dette var et nødvendig skritt enten planløsningen ble skapt av en maskinlæringsalgoritme eller av mennesker med standardverktøy, og derfor fortjente modellen kreditt for det optimaliserte sluttproduktet.

Imidlertid sa UCSD-teamet at det ikke var noen omtale i Nature-papiret om EDA-verktøy som ble brukt på forhånd å forberede et oppsett som modellen kan gjentas. Det hevdes at disse Synopsys-verktøyene kan ha gitt modellen et anstendig nok forsprang til at AI-systemets sanne evner bør trekkes i tvil.

"Dette var ikke tydelig under papirgjennomgangen," skrev universitetsteamet om bruken av Synopsys' suite for å forberede et oppsett for modellen, "og er ikke nevnt i Nature. Eksperimenter viser at å ha informasjon om innledende plassering kan forbedre CT-resultatene betydelig.

Naturen undersøker Googles forskning

Noen akademikere har siden oppfordret Nature til å gjennomgå Googles papir i lys av UCSDs studie. I e-poster til journalen sett av Registeret, fremhevet forskere bekymringer reist av prof Kahng og hans kolleger, og stilte spørsmål ved om Googles artikkel var villedende.

Bill Swartz, en universitetslektor som underviser i elektroteknikk ved University of Texas i Dallas, sa at Nature-avisen «etterlot mange [forskere] i mørket» siden resultatene involverte internett-titanens proprietære TPU-er og derfor umulig å verifisere.

Bruken av Synopsys' programvare for å prime Googles programvare må undersøkes, sa han. "Vi vil alle bare vite den faktiske algoritmen slik at vi kan reprodusere den. Hvis [Googles] påstander er riktige, vil vi implementere det. Det skal være vitenskap, det hele skal være objektivt; hvis det fungerer, fungerer det, sa han.

Naturen fortalte Registeret den ser på Googles papir, selv om den ikke sa nøyaktig hva den undersøkte eller hvorfor.

"Vi kan ikke kommentere detaljene i enkeltsaker av konfidensialitetsgrunner," sa en talsperson for Nature til oss. "Men generelt sett, når det reises bekymringer om en artikkel publisert i tidsskriftet, ser vi på dem nøye etter en etablert prosess.

"Denne prosessen innebærer konsultasjon med forfatterne og, der det er hensiktsmessig, å søke råd fra fagfellebedømmere og andre eksterne eksperter. Når vi har nok informasjon til å ta en avgjørelse, følger vi opp med det svaret som er mest hensiktsmessig og som gir klarhet for våre lesere om resultatet.»

Dette er ikke første gang tidsskriftet har utført en etterpublikasjonsundersøkelse av studien, som står overfor fornyet gransking. Googlers avis har holdt seg på nettet med en forfatterkorreksjon lagt til i mars 2022, som inkluderte en link til noen av Googles åpen kildekode CT-kode for de som prøver å følge studiens metoder.

Ingen fortrening og ikke nok data?

Hovedforfatterne av Googles artikkel, Azalia Mirhoseini og Anna Goldie, sa at UCSD-teamets arbeid ikke er en nøyaktig implementering av metoden deres. De påpekte at Prof Kahngs gruppe oppnådde dårligere resultater siden de ikke forhåndstrenet modellen sin på data i det hele tatt.

– En læringsbasert metode vil selvsagt prestere dårligere hvis den ikke får lære av tidligere erfaring. I Nature-avisen vår forhåndstrener vi på 20 blokker før vi evaluerer på utholdte testtilfeller, sa de to i en uttalelse [PDF].

Prof Kahngs team trente heller ikke systemet sitt ved å bruke samme mengde datakraft som Google brukte, og antydet at dette trinnet kanskje ikke ble utført på riktig måte, noe som lammer modellens ytelse. Mirhoseini og Goldie sa også at forbehandlingstrinnet ved å bruke EDA-applikasjoner som ikke var eksplisitt beskrevet i deres Nature-artikkel, ikke var viktig nok til å nevne. 

"[UCSD]-oppgaven fokuserer på bruken av den første plasseringen fra fysisk syntese til klyngestandardceller, men dette er ikke av praktisk betydning. Fysisk syntese må utføres før du kjører noen plasseringsmetode," sa de. "Dette er standard praksis innen chipdesign."

UCSD-gruppen, derimot, sa de fortrente ikke modellen sin fordi de ikke hadde tilgang til Googles proprietære data. De hevdet imidlertid at programvaren deres var verifisert av to andre ingeniører hos internettgiganten, som også var oppført som medforfattere av Nature-avisen. Prof Kahng presenterer teamets studie på årets internasjonale symposium om fysisk design Konferansen Tirsdag.

I mellomtiden fortsetter Google å bruke forsterkningslæringsbaserte teknikker for å forbedre TPU-ene, som brukes aktivt i datasentrene.

sparken Googler hevder forskning ble hypet for en lukrativ sky-avtale

Separat ble Googles Nature-papirs påstander om overmenneskelig ytelse omstridt internt i internett-goliaten. I mai i fjor ble Satrajit Chatterjee, en AI-forsker, sparket fra Google med årsak; han hevdet at han ble sluppet var fordi han hadde kritisert Nature-studien og bestred avisens funn. Chatterjee ble også fortalt at Google ikke ville publisere papiret hans som kritiserte den første studien.

Han ble også anklaget av andre Googlere for å gå for langt i kritikken sin – som for eksempel å angivelig verbalt beskrive arbeidet som et «togvrak» og en «dekkbrann» – og ble satt under HR-etterforskning for sin påståtte oppførsel.

Chatterjee har siden saksøkt Google i Superior Court of California i Santa Clara med krav om urettmessig oppsigelse. Chatterjee nektet å kommentere denne historien, og han benekter enhver forseelse. Mirhoseini og Goldie forlot Google i midten av 2022 etter at Chatterjee ble avvist.

I sin klage mot Google, som ble endret [PDF] forrige måned hevdet Chatterjees advokater at nettgiganten tenkte på å kommersialisere sin AI-baserte planløsningsgenererende programvare med «Company S» mens den forhandlet fram en Google Cloud-avtale verdt $120 millioner med S på den tiden. Chatterjee hevdet at Google forkjempet planløsningen for å hjelpe med å overbevise Company S om å komme ombord med denne betydelige kommersielle avtalen.

"Studien ble delvis gjort som et første skritt mot potensiell kommersialisering med [Company S] (og utført med ressurser fra [Company S]). Siden det ble gjort i sammenheng med en stor potensiell Cloud-avtale, ville det vært uetisk å antyde at vi hadde revolusjonerende teknologi når testene våre viste noe annet», skrev Chatterjee i en e-post til Googles administrerende direktør Sundar Pichai, visepresident og ingeniørstipendiat Jay Yagnik, og VP for Google Research Rahul Sukthankar, som ble avslørt som en del av søksmålet.

Rettsdokumentene hans anklaget Google for å «overdrive» resultatene av studien, og «bevisst holde tilbake vesentlig informasjon fra Company S for å få det til å signere en cloud computing-avtale», og effektivt fri til den andre virksomheten ved å bruke det han så på som tvilsom teknologi.

Selskap S er beskrevet som et «elektronisk designautomatiseringsselskap» i rettsdokumentene. Folk som er kjent med saken fortalte Registeret Selskapet S er Synopsys.

Synopsys og Google nektet å kommentere. ®

Er det en historie i verden av kunstig intelligens du vil dele? Snakk til oss i tillit.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/