Googles påstande om supermenneskelig AI-chip-layout tilbage under lup

Særlig rapport En Google-ledet forskningsartikel offentliggjort i Nature, der hævder maskinlæringssoftware kan designe bedre chips hurtigere end mennesker, er blevet sat i tvivl, efter at en ny undersøgelse bestridte resultaterne.

I juni 2021 lavede Google overskrifter til udvikling af et forstærkningslæringsbaseret system, der er i stand til automatisk at generere optimerede mikrochip-gulvplaner. Disse planer bestemmer arrangementet af blokke af elektroniske kredsløb i chippen: hvor ting som CPU- og GPU-kerner og hukommelse og perifere controllere faktisk sidder på den fysiske siliciummatrice.

Google sagde, at det brugte denne AI-software til at designe sine hjemmelavede TPU-chips, der accelererer AI-arbejdsbelastninger: den brugte maskinlæring til at få sine andre maskinlæringssystemer til at køre hurtigere. 

Grundplanen for en chip er vigtig, fordi den dikterer, hvor godt processoren yder. Du vil gerne arrangere blokke af chippens kredsløb omhyggeligt, så for eksempel signaler og data forplanter sig mellem disse områder med en ønskelig hastighed. Ingeniører bruger typisk uger eller måneder på at finpudse deres design på at forsøge at finde den optimale konfiguration. Alle de forskellige undersystemer skal placeres på en bestemt måde for at producere en chip så kraftig, energieffektiv og lille som muligt. 

At producere en grundplan i dag involverer normalt en blanding af manuelt arbejde og automatisering ved hjælp af chipdesignapplikationer. Googles team forsøgte at demonstrere, at deres forstærkningsindlæringstilgang ville producere design bedre end dem, der kun blev lavet af menneskelige ingeniører ved hjælp af industriværktøjer. Ikke nok med det, Google sagde, at dens model fuldførte sit arbejde meget hurtigere end ingeniører, der itererede over layouts.

"På trods af fem årtiers forskning har spångulvplanlægning trodset automatisering, hvilket kræver måneders intens indsats fra fysiske designingeniører for at producere et fabriksvenligt layout ... På under seks timer genererer vores metode automatisk spångulvplaner, der er overlegne eller sammenlignelige med dem, der produceres af mennesker i alle nøglemålinger," Googlererne skrev i deres naturblad.

Forskningen fik opmærksomheden fra det elektroniske designautomatiseringsfællesskab, som allerede var på vej mod at inkorporere maskinlæringsalgoritmer i deres softwarepakker. Nu er Googles påstande om sin bedre-end-menneske-model blevet udfordret af et hold ved University of California, San Diego (UCSD).

Unfair fordel?

Anført af Andrew Kahng, en professor i datalogi og teknik, brugte denne gruppe måneder på omvendt konstruktion af gulvplanlægningsrørledningen, som Google beskrev i Nature. Webgiganten tilbageholdt nogle detaljer om sin models indre funktion under henvisning til kommerciel følsomhed, så UCSD var nødt til at finde ud af, hvordan de skulle lave deres egen komplette version for at verificere Googlerernes resultater. Vi bemærker, at professor Kahng fungerede som anmelder for Nature under peer-review-processen af ​​Googles papir.

Universitetets akademikere fandt i sidste ende deres egen genskabelse af den originale Google-kode, kaldet kredsløbstræning (CT) i deres undersøgelse, faktisk klarede sig dårligere end mennesker ved hjælp af traditionelle industrimetoder og værktøjer.

Hvad kunne have forårsaget denne uoverensstemmelse? Man kan sige, at rekreationen var ufuldstændig, selvom der kan være en anden forklaring. Med tiden fandt UCSD-teamet ud af, at Google havde brugt kommerciel software udviklet af Synopsys, en stor producent af elektronisk designautomatisering (EDA), til at skabe et startarrangement af chippens logiske porte, som webgigantens forstærkningslæringssystem derefter optimerede.

Eksperimenter viser, at det at have oplysninger om indledende placering kan forbedre CT-resultaterne betydeligt

Google-avisen nævnte, at industristandardsoftwareværktøjer og manuel justering blev brugt efter modellen havde genereret et layout, primært for at sikre, at processoren ville fungere efter hensigten og færdiggøre den til fremstilling. Googlererne hævdede, at dette var et nødvendigt skridt, uanset om grundplanen blev skabt af en maskinlæringsalgoritme eller af mennesker med standardværktøjer, og derfor fortjente dens model ære for det optimerede slutprodukt.

UCSD-teamet sagde dog, at der ikke var nogen omtale i Nature-papiret af EDA-værktøjer, der blev brugt forhånd at udarbejde et layout, som modellen kan gentages. Det hævdes, at disse Synopsys-værktøjer kan have givet modellen et anstændigt nok forspring til, at der burde sættes spørgsmålstegn ved AI-systemets sande muligheder.

"Dette var ikke tydeligt under papirgennemgangen," skrev universitetsholdet om brugen af ​​Synopsys' suite til at forberede et layout til modellen, "og er ikke nævnt i Nature. Eksperimenter viser, at det at have oplysninger om indledende placering kan forbedre CT-resultaterne betydeligt."

Naturen undersøger Googles forskning

Nogle akademikere har siden opfordret Nature til at gennemgå Googles papir i lyset af UCSDs undersøgelse. I e-mails til journalen set af Registret, fremhævede forskere bekymringer rejst af prof Kahng og hans kolleger og stillede spørgsmålstegn ved, om Googles papir var vildledende.

Bill Swartz, en seniorlektor, der underviser i elektroteknik ved University of Texas i Dallas, sagde, at Nature-avisen "lod en masse [forskere] stå i mørket", da resultaterne involverede internettitanens proprietære TPU'er og derfor umulige at verificere.

Brugen af ​​Synopsys' software til at prime Googles software skal undersøges, sagde han. "Vi vil alle bare gerne kende den faktiske algoritme, så vi kan reproducere den. Hvis [Googles] påstande er rigtige, så ønsker vi at implementere det. Der skulle være videnskab, det hele skulle være objektivt; hvis det virker, så virker det,” sagde han.

Naturen fortalte Registret den kigger i Googles papir, selvom den ikke præcist sagde, hvad den undersøgte eller hvorfor.

"Vi kan ikke kommentere detaljerne i individuelle sager af fortrolighedshensyn," fortalte en talsmand for Nature os. "Men generelt, når der rejses bekymringer om ethvert papir, der er offentliggjort i tidsskriftet, undersøger vi dem omhyggeligt efter en etableret proces.

"Denne proces involverer konsultation med forfatterne og, hvor det er relevant, at søge råd fra fagfællebedømmere og andre eksterne eksperter. Når vi har nok information til at træffe en beslutning, følger vi op med det svar, der er mest passende, og som giver klarhed for vores læsere med hensyn til resultatet."

Det er ikke første gang, tidsskriftet har foretaget en undersøgelse efter udgivelsen af ​​undersøgelsen, som står over for fornyet undersøgelse. Googlers papir er forblevet online med en forfatterkorrektion tilføjet i marts 2022, som inkluderede en link til noget af Googles open source CT-kode for dem, der forsøger at følge undersøgelsens metoder.

Ingen fortræning og ikke nok computer?

Hovedforfatterne af Googles papir, Azalia Mirhoseini og Anna Goldie, sagde, at UCSD-teamets arbejde ikke er en nøjagtig implementering af deres metode. De påpegede, at Prof Kahngs gruppe opnåede dårligere resultater, da de slet ikke fortrænede deres model på nogen data.

”En læringsbaseret metode vil selvfølgelig klare sig dårligere, hvis den ikke får lov til at lære af tidligere erfaringer. I vores Nature-papir fortræner vi på 20 blokke, før vi evaluerer på udholdte testcases," sagde de to i en erklæring [PDF].

Prof Kahngs team trænede heller ikke deres system ved at bruge den samme mængde computerkraft, som Google brugte, og foreslog, at dette trin muligvis ikke er blevet udført korrekt, hvilket hæmmer modellens ydeevne. Mirhoseini og Goldie sagde også, at forbehandlingstrinnet ved at bruge EDA-applikationer, som ikke var eksplicit beskrevet i deres Nature-papir, ikke var vigtigt nok til at nævne. 

"[UCSD] papiret fokuserer på brugen af ​​den indledende placering fra fysisk syntese til klyngestandardceller, men dette er ikke af nogen praktisk bekymring. Fysisk syntese skal udføres, før der køres nogen placeringsmetode," sagde de. "Dette er standardpraksis inden for chipdesign."

UCSD-gruppen dog sagde de fortrænede ikke deres model, fordi de ikke havde adgang til Googles proprietære data. De hævdede dog, at deres software var blevet verificeret af to andre ingeniører hos internetgiganten, som også var opført som medforfattere af Nature-avisen. Prof Kahng præsenterer sit teams undersøgelse på dette års internationale symposium om fysisk design konference Tirsdag.

I mellemtiden fortsætter Google med at bruge forstærkningsindlæringsbaserede teknikker til at forbedre sine TPU'er, som bruges aktivt i dets datacentre.

Fyret Googler hævder, at forskning var hypet for en lukrativ cloud-aftale

Separat blev Googles Nature-papirs påstande om overmenneskelige præstationer bestridt internt inden for internet-goliaten. I maj sidste år blev Satrajit Chatterjee, en AI-forsker, fyret fra Google med årsag; han hævdede, at han blev sluppet, var fordi han havde kritiseret Nature-undersøgelsen og anfægtet avisens resultater. Chatterjee fik også at vide, at Google ikke ville offentliggøre sit papir, der kritiserede den første undersøgelse.

Han blev også beskyldt af andre Googlere for at gå for vidt i sin kritik - som for eksempel angiveligt at beskrive arbejdet verbalt som et "togvrag" og en "dækbrand" - og blev sat under HR-undersøgelse for sin påståede adfærd.

Chatterjee har siden sagsøgt Google ved Superior Court of California i Santa Clara med påstand om uretmæssig opsigelse. Chatterjee afviste at kommentere for denne historie, og han nægter enhver forseelse. Mirhoseini og Goldie forlod Google i midten af ​​2022, efter at Chatterjee blev afskediget.

I sin klage mod Google, som blev ændret [PDF] sidste måned hævdede Chatterjees advokater, at webgiganten tænkte på at kommercialisere sin AI-baserede floorplan-genererende software med "Company S", mens den forhandlede en Google Cloud-aftale, der angiveligt var 120 millioner dollars værd med S på det tidspunkt. Chatterjee hævdede, at Google var fortaler for grundplanspapiret for at hjælpe med at overbevise Company S om at komme ombord i denne betydningsfulde kommercielle pagt.

"Undersøgelsen blev delvist lavet som et første skridt mod potentiel kommercialisering med [Virksomhed S] (og udført med ressourcer fra [Virksomhed S]). Da det blev gjort i forbindelse med en stor potentiel Cloud-aftale, ville det have været uetisk at antyde, at vi havde revolutionerende teknologi, når vores test viste noget andet,” skrev Chatterjee i en e-mail til Googles CEO Sundar Pichai, Vice President og Engineering Fellow Jay Yagnik og vicedirektør for Google Research Rahul Sukthankar, hvilket blev afsløret som en del af retssagen.

Hans retsdokumenter beskyldte Google for at "overvurdere" resultaterne af undersøgelsen og "bevidst at tilbageholde væsentlige oplysninger fra Company S for at få det til at underskrive en cloud computing-aftale", hvilket effektivt bejler til den anden virksomhed ved at bruge, hvad han så som tvivlsom teknologi.

Virksomhed S er beskrevet som en "elektronisk designautomatiseringsvirksomhed" i retsdokumenterne. Folk med kendskab til sagen fortalte Registret Firma S er Synopsys.

Synopsys og Google afviste at kommentere. ®

Er der en historie inde i verden af ​​kunstig intelligens, som du vil dele? Tal med os i fortrolighed.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
• Kilde: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/