Google's claims van bovenmenselijke AI-chiplay-out terug onder de microscoop

Speciaal rapport Een door Google geleid onderzoeksartikel gepubliceerd in Nature, waarin wordt beweerd dat software voor machinaal leren sneller betere chips kan ontwerpen dan mensen, is in twijfel getrokken nadat een nieuwe studie de resultaten ervan betwistte.

In juni 2021 maakte Google headlines voor het ontwikkelen van een op versterking gebaseerd systeem dat in staat is om automatisch geoptimaliseerde microchip-plattegronden te genereren. Deze plannen bepalen de opstelling van blokken elektronische schakelingen binnen de chip: waar zaken als de CPU- en GPU-kernen en geheugen- en perifere controllers daadwerkelijk op de fysieke siliciumchip zitten.

Google zei dat het deze AI-software gebruikte om zijn eigen TPU-chips te ontwerpen die AI-workloads versnellen: het gebruikte machine learning om zijn andere machine-learning-systemen sneller te laten werken. 

De plattegrond van een chip is belangrijk omdat deze bepaalt hoe goed de processor presteert. U wilt de blokken van de circuits van de chip zorgvuldig rangschikken, zodat bijvoorbeeld signalen en gegevens zich met een gewenste snelheid tussen deze gebieden voortplanten. Ingenieurs besteden doorgaans weken of maanden aan het verfijnen van hun ontwerpen om de optimale configuratie te vinden. Alle verschillende subsystemen moeten op een bepaalde manier worden geplaatst om een ​​chip te produceren die zo krachtig, energiezuinig en klein mogelijk is. 

Het maken van een plattegrond omvat tegenwoordig meestal een mix van handmatig werk en automatisering met behulp van chipontwerptoepassingen. Het team van Google probeerde aan te tonen dat de benadering van versterkend leren betere ontwerpen zou opleveren dan ontwerpen die alleen door menselijke ingenieurs zijn gemaakt met behulp van industriële tools. Niet alleen dat, Google zei dat zijn model zijn werk veel sneller voltooide dan ingenieurs die lay-outs itereerden.

"Ondanks vijf decennia van onderzoek, heeft chip-vloerplanning automatisering getrotseerd, waarbij maanden van intense inspanning van fysieke ontwerpingenieurs nodig was om een ​​produceerbare lay-out te produceren ... In minder dan zes uur genereert onze methode automatisch chip-plattegronden die superieur of vergelijkbaar zijn met die van mensen in alle key metrics', zeggen de Googlers schreef in hun Nature-krant.

Het onderzoek trok de aandacht van de gemeenschap voor elektronische ontwerpautomatisering, die al bezig was met het integreren van algoritmen voor machine learning in hun softwaresuites. Nu zijn de beweringen van Google over het 'beter dan mensen'-model aangevochten door een team van de University of California, San Diego (UCSD).

Oneerlijk voordeel?

Onder leiding van Andrew Kahng, een professor in informatica en engineering, bracht die groep maanden door met het reverse-engineeren van de floorplanning-pijplijn die Google beschreef in Nature. De webgigant hield enkele details van de interne werking van zijn model achter, daarbij verwijzend naar commerciële gevoeligheid, dus moest de UCSD uitzoeken hoe ze hun eigen volledige versie konden maken om de bevindingen van de Googlers te verifiëren. Prof Kahng, merken we op, diende als recensent voor Nature tijdens het peer-reviewproces van Google's paper.

De academici van de universiteit vonden uiteindelijk hun eigen recreatie van de originele Google-code, circuittraining (CT) genoemd hun studie, presteerden eigenlijk slechter dan mensen die traditionele industriële methoden en tools gebruikten.

Wat kan deze discrepantie hebben veroorzaakt? Je zou kunnen zeggen dat de recreatie onvolledig was, hoewel er een andere verklaring kan zijn. Na verloop van tijd kwam het UCSD-team erachter dat Google commerciële software had gebruikt die was ontwikkeld door Synopsys, een belangrijke maker van EDA-suites (Electronic Design Automation), om een ​​beginconfiguratie te maken van de logische poorten van de chip die vervolgens door het leersysteem voor versterking van de webgigant werd geoptimaliseerd.

Experimenten tonen aan dat het hebben van initiële plaatsingsinformatie CT-uitkomsten aanzienlijk kan verbeteren

De Google-paper vermeldde wel dat industriestandaard softwaretools en handmatige aanpassingen werden gebruikt na het model had een lay-out gegenereerd, voornamelijk om ervoor te zorgen dat de processor zou werken zoals bedoeld en om deze af te ronden voor fabricage. De Googlers voerden aan dat dit een noodzakelijke stap was, of de plattegrond nu was gemaakt door een algoritme voor machine learning of door mensen met standaardtools, en dat het model dus de eer verdiende voor het geoptimaliseerde eindproduct.

Het UCSD-team zei echter dat er in de Nature-paper geen melding werd gemaakt van EDA-tools die werden gebruikt vooraf om een ​​lay-out voor te bereiden voor het model om over te itereren. Er wordt beweerd dat deze Synopsys-tools het model mogelijk een voldoende voorsprong hebben gegeven om de ware mogelijkheden van het AI-systeem in twijfel te trekken.

"Dit was niet duidelijk tijdens de paperreview", schreef het universiteitsteam over het gebruik van Synopsys' suite om een ​​lay-out voor het model voor te bereiden, "en wordt niet genoemd in Nature. Experimenten tonen aan dat het hebben van initiële plaatsingsinformatie de CT-uitkomsten aanzienlijk kan verbeteren.”

De natuur onderzoekt het onderzoek van Google

Sommige academici hebben er sindsdien bij Nature op aangedrongen om de paper van Google te herzien in het licht van de studie van UCSD. In e-mails naar het tijdschrift bekeken door Het register, benadrukten onderzoekers de zorgen van prof. Kahng en zijn collega's, en betwijfelden ze of de paper van Google misleidend was.

Bill Swartz, een hoofddocent elektrotechniek aan de Universiteit van Texas in Dallas, zei dat de Nature-paper "veel [onderzoekers] in het ongewisse liet", aangezien de resultaten betrekking hadden op de eigen TPU's van de internettitan en daarom onmogelijk te verifiëren waren.

Het gebruik van de software van Synopsys om de software van Google te primen, moet worden onderzocht, zei hij. “We willen allemaal gewoon weten wat het eigenlijke algoritme is, zodat we het kunnen reproduceren. Als de beweringen van [Google] juist zijn, willen we deze implementeren. Er zou wetenschap moeten zijn, het zou allemaal objectief moeten zijn; als het werkt, werkt het', zei hij.

De natuur vertelde Het register het onderzoekt de krant van Google, hoewel het niet precies zei wat het aan het onderzoeken was, noch waarom.

"We kunnen om vertrouwelijkheidsredenen geen commentaar geven op de details van individuele gevallen", vertelde een woordvoerder van Nature ons. “Over het algemeen gesproken, wanneer er zorgen worden geuit over een artikel dat in het tijdschrift is gepubliceerd, onderzoeken we deze zorgvuldig volgens een vastgesteld proces.

“Dit proces omvat overleg met de auteurs en, waar nodig, het inwinnen van advies van peer reviewers en andere externe experts. Zodra we genoeg informatie hebben om een ​​beslissing te nemen, volgen we de reactie die het meest geschikt is en die onze lezers duidelijkheid verschaft over de uitkomst.”

Dit is niet de eerste keer dat het tijdschrift een post-publicatieonderzoek heeft uitgevoerd naar de studie, die opnieuw onder de loep wordt genomen. Het artikel van de Googlers is online gebleven met een auteurscorrectie toegevoegd in maart 2022, waaronder een link naar een deel van de open source CT-code van Google voor degenen die de methoden van het onderzoek proberen te volgen.

Geen vooropleiding en niet genoeg rekenkracht?

De hoofdauteurs van Google's paper, Azalia Mirhoseini en Anna Goldie, zeiden dat het werk van het UCSD-team geen nauwkeurige implementatie is van hun methode. Ze wezen erop dat de groep van prof. Kahng slechtere resultaten behaalde omdat ze hun model helemaal niet vooraf hadden getraind op gegevens.

“Een op leren gebaseerde methode presteert natuurlijk slechter als er niet mag worden geleerd van eerdere ervaringen. In onze Nature-paper trainen we vooraf op 20 blokken voordat we evalueren op uitgestelde testcases, 'zeiden de twee in een verklaring [PDF].

Het team van prof. Kahng trainde hun systeem ook niet met dezelfde hoeveelheid rekenkracht als Google gebruikte, en suggereerde dat deze stap mogelijk niet correct was uitgevoerd, waardoor de prestaties van het model verlamd raakten. Mirhoseini en Goldie zeiden ook dat de voorverwerkingsstap met behulp van EDA-applicaties die niet expliciet in hun Nature-paper werd beschreven, niet belangrijk genoeg was om te vermelden. 

"De [UCSD] paper richt zich op het gebruik van de initiële plaatsing van fysieke synthese tot clusterstandaardcellen, maar dit is praktisch niet van belang. Fysieke synthese moet worden uitgevoerd voordat een plaatsingsmethode wordt uitgevoerd, 'zeiden ze. "Dit is de standaardpraktijk bij het ontwerpen van chips."

De UCSD-groep, echter, zei ze hebben hun model niet vooraf getraind omdat ze geen toegang hadden tot de bedrijfseigen gegevens van Google. Ze beweerden echter dat hun software was geverifieerd door twee andere ingenieurs van de internetgigant, die ook werden vermeld als co-auteurs van de Nature-paper. Prof Kahng presenteert de studie van zijn team dit jaar op het International Symposium on Physical Design conferentie Dinsdag.

Ondertussen blijft Google op op versterking gebaseerde technieken gebruiken om zijn TPU's, die actief in zijn datacenters worden gebruikt, te verbeteren.

De ontslagen Googler beweert dat onderzoek was gehyped voor een lucratieve clouddeal

Daarnaast werden de beweringen van Google's Nature-artikel over bovenmenselijke prestaties intern betwist binnen de internetgoliath. In mei vorig jaar werd Satrajit Chatterjee, een AI-onderzoeker, terecht ontslagen bij Google; hij beweerde dat hij werd vrijgelaten omdat hij de Nature-studie had bekritiseerd en de bevindingen van het artikel had betwist. Chatterjee kreeg ook te horen dat Google zijn artikel waarin hij het eerste onderzoek bekritiseerde, niet zou publiceren.

Hij werd er ook door andere Googlers van beschuldigd dat hij te ver ging in zijn kritiek – zoals het verbaal omschrijven van het werk als een ‘treinwrak’ en een ‘bandenbrand’ – en werd vanwege zijn vermeende gedrag onder HR-onderzoek geplaatst.

Chatterjee heeft Google sindsdien aangeklaagd bij het Superior Court van Californië in Santa Clara wegens onrechtmatige beëindiging. Chatterjee weigerde commentaar te geven op dit verhaal en hij ontkent elk wangedrag. Mirhoseini en Goldie verlieten Google medio 2022 nadat Chatterjee werd geschrapt.

In zijn klacht tegen Google, die werd aangepast [PDF] vorige maand beweerden de advocaten van Chatterjee dat de webgigant erover nadacht om zijn op AI gebaseerde software voor het genereren van plattegronden te commercialiseren met "Bedrijf S", terwijl het op dat moment met S onderhandelde over een Google Cloud-deal ter waarde van naar verluidt $ 120 miljoen. Chatterjee beweerde dat Google voorstander was van het grondplandocument om bedrijf S te helpen overtuigen om mee te doen aan dit belangrijke commerciële pact.

“De studie is gedeeltelijk gedaan als een eerste stap in de richting van mogelijke commercialisering met [Bedrijf S] (en uitgevoerd met middelen van [Bedrijf S]). Aangezien het werd gedaan in de context van een grote potentiële Cloud-deal, zou het onethisch zijn geweest om te suggereren dat we revolutionaire technologie hadden terwijl onze tests het tegendeel aantoonden', schreef Chatterjee in een e-mail aan Google's CEO Sundar Pichai, Vice President en Engineering Fellow Jay Yagnik en VP van Google Research Rahul Sukthankar, die werd bekendgemaakt als onderdeel van de rechtszaak.

In zijn gerechtelijke documenten werd Google ervan beschuldigd de resultaten van zijn onderzoek te "overdrijven" en "opzettelijk materiële informatie achter te houden voor bedrijf S om het ertoe te brengen een cloud computing-deal te ondertekenen", waarmee hij het andere bedrijf in feite het hof maakte met behulp van wat hij zag als twijfelachtige technologie.

Bedrijf S wordt in de gerechtelijke documenten beschreven als een "elektronisch ontwerpautomatiseringsbedrijf". Mensen die bekend zijn met de zaak vertelden het Het register Bedrijf S is Synopsys.

Synopsys en Google weigerden commentaar te geven. ®

Is er een verhaal in de wereld van kunstmatige intelligentie dat je wilt delen? Neem contact met ons op in vertrouwen.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/