Googles Behauptungen über das übermenschliche KI-Chip-Layout werden erneut unter die Lupe genommen

Sonderbericht Ein von Google geleitetes Forschungspapier, das in Nature veröffentlicht wurde und behauptet, dass Software für maschinelles Lernen schneller bessere Chips entwickeln kann als Menschen, wurde in Frage gestellt, nachdem eine neue Studie ihre Ergebnisse bestritten hat.

Im Juni 2021 machte Google Schlagzeilen für die Entwicklung eines auf Reinforcement-Learning basierenden Systems, das in der Lage ist, automatisch optimierte Mikrochip-Grundrisse zu generieren. Diese Pläne bestimmen die Anordnung von Blöcken elektronischer Schaltungen innerhalb des Chips: Wo Dinge wie die CPU- und GPU-Kerne sowie Speicher- und Peripheriecontroller tatsächlich auf dem physischen Siliziumchip sitzen.

Google sagte, dass es diese KI-Software verwendet, um seine selbst entwickelten TPU-Chips zu entwickeln, die KI-Arbeitslasten beschleunigen: Es nutzt maschinelles Lernen, um seine anderen maschinellen Lernsysteme schneller laufen zu lassen. 

Der Grundriss eines Chips ist wichtig, weil er bestimmt, wie gut der Prozessor arbeitet. Sie sollten die Blöcke der Schaltkreise des Chips sorgfältig anordnen, damit sich beispielsweise Signale und Daten zwischen diesen Bereichen mit einer gewünschten Geschwindigkeit ausbreiten. Ingenieure verbringen in der Regel Wochen oder Monate damit, ihre Designs zu verfeinern, um die optimale Konfiguration zu finden. Alle verschiedenen Subsysteme müssen auf eine bestimmte Weise platziert werden, um einen Chip zu produzieren, der so leistungsfähig, energieeffizient und klein wie möglich ist. 

Die Erstellung eines Grundrisses ist heute in der Regel eine Mischung aus manueller Arbeit und Automatisierung mit Chip-Design-Anwendungen. Das Team von Google versuchte zu demonstrieren, dass sein Reinforcement-Learning-Ansatz bessere Designs hervorbringen würde als solche, die nur von menschlichen Ingenieuren mit Industrietools erstellt wurden. Nicht nur das, Google sagte, dass sein Modell seine Arbeit viel schneller abgeschlossen habe als Ingenieure, die Layouts iterieren.

„Trotz fünf Jahrzehnten der Forschung hat sich die Chip-Grundrissplanung der Automatisierung widersetzt und erfordert Monate intensiver Bemühungen von physikalischen Designingenieuren, um ein herstellbares Layout zu erstellen … In weniger als sechs Stunden generiert unsere Methode automatisch Chip-Grundrisse, die denen von Menschen insgesamt überlegen oder vergleichbar sind Schlüsselmetriken“, die Googler schrieb in ihrer Zeitschrift Nature.

Die Forschung erregte die Aufmerksamkeit der Community für elektronische Designautomatisierung, die sich bereits auf die Integration von Algorithmen für maschinelles Lernen in ihre Softwarepakete konzentrierte. Jetzt wurde die Behauptung von Google über sein „Besser-als-Mensch“-Modell von einem Team der University of California, San Diego (UCSD) in Frage gestellt.

Unfairer Vorteil?

Unter der Leitung von Andrew Kahng, einem Professor für Informatik und Ingenieurwesen, verbrachte diese Gruppe Monate damit, die von Google in Nature beschriebene Floorplanning-Pipeline zurückzuentwickeln. Der Webgigant hielt einige Details des Innenlebens seines Modells unter Berufung auf kommerzielle Sensibilität zurück, sodass die UCSD herausfinden musste, wie sie ihre eigene vollständige Version erstellen konnte, um die Ergebnisse der Googler zu überprüfen. Wir stellen fest, dass Prof. Kahng als Gutachter für Nature während des Peer-Review-Prozesses von Googles Papier diente.

Die Universitätswissenschaftler fanden schließlich ihre eigene Nachbildung des ursprünglichen Google-Codes, die als Zirkeltraining (CT) bezeichnet wird ihr Studium, schnitten mit traditionellen Industriemethoden und -werkzeugen tatsächlich schlechter ab als Menschen.

Was könnte diese Diskrepanz verursacht haben? Man könnte sagen, dass die Nachbildung unvollständig war, obwohl es eine andere Erklärung geben könnte. Im Laufe der Zeit erfuhr das UCSD-Team, dass Google kommerzielle Software verwendet hatte, die von Synopsys, einem großen Hersteller von EDA-Suiten (Electronic Design Automation), entwickelt wurde, um eine Ausgangsanordnung der Logikgatter des Chips zu erstellen, die das Reinforcement-Learning-System des Webgiganten dann optimierte.

Experimente zeigen, dass das Vorhandensein von anfänglichen Platzierungsinformationen die CT-Ergebnisse erheblich verbessern kann

Das Google-Papier erwähnte, dass branchenübliche Softwaretools und manuelle Optimierungen verwendet wurden nachdem Das Modell hatte ein Layout erstellt, hauptsächlich um sicherzustellen, dass der Prozessor wie beabsichtigt funktioniert, und um es für die Fertigung fertigzustellen. Die Googler argumentierten, dass dies ein notwendiger Schritt sei, unabhängig davon, ob der Grundriss von einem maschinell lernenden Algorithmus oder von Menschen mit Standardwerkzeugen erstellt wurde, und daher verdient sein Modell Anerkennung für das optimierte Endprodukt.

Das UCSD-Team sagte jedoch, dass im Nature-Papier die Verwendung von EDA-Tools nicht erwähnt wurde vorher um ein Layout vorzubereiten, über das das Modell iterieren kann. Es wird argumentiert, dass diese Synopsys-Tools dem Modell einen ausreichenden Vorsprung verschafft haben könnten, dass die wahren Fähigkeiten des KI-Systems in Frage gestellt werden sollten.

„Dies war während der Überprüfung des Papiers nicht ersichtlich“, schrieb das Universitätsteam über die Verwendung der Synopsys-Suite zur Vorbereitung eines Layouts für das Modell, „und wird in Nature nicht erwähnt. Experimente zeigen, dass die anfänglichen Platzierungsinformationen die CT-Ergebnisse erheblich verbessern können.“

Die Natur untersucht die Forschung von Google

Einige Akademiker haben Nature seitdem aufgefordert, Googles Papier im Lichte der UCSD-Studie zu überprüfen. In E-Mails an die Zeitschrift angesehen von Das Register, hoben die Forscher die von Prof. Kahng und seinen Kollegen geäußerten Bedenken hervor und stellten die Frage, ob das Papier von Google irreführend sei.

Bill Swartz, ein leitender Dozent für Elektrotechnik an der University of Texas in Dallas, sagte, das Nature-Papier habe „viele [Forscher] im Dunkeln gelassen“, da die Ergebnisse die proprietären TPUs des Internet-Titanen betrafen und daher unmöglich zu überprüfen seien.

Die Verwendung der Synopsys-Software zur Vorbereitung der Google-Software müsse untersucht werden, sagte er. „Wir alle wollen nur den tatsächlichen Algorithmus kennen, damit wir ihn reproduzieren können. Wenn [Googles] Forderungen stimmen, dann wollen wir sie umsetzen. Es sollte Wissenschaft geben, alles sollte objektiv sein; Wenn es funktioniert, funktioniert es“, sagte er.

Die Natur erzählt Das Register Es untersucht Googles Papier, obwohl es nicht genau sagt, was es untersucht und warum.

„Wir können uns aus Gründen der Vertraulichkeit nicht zu den Einzelheiten einzelner Fälle äußern“, sagte uns ein Sprecher von Nature. „Ganz allgemein gesagt, wenn Bedenken bezüglich eines in der Zeitschrift veröffentlichten Artikels geäußert werden, prüfen wir diese sorgfältig nach einem etablierten Verfahren.

„Dieser Prozess beinhaltet die Beratung mit den Autoren und gegebenenfalls das Einholen von Rat von Gutachtern und anderen externen Experten. Sobald wir genügend Informationen haben, um eine Entscheidung zu treffen, folgen wir der Antwort, die am besten geeignet ist und unseren Lesern Klarheit über das Ergebnis bietet.“

Dies ist nicht das erste Mal, dass die Zeitschrift eine Nachveröffentlichungsuntersuchung der Studie durchführt, die einer erneuten Prüfung ausgesetzt ist. Das Papier der Googler ist mit einer im März 2022 hinzugefügten Autorenkorrektur online geblieben, die a Link zu einigen von Googles Open-Source-CT-Code für diejenigen, die versuchen, den Methoden der Studie zu folgen.

Kein Vortraining und nicht genug Rechenleistung?

Die Hauptautoren von Googles Papier, Azalia Mirhoseini und Anna Goldie, sagten, die Arbeit des UCSD-Teams sei keine genaue Implementierung ihrer Methode. Sie wiesen darauf hin, dass die Gruppe von Prof. Kahng schlechtere Ergebnisse erzielte, da sie ihr Modell überhaupt nicht mit irgendwelchen Daten vortrainierte.

„Eine lernbasierte Methode wird natürlich schlechter abschneiden, wenn sie nicht aus Vorerfahrungen lernen darf. In unserem Nature-Papier trainieren wir vorab mit 20 Blöcken, bevor wir die ausstehenden Testfälle auswerten“, sagten die beiden in einer Erklärung [PDF].

Das Team von Prof. Kahng trainierte sein System auch nicht mit der gleichen Rechenleistung wie Google und schlug vor, dass dieser Schritt möglicherweise nicht ordnungsgemäß ausgeführt wurde, was die Leistung des Modells beeinträchtigte. Mirhoseini und Goldie sagten auch, dass der Vorverarbeitungsschritt mit EDA-Anwendungen, der in ihrem Nature-Papier nicht ausdrücklich beschrieben wurde, nicht wichtig genug sei, um es zu erwähnen. 

„Das [UCSD]-Papier konzentriert sich auf die Verwendung der anfänglichen Platzierung von der physikalischen Synthese zu Cluster-Standardzellen, aber dies ist von keiner praktischen Bedeutung. Die physikalische Synthese muss durchgeführt werden, bevor eine Platzierungsmethode ausgeführt wird“, sagten sie. „Das ist gängige Praxis im Chipdesign.“

Die UCSD-Gruppe jedoch sagte Sie haben ihr Modell nicht vortrainiert, weil sie keinen Zugriff auf die proprietären Daten von Google hatten. Sie behaupteten jedoch, ihre Software sei von zwei anderen Ingenieuren des Internetgiganten verifiziert worden, die auch als Co-Autoren des Nature-Papiers aufgeführt waren. Prof. Kahng stellt die Studie seines Teams auf dem diesjährigen International Symposium on Physical Design vor Konferenz Dienstag.

In der Zwischenzeit verwendet Google weiterhin auf Reinforcement-Learning basierende Techniken, um seine TPUs zu verbessern, die in seinen Rechenzentren aktiv eingesetzt werden.

Gefeuerte Googler-Behauptungsforschung wurde für einen lukrativen Cloud-Deal hochgespielt

Unabhängig davon wurden die Behauptungen des Google-Artikels „Nature“ über übermenschliche Leistungen innerhalb des Internet-Giganten intern bestritten. Im Mai letzten Jahres wurde Satrajit Chatterjee, ein KI-Forscher, aus wichtigem Grund von Google entlassen; Er behauptete, er sei entlassen worden, weil er die Nature-Studie kritisiert und die Ergebnisse des Papiers bestritten hatte. Chatterjee wurde außerdem mitgeteilt, dass Google sein Papier, in dem er die erste Studie kritisiert, nicht veröffentlichen würde.

Auch andere Google-Mitarbeiter warfen ihm vor, in seiner Kritik zu weit gegangen zu sein – wie beispielsweise die angebliche verbale Beschreibung der Arbeit als „Zugunglück“ und „Reifenbrand“ – und wurden wegen seines mutmaßlichen Verhaltens von der Personalabteilung untersucht.

Chatterjee hat Google seitdem vor dem Superior Court of California in Santa Clara verklagt und behauptet, es sei eine unrechtmäßige Kündigung gewesen. Chatterjee lehnte eine Stellungnahme zu dieser Geschichte ab und bestreitet jegliches Fehlverhalten. Mirhoseini und Goldie verließen Google Mitte 2022, nachdem Chatterjee entlassen wurde.

In seiner Beschwerde gegen Google, die geändert wurde [PDF] Letzten Monat behaupteten die Anwälte von Chatterjee, dass der Webgigant darüber nachdenke, seine KI-basierte Software zur Erstellung von Grundrissen mit „Company S“ zu kommerzialisieren, während er mit S damals einen Google Cloud-Deal im Wert von angeblich 120 Millionen US-Dollar aushandelte. Chatterjee behauptete, Google habe sich für das Grundrisspapier eingesetzt, um Unternehmen S davon zu überzeugen, sich an diesem bedeutenden Handelspakt zu beteiligen.

„Die Studie wurde teilweise als erster Schritt in Richtung einer möglichen Kommerzialisierung mit [Unternehmen S] durchgeführt (und mit Ressourcen von [Unternehmen S] durchgeführt). Da dies im Zusammenhang mit einem großen potenziellen Cloud-Deal geschah, wäre es unethisch gewesen, zu implizieren, dass wir revolutionäre Technologie hätten, wenn unsere Tests das Gegenteil gezeigt hätten“, schrieb Chatterjee in einer E-Mail an Googles CEO Sundar Pichai, Vice President und Engineering Fellow Jay Yagnik und VP von Google Research Rahul Sukthankar, die im Rahmen der Klage offengelegt wurden.

In seinen Gerichtsakten wurde Google beschuldigt, die Ergebnisse seiner Studie „überbewertet“ zu haben und „vorsätzlich wesentliche Informationen von Unternehmen S zurückgehalten zu haben, um es zum Abschluss eines Cloud-Computing-Deals zu bewegen“, wodurch das andere Unternehmen mit einer seiner Meinung nach fragwürdigen Technologie effektiv umworben wurde.

Unternehmen S wird in den Gerichtsdokumenten als „Electronic Design Automation Company“ bezeichnet. Mit der Sache vertraute Personen erzählten Das Register Firma S ist Synopsys.

Synopsys und Google lehnten eine Stellungnahme ab. ®

Gibt es eine Geschichte in der Welt der künstlichen Intelligenz, die Sie teilen möchten? Sprechen Sie uns an im Vertrauen.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/