Le affermazioni di Google sul layout del chip AI superumano tornano sotto il microscopio

Relazione speciale Un documento di ricerca condotto da Google pubblicato su Nature, che sostiene che il software di apprendimento automatico può progettare chip migliori più velocemente degli umani, è stato messo in discussione dopo che un nuovo studio ne ha contestato i risultati.

Nel giugno 2021, Google ha realizzato titoli per lo sviluppo di un sistema basato sull'apprendimento per rinforzo in grado di generare automaticamente planimetrie di microchip ottimizzate. Questi piani determinano la disposizione dei blocchi di circuiti elettronici all'interno del chip: dove cose come i core della CPU e della GPU, la memoria e i controller periferici, si trovano effettivamente sul die di silicio fisico.

Google ha affermato che stava utilizzando questo software AI per progettare i suoi chip TPU fatti in casa che accelerano i carichi di lavoro AI: stava impiegando l'apprendimento automatico per far funzionare più velocemente gli altri suoi sistemi di apprendimento automatico. 

La planimetria di un chip è importante perché determina le prestazioni del processore. Dovrai disporre attentamente i blocchi dei circuiti del chip in modo che, ad esempio, segnali e dati si propaghino tra queste aree a una velocità desiderabile. Gli ingegneri in genere trascorrono settimane o mesi a perfezionare i loro progetti cercando di trovare la configurazione ottimale. Tutti i diversi sottosistemi devono essere posizionati in un modo particolare per produrre un chip il più potente, efficiente dal punto di vista energetico e piccolo possibile. 

La produzione di una planimetria oggi di solito comporta un mix di lavoro manuale e automazione utilizzando applicazioni di progettazione di chip. Il team di Google ha cercato di dimostrare che il suo approccio di apprendimento per rinforzo avrebbe prodotto progetti migliori di quelli realizzati solo da ingegneri umani utilizzando strumenti del settore. Non solo, Google ha affermato che il suo modello ha completato il suo lavoro molto più velocemente degli ingegneri che hanno ripetuto i layout.

“Nonostante cinquant'anni di ricerca, la pianificazione dei chip ha sfidato l'automazione, richiedendo mesi di intenso sforzo da parte dei progettisti fisici per produrre layout realizzabili... In meno di sei ore, il nostro metodo genera automaticamente planimetrie dei chip superiori o paragonabili a quelle prodotte dagli esseri umani in tutto metriche chiave", i Googler ha scritto nel loro articolo su Nature.

La ricerca ha attirato l'attenzione della comunità dell'automazione della progettazione elettronica, che si stava già muovendo verso l'incorporazione di algoritmi di apprendimento automatico nelle loro suite software. Ora le affermazioni di Google sul suo modello migliore degli umani sono state contestate da un team dell'Università della California, San Diego (UCSD).

Vantaggio ingiusto?

Guidato da Andrew Kahng, professore di informatica e ingegneria, quel gruppo ha trascorso mesi a decodificare la pipeline di pianificazione del piano descritta da Google su Nature. Il gigante del web ha nascosto alcuni dettagli del funzionamento interno del suo modello, citando la sensibilità commerciale, quindi l'UCSD ha dovuto capire come creare la propria versione completa per verificare i risultati dei Googler. Il professor Kahng, notiamo, è stato revisore per Nature durante il processo di revisione paritaria dell'articolo di Google.

Gli accademici universitari alla fine hanno trovato la loro ricreazione del codice originale di Google, denominato circuit training (CT) in il loro studio, in realtà hanno ottenuto risultati peggiori rispetto agli esseri umani utilizzando metodi e strumenti tradizionali dell'industria.

Cosa può aver causato questa discrepanza? Si potrebbe dire che la ricreazione era incompleta, anche se potrebbe esserci un'altra spiegazione. Nel corso del tempo, il team dell'UCSD ha appreso che Google aveva utilizzato un software commerciale sviluppato da Synopsys, uno dei principali produttori di suite di automazione della progettazione elettronica (EDA), per creare una disposizione iniziale delle porte logiche del chip che il sistema di apprendimento per rinforzo del gigante del web ha poi ottimizzato.

Gli esperimenti dimostrano che disporre di informazioni sul posizionamento iniziale può migliorare significativamente i risultati della TC

Il documento di Google ha menzionato che sono stati utilizzati strumenti software standard del settore e modifiche manuali dopo il modello aveva generato un layout, principalmente per garantire che il processore funzionasse come previsto e finalizzarlo per la fabbricazione. I Googler hanno sostenuto che questo era un passaggio necessario sia che la planimetria fosse stata creata da un algoritmo di apprendimento automatico o da esseri umani con strumenti standard, e quindi il suo modello meritava credito per il prodotto finale ottimizzato.

Tuttavia, il team dell'UCSD ha affermato che nel documento di Nature non vi era alcuna menzione degli strumenti EDA utilizzati prima per preparare un layout su cui eseguire l'iterazione del modello. Si sostiene che questi strumenti Synopsys possano aver dato al modello un vantaggio abbastanza decente da mettere in discussione le vere capacità del sistema di intelligenza artificiale.

"Questo non era evidente durante la revisione del documento", ha scritto il team universitario dell'uso della suite di Synopsys per preparare un layout per il modello, "e non è menzionato in Nature. Gli esperimenti dimostrano che avere informazioni sul posizionamento iniziale può migliorare in modo significativo i risultati della CT.

La natura indaga sulla ricerca di Google

Da allora alcuni accademici hanno esortato Nature a rivedere il documento di Google alla luce dello studio dell'UCSD. Nelle e-mail al diario visualizzato da Il registro, i ricercatori hanno evidenziato le preoccupazioni sollevate dal prof. Kahng e dai suoi colleghi e si sono chiesti se il documento di Google fosse fuorviante.

Bill Swartz, docente senior che insegna ingegneria elettrica presso l'Università del Texas a Dallas, ha affermato che il documento di Nature "ha lasciato molti [ricercatori] all'oscuro" poiché i risultati riguardavano le TPU proprietarie del titano di Internet e, quindi, impossibile da verificare.

L'uso del software di Synopsys per innescare il software di Google deve essere studiato, ha affermato. “Vogliamo tutti solo conoscere l'algoritmo effettivo in modo da poterlo riprodurre. Se le affermazioni di [Google] sono giuste, allora vogliamo implementarle. Dovrebbe esserci scienza, dovrebbe essere tutto oggettivo; se funziona, funziona ", ha detto.

La natura raccontata Il registro sta esaminando il documento di Google, anche se non ha detto esattamente su cosa stesse indagando né perché.

"Non possiamo commentare i dettagli dei singoli casi per motivi di riservatezza", ci ha detto un portavoce di Nature. “Tuttavia, parlando in generale, quando vengono sollevate preoccupazioni su qualsiasi articolo pubblicato sulla rivista, le esaminiamo attentamente seguendo un processo stabilito.

“Questo processo prevede la consultazione con gli autori e, se del caso, la ricerca di consigli da revisori tra pari e altri esperti esterni. Una volta che abbiamo informazioni sufficienti per prendere una decisione, diamo seguito alla risposta più appropriata e che fornisce chiarezza ai nostri lettori in merito al risultato.

Questa non è la prima volta che la rivista esegue un'indagine post-pubblicazione sullo studio, che sta affrontando un nuovo controllo. L'articolo dei Googler è rimasto online con una correzione dell'autore aggiunta nel marzo 2022, che includeva a link ad alcuni dei codici CT open source di Google per coloro che cercano di seguire i metodi dello studio.

Nessun pre-addestramento e calcolo insufficiente?

Gli autori principali dell'articolo di Google, Azalia Mirhoseini e Anna Goldie, hanno affermato che il lavoro del team dell'UCSD non è un'implementazione accurata del loro metodo. Hanno sottolineato che il gruppo del Prof Kahng ha ottenuto risultati peggiori poiché non ha pre-addestrato il proprio modello su alcun dato.

“Un metodo basato sull'apprendimento ovviamente funzionerà peggio se non gli è permesso di imparare dall'esperienza precedente. Nel nostro articolo su Nature, ci alleniamo in anticipo su 20 blocchi prima di valutare casi di test trattenuti ", hanno affermato i due in una dichiarazione [PDF].

Il team del Prof Kahng, inoltre, non ha addestrato il proprio sistema utilizzando la stessa quantità di potenza di calcolo utilizzata da Google e ha suggerito che questo passaggio potrebbe non essere stato eseguito correttamente, paralizzando le prestazioni del modello. Mirhoseini e Goldie hanno anche affermato che la fase di pre-elaborazione utilizzando le applicazioni EDA che non è stata esplicitamente descritta nel loro articolo su Nature non era abbastanza importante da menzionare. 

“Il documento [UCSD] si concentra sull'uso del posizionamento iniziale dalla sintesi fisica alle cellule standard del cluster, ma questo non ha alcun interesse pratico. La sintesi fisica deve essere eseguita prima di eseguire qualsiasi metodo di posizionamento", hanno affermato. "Questa è una pratica standard nella progettazione di chip."

Il gruppo UCSD, tuttavia, disse non hanno pre-addestrato il loro modello perché non avevano accesso ai dati proprietari di Google. Sostenevano, tuttavia, che il loro software era stato verificato da altri due ingegneri del colosso di Internet, anch'essi elencati come coautori dell'articolo su Nature. Il professor Kahng presenterà lo studio del suo team al Simposio internazionale di quest'anno sulla progettazione fisica conferenza Martedì.

Nel frattempo, Google continua a utilizzare tecniche basate sull'apprendimento per rinforzo per migliorare le sue TPU, che vengono utilizzate attivamente nei suoi data center.

Googler licenziato afferma che la ricerca è stata pubblicizzata per un lucroso accordo sul cloud

Separatamente, le affermazioni del giornale Nature di Google riguardo a prestazioni sovrumane sono state contestate internamente al colosso di Internet. Nel maggio dello scorso anno, Satrajit Chatterjee, un ricercatore di intelligenza artificiale, è stato licenziato da Google per giusta causa; ha affermato di essere stato licenziato perché aveva criticato lo studio di Nature e contestato i risultati del documento. A Chatterjee è stato anche detto che Google non avrebbe pubblicato il suo articolo in cui criticava il primo studio.

È stato anche accusato da altri Googler di aver esagerato nelle sue critiche – come, ad esempio, presumibilmente descrivendo verbalmente il lavoro come un “disastro ferroviario” e un “incendio di pneumatici” – ed è stato sottoposto a indagine delle risorse umane per il suo presunto comportamento.

Da allora Chatterjee ha citato in giudizio Google presso la Corte Superiore della California a Santa Clara sostenendo la risoluzione illegittima. Chatterjee ha rifiutato di commentare questa storia e nega qualsiasi illecito. Mirhoseini e Goldie hanno lasciato Google a metà del 2022 dopo che Chatterjee è stato licenziato.

Nella sua denuncia contro Google, che è stata modificata [PDF] il mese scorso, gli avvocati di Chatterjee hanno affermato che il gigante del web stava pensando di commercializzare il suo software di generazione di planimetrie basato sull'intelligenza artificiale con "Company S" mentre all'epoca stava negoziando un accordo Google Cloud del valore di $ 120 milioni con S. Chatterjee ha affermato che Google ha sostenuto il documento della planimetria per aiutare a convincere l'azienda S a partecipare a questo importante patto commerciale.

“Lo studio è stato svolto in parte come primo passo verso la potenziale commercializzazione con [Azienda S] (e condotto con le risorse di [Azienda S]). Dal momento che è stato fatto nel contesto di un grande potenziale accordo Cloud, non sarebbe stato etico insinuare che avessimo una tecnologia rivoluzionaria quando i nostri test hanno mostrato il contrario", ha scritto Chatterjee in un'e-mail al CEO di Google Sundar Pichai, Vice President e Engineering Fellow Jay Yagnik e VP di Google Research Rahul Sukthankar, che è stato divulgato come parte della causa.

La sua dichiarazione in tribunale ha accusato Google di "sopravvalutare" i risultati del suo studio e di "aver deliberatamente nascosto informazioni materiali alla società S per indurla a firmare un accordo di cloud computing", corteggiando efficacemente l'altra azienda utilizzando quella che considerava una tecnologia discutibile.

La società S è descritta come una "società di automazione della progettazione elettronica" negli atti del tribunale. Le persone che hanno familiarità con la questione hanno detto Il registro L'azienda S è Synopsys.

Synopsys e Google hanno rifiutato di commentare. ®

C'è una storia nel mondo dell'intelligenza artificiale che vuoi condividere? Siamo felici di assistervi per qualsiasi necessità in confidenza.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/