Afirmațiile Google cu privire la aspectul chipului AI supra-uman înapoi la microscop

Raport special O lucrare de cercetare condusă de Google, publicată în Nature, care susține că software-ul de învățare automată poate proiecta cipuri mai bune mai repede decât oamenii, a fost pusă sub semnul întrebării după ce un nou studiu i-a contestat rezultatele.

În iunie 2021, Google a făcut titluri pentru dezvoltarea unui sistem bazat pe învățare-întărire capabil să genereze automat planuri de etaj optimizate cu microcipuri. Aceste planuri determină aranjarea blocurilor de circuite electronice în interiorul cipului: unde lucruri precum nucleele CPU și GPU și controlerele de memorie și periferice se află de fapt pe matrița fizică de siliciu.

Google a spus că folosește acest software AI pentru a-și proiecta cipurile TPU produse în casă care accelerează sarcinile de lucru AI: folosea învățarea automată pentru a face ca celelalte sisteme de învățare automată să ruleze mai rapid. 

Planul de etaj al unui cip este important deoarece dictează cât de bine funcționează procesorul. Veți dori să aranjați cu atenție blocurile de circuite ale cipului, astfel încât, de exemplu, semnalele și datele să se propagă între aceste zone la o rată dorită. Inginerii petrec de obicei săptămâni sau luni perfecționându-și design-urile încercând să găsească configurația optimă. Toate subsistemele diferite trebuie plasate într-un mod special pentru a produce un cip cât mai puternic, eficient din punct de vedere energetic și cât mai mic posibil. 

Producerea unui plan de etaj astăzi implică de obicei o combinație de lucru manual și automatizare folosind aplicații de proiectare a cipurilor. Echipa Google a încercat să demonstreze că abordarea sa de întărire-învățare ar produce proiecte mai bune decât cele realizate doar de ingineri umani folosind instrumente din industrie. Nu numai că, Google a spus că modelul său și-a finalizat munca mult mai repede decât inginerii care repetă peste machete.

„În ciuda a cinci decenii de cercetare, planificarea cu cip a sfidat automatizarea, necesitând luni de efort intens din partea inginerilor de proiectare fizică pentru a produce un aspect fabricabil... În mai puțin de șase ore, metoda noastră generează automat planuri de etaj cu cip care sunt superioare sau comparabile cu cele produse de oameni în toate. valori cheie”, Googlers scris în lucrarea lor Nature.

Cercetarea a atras atenția comunității de automatizare a designului electronic, care se îndrepta deja spre încorporarea algoritmilor de învățare automată în suitele lor de software. Acum afirmațiile Google cu privire la modelul său mai bun decât oamenii au fost contestate de o echipă de la Universitatea din California, San Diego (UCSD).

Avantaj nemeritat?

Condus de Andrew Kahng, un profesor de informatică și inginerie, acel grup a petrecut luni de zile lucrând cu inginerie inversă a conductei de planificare a solului descrisă de Google în Nature. Gigantul web a ascuns câteva detalii despre funcționarea interioară a modelului său, invocând sensibilitatea comercială, așa că UCSD a trebuit să-și dea seama cum să-și creeze propria versiune completă pentru a verifica descoperirile Google. Prof. Kahng, menționăm, a servit ca recenzent pentru Nature în timpul procesului de evaluare inter pares al lucrării Google.

În cele din urmă, cadrele universitare și-au găsit propria recreare a codului Google original, denumit circuit training (CT) în studiul lor, de fapt a avut rezultate mai slabe decât oamenii folosind metode și instrumente tradiționale din industrie.

Ce ar fi putut cauza această discrepanță? S-ar putea spune că recrearea a fost incompletă, deși poate exista o altă explicație. De-a lungul timpului, echipa UCSD a aflat că Google a folosit software comercial dezvoltat de Synopsys, un producător major de suite de automatizare a designului electronic (EDA), pentru a crea un aranjament inițial al porților logice ale cipului pe care apoi l-a optimizat sistemul de învățare prin întărire al gigantului web.

Experimentele arată că deținerea de informații de plasare inițială poate îmbunătăți semnificativ rezultatele CT

Lucrarea Google a menționat că au fost folosite instrumente software standard din industrie și ajustări manuale după modelul a generat un aspect, în primul rând pentru a se asigura că procesorul va funcționa conform intenției și pentru a-l finaliza pentru fabricare. Angajații Google au susținut că acesta a fost un pas necesar, indiferent dacă planul a fost creat de un algoritm de învățare automată sau de oameni cu instrumente standard și, prin urmare, modelul său merită credit pentru produsul final optimizat.

Cu toate acestea, echipa UCSD a spus că nu există nicio mențiune în documentul Nature despre instrumentele EDA folosite dinainte pentru a pregăti un aspect pentru ca modelul să se repete. Se susține că aceste instrumente Synopsys ar fi dat modelului un avans suficient de decent încât adevăratele capacități ale sistemului AI ar trebui puse sub semnul întrebării.

„Acest lucru nu a fost evident în timpul revizuirii lucrării”, a scris echipa universității despre utilizarea suitei Synopsys pentru a pregăti un aspect pentru model, „și nu este menționat în Nature. Experimentele arată că deținerea de informații inițiale de plasare poate îmbunătăți semnificativ rezultatele CT.”

Natura investighează cercetările Google

Unii academicieni au îndemnat Nature să revizuiască lucrarea Google în lumina studiului UCSD. În e-mailurile către jurnalul vizualizat de Registrul, cercetătorii au evidențiat preocupările exprimate de profesorul Kahng și colegii săi și au pus la îndoială dacă lucrarea Google induce în eroare.

Bill Swartz, un lector superior care predă inginerie electrică la Universitatea din Texas din Dallas, a spus că lucrarea Nature „a lăsat o mulțime de [cercetători] în întuneric”, deoarece rezultatele au implicat TPU-uri proprietare ale titanului de internet și, prin urmare, imposibil de verificat.

Utilizarea software-ului Synopsys pentru a iniția software-ul Google trebuie investigată, a spus el. „Cu toții vrem doar să cunoaștem algoritmul real pentru a-l putea reproduce. Dacă afirmațiile [Google] sunt corecte, atunci vrem să o implementăm. Ar trebui să existe știință, ar trebui să fie totul obiectiv; dacă funcționează, funcționează”, a spus el.

Natura a spus Registrul analizează documentul Google, deși nu a spus exact ce investighează și nici de ce.

„Nu putem comenta detaliile cazurilor individuale din motive de confidențialitate”, ne-a spus un purtător de cuvânt al Nature. „Cu toate acestea, vorbind în general, atunci când se ridică îngrijorări cu privire la orice lucrare publicată în jurnal, le analizăm cu atenție urmând un proces stabilit.

„Acest proces implică consultarea autorilor și, acolo unde este cazul, solicitarea de sfaturi de la evaluatori colegi și alți experți externi. Odată ce avem suficiente informații pentru a lua o decizie, continuăm cu răspunsul care este cel mai potrivit și care oferă cititorilor noștri claritate în ceea ce privește rezultatul.”

Aceasta nu este prima dată când revista efectuează o investigație post-publicare a studiului, care se confruntă cu un control reînnoit. Lucrarea Google a rămas online, cu o corecție a autorului adăugată în martie 2022, care includea a legătură la unele dintre codurile CT open source de la Google pentru cei care încearcă să urmeze metodele studiului.

Fără pregătire preliminară și calculație insuficientă?

Autorii principali ai lucrării Google, Azalia Mirhoseini și Anna Goldie, au spus că munca echipei UCSD nu este o implementare precisă a metodei lor. Ei au subliniat că grupul profesorului Kahng a obținut rezultate mai proaste, deoarece nu și-au pregătit modelul în prealabil cu privire la nicio dată.

„O metodă bazată pe învățare va funcționa, desigur, mai rău dacă nu i se permite să învețe din experiența anterioară. În lucrarea noastră Nature, ne antrenăm în prealabil pe 20 de blocuri înainte de a evalua cazurile de testare reținute”, au spus cei doi într-un comunicat [PDF].

Echipa profesorului Kahng, de asemenea, nu și-a antrenat sistemul folosind aceeași cantitate de putere de calcul pe care a folosit-o Google și a sugerat că este posibil ca acest pas să nu fi fost efectuat corect, paralizând performanța modelului. Mirhoseini și Goldie au spus, de asemenea, că pasul de pre-procesare folosind aplicații EDA care nu a fost descris în mod explicit în documentul lor Nature nu a fost suficient de important pentru a fi menționat. 

„Lucrarea [UCSD] se concentrează pe utilizarea plasării inițiale de la sinteza fizică la celulele standard în cluster, dar acest lucru nu prezintă nicio preocupare practică. Sinteza fizică trebuie efectuată înainte de a rula orice metodă de plasare”, au spus ei. „Aceasta este o practică standard în proiectarea cipurilor.”

Grupul UCSD, însă, a spus nu și-au pregătit modelul în prealabil pentru că nu au avut acces la datele proprietare Google. Ei au susținut, totuși, că software-ul lor a fost verificat de alți doi ingineri de la gigantul internetului, care erau, de asemenea, enumerați ca co-autori ai lucrării Nature. Profesorul Kahng prezintă studiul echipei sale la Simpozionul internațional de proiectare fizică din acest an conferință Marţi.

Între timp, Google continuă să folosească tehnici bazate pe învățare pentru a-și îmbunătăți TPU-urile, care sunt utilizate în mod activ în centrele sale de date.

Googler concediat susține că cercetarea a fost promovată pentru o afacere profitabilă în cloud

Separately, Google’s Nature paper’s claims of superhuman performance were disputed internally within the internet goliath. In May last year, Satrajit Chatterjee, an AI researcher, was fired from Google with cause; he claimed he was let go was because he had criticized the Nature study and contested the paper’s findings. Chatterjee was also told Google wouldn’t publish his paper critiquing the first study.

He was also accused by other Googlers of going too far in his criticism – such as, for instance, allegedly verbally describing the work as a “train wreck” and a “tire fire” – and was placed under HR investigation for his alleged behavior.

Chatterjee has since sued Google in the Superior Court of California in Santa Clara claiming wrongful termination. Chatterjee declined to comment for this story, and he denies any wrongdoing. Mirhoseini and Goldie left Google in mid-2022 after Chatterjee was axed.

În plângerea sa împotriva Google, care a fost modificată [PDF] luna trecută, avocații Chatterjee au susținut că gigantul web se gândea să comercializeze software-ul său de generare a planurilor de etaj bazat pe inteligență artificială cu „Company S” în timp ce negocia un acord Google Cloud în valoare de 120 de milioane de dolari cu S la acea vreme. Chatterjee a susținut că Google a susținut lucrarea planului pentru a ajuta la convingerea companiei S să participe la acest pact comercial semnificativ.

„Studiul a fost realizat în parte ca un prim pas către o potențială comercializare cu [Compania S] (și realizat cu resurse de la [Compania S]). Întrucât a fost făcut în contextul unui potențial mare acord cu Cloud, ar fi fost lipsit de etică să presupunem că avem o tehnologie revoluționară atunci când testele noastre au arătat contrariul”, a scris Chatterjee într-un e-mail către CEO-ul Google, Sundar Pichai, vicepreședinte și membru al ingineriei Jay. Yagnik și vicepreședintele Google Research Rahul Sukthankar, care a fost dezvăluit ca parte a procesului.

Dosarele sale în justiție au acuzat Google că a „exagerat” rezultatele studiului său și că „a reținut în mod deliberat informații materiale de la Compania S pentru a o determina să semneze un acord de cloud computing”, atragând efectiv cealaltă companie folosind ceea ce el considera o tehnologie îndoielnică.

Compania S este descrisă în actele judiciare drept „companie de automatizare a designului electronic”. Au spus oameni familiarizați cu chestiunea Registrul Compania S este Synopsys.

Synopsys și Google au refuzat să comenteze. ®

Există vreo poveste în lumea inteligenței artificiale pe care doriți să o împărtășiți? Vorbeste cu noi in incredere.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
• Sursa: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/