Twierdzenia Google o nadludzkim układzie chipów AI z powrotem pod mikroskopem

Specjalny raport Artykuł badawczy prowadzony przez Google, opublikowany w Nature, twierdzący, że oprogramowanie do uczenia maszynowego może projektować lepsze chipy szybciej niż ludzie, został zakwestionowany po tym, jak nowe badanie zakwestionowało jego wyniki.

W czerwcu 2021 r. Google stworzyło nagłówki do opracowania systemu opartego na uczeniu się przez wzmacnianie, zdolnego do automatycznego generowania zoptymalizowanych planów pięter z mikroczipem. Plany te określają rozmieszczenie bloków obwodów elektronicznych w chipie: gdzie rzeczy, takie jak rdzenie procesora i karty graficznej oraz kontrolery pamięci i urządzeń peryferyjnych, faktycznie znajdują się na fizycznej matrycy krzemowej.

Google powiedział, że używa tego oprogramowania AI do projektowania własnych chipów TPU, które przyspieszają obciążenia sztucznej inteligencji: wykorzystywał uczenie maszynowe, aby inne systemy uczenia maszynowego działały szybciej. 

Plan piętra chipa jest ważny, ponieważ decyduje o tym, jak dobrze działa procesor. Będziesz chciał ostrożnie rozmieścić bloki obwodów chipa, aby na przykład sygnały i dane propagowały się między tymi obszarami z pożądaną szybkością. Inżynierowie zazwyczaj spędzają tygodnie lub miesiące na udoskonalaniu swoich projektów, próbując znaleźć optymalną konfigurację. Wszystkie różne podsystemy muszą być rozmieszczone w określony sposób, aby wyprodukować chip tak mocny, energooszczędny i jak najmniejszy. 

Tworzenie planów pięter wymaga obecnie połączenia pracy ręcznej i automatyzacji przy użyciu aplikacji do projektowania układów scalonych. Zespół Google starał się wykazać, że jego podejście polegające na uczeniu się przez wzmacnianie pozwoliłoby tworzyć projekty lepsze niż te tworzone przez samych inżynierów przy użyciu narzędzi branżowych. Co więcej, Google powiedział, że jego model zakończył pracę znacznie szybciej niż inżynierowie iterujący nad układami.

„Pomimo pięćdziesięciu lat badań, planowanie układów scalonych wyprzedziło automatyzację, wymagając miesięcy intensywnych wysiłków inżynierów zajmujących się projektowaniem fizycznym, aby stworzyć możliwy do wyprodukowania układ… W mniej niż sześć godzin nasza metoda automatycznie generuje plany układów stropowych, które są lepsze lub porównywalne z tymi tworzonymi przez ludzi we wszystkich kluczowych wskaźników”, Googlersi napisał w ich artykule Nature.

Badania zwróciły uwagę społeczności zajmującej się automatyzacją projektowania elektronicznego, która już zmierzała w kierunku włączenia algorytmów uczenia maszynowego do swoich pakietów oprogramowania. Teraz twierdzenia Google o jego modelu lepszym od ludzi zostały zakwestionowane przez zespół z Uniwersytetu Kalifornijskiego w San Diego (UCSD).

Nieuczciwa przewaga?

Kierowana przez Andrew Kahnga, profesora informatyki i inżynierii, grupa ta spędziła miesiące na inżynierii wstecznej procesu planowania pięter, który Google opisał w Nature. Gigant internetowy ukrył niektóre szczegóły dotyczące wewnętrznego działania swojego modelu, powołując się na wrażliwość komercyjną, więc UCSD musiał wymyślić, jak stworzyć własną pełną wersję, aby zweryfikować ustalenia Googlerów. Jak zauważamy, prof. Kahng był recenzentem magazynu Nature podczas procesu recenzowania artykułu Google.

Akademicy uniwersyteccy ostatecznie znaleźli własne odtworzenie oryginalnego kodu Google, określanego jako trening obwodowy (CT) w ich badanie, w rzeczywistości radzili sobie gorzej niż ludzie stosujący tradycyjne metody i narzędzia branżowe.

Co mogło spowodować tę rozbieżność? Można powiedzieć, że odtworzenie było niekompletne, choć może istnieć inne wyjaśnienie. Z biegiem czasu zespół UCSD dowiedział się, że Google wykorzystał komercyjne oprogramowanie opracowane przez firmę Synopsys, głównego producenta pakietów do automatyzacji projektowania elektronicznego (EDA), do stworzenia początkowego układu bramek logicznych chipa, który następnie został zoptymalizowany przez system uczenia przez wzmocnienie.

Eksperymenty pokazują, że posiadanie informacji o początkowym umiejscowieniu może znacznie poprawić wyniki TK

W artykule Google wspomniano, że zastosowano standardowe w branży narzędzia programowe i ręczne dostrajanie po model wygenerował układ, głównie po to, aby zapewnić, że procesor będzie działał zgodnie z przeznaczeniem i sfinalizować go do produkcji. Googlersi argumentowali, że był to niezbędny krok, niezależnie od tego, czy plan piętra został stworzony przez algorytm uczenia maszynowego, czy przez ludzi za pomocą standardowych narzędzi, a zatem jego model zasługiwał na uznanie za zoptymalizowany produkt końcowy.

Jednak zespół UCSD powiedział, że w artykule Nature nie ma wzmianki o używanych narzędziach EDA uprzednio aby przygotować układ dla modelu do iteracji. Twierdzi się, że te narzędzia Synopsys mogły dać modelowi wystarczająco przyzwoitą przewagę, że prawdziwe możliwości systemu AI powinny zostać zakwestionowane.

„Nie było to widoczne podczas przeglądu artykułu” — napisał zespół uniwersytecki o wykorzystaniu pakietu Synopsys do przygotowania układu dla modelu — „i nie zostało to wspomniane w Nature. Eksperymenty pokazują, że posiadanie informacji o początkowym umiejscowieniu może znacznie poprawić wyniki TK”.

Natura bada badania Google

Od tego czasu niektórzy naukowcy namawiali Nature do przejrzenia artykułu Google w świetle badań UCSD. W e-mailach do czasopisma przeglądanego przez Rejestr, naukowcy zwrócili uwagę na obawy zgłoszone przez prof. Kahnga i jego współpracowników oraz zapytali, czy artykuł Google wprowadza w błąd.

Bill Swartz, starszy wykładowca wykładający elektrotechnikę na University of Texas w Dallas, powiedział, że artykuł Nature „pozostawił wielu [badaczy] w ciemności”, ponieważ wyniki obejmowały zastrzeżone TPU internetowego tytana, a zatem niemożliwe do zweryfikowania.

Powiedział, że należy zbadać wykorzystanie oprogramowania Synopsys do przygotowania oprogramowania Google. „Wszyscy chcemy po prostu poznać rzeczywisty algorytm, abyśmy mogli go odtworzyć. Jeśli twierdzenia [Google] są słuszne, to chcemy je wdrożyć. Powinna istnieć nauka, wszystko powinno być obiektywne; jeśli to działa, to działa” – powiedział.

Natura powiedziała Rejestr przegląda artykuł Google, choć nie mówi dokładnie, co bada ani dlaczego.

„Nie możemy komentować szczegółów poszczególnych przypadków ze względu na poufność” – powiedział nam rzecznik Nature. „Jednak, mówiąc ogólnie, gdy pojawiają się obawy dotyczące jakiegokolwiek artykułu opublikowanego w czasopiśmie, uważnie się im przyglądamy zgodnie z ustalonym procesem.

„Proces ten obejmuje konsultacje z autorami oraz, w stosownych przypadkach, zasięganie porady recenzentów i innych zewnętrznych ekspertów. Gdy mamy wystarczająco dużo informacji, aby podjąć decyzję, odpowiadamy, która jest najbardziej odpowiednia i zapewnia naszym czytelnikom jasność co do wyniku”.

To nie pierwszy raz, kiedy czasopismo przeprowadziło sondę po publikacji w badaniu, które czeka na ponowną analizę. Artykuł pracowników Google pozostał online z poprawką autora dodaną w marcu 2022 r., która obejmowała m.in link do niektórych kodów Google CT typu open source dla tych, którzy próbują zastosować metody badania.

Brak wstępnego szkolenia i niewystarczająca moc obliczeniowa?

Główni autorzy artykułu Google, Azalia Mirhoseini i Anna Goldie, powiedzieli, że praca zespołu UCSD nie jest dokładną implementacją ich metody. Wskazali, że grupa prof. Kahnga uzyskała gorsze wyniki, ponieważ w ogóle nie trenowała swojego modelu na żadnych danych.

„Metoda oparta na uczeniu się będzie oczywiście działać gorzej, jeśli nie pozwoli się jej uczyć się na wcześniejszych doświadczeniach. W naszym artykule Nature trenujemy wstępnie na 20 blokach przed oceną wstrzymanych przypadków testowych” – powiedzieli obaj w oświadczeniu [PDF].

Zespół profesora Kahnga również nie trenował swojego systemu przy użyciu takiej samej mocy obliczeniowej, jakiej używał Google, i zasugerował, że ten krok mógł zostać przeprowadzony nieprawidłowo, co osłabiło wydajność modelu. Mirhoseini i Goldie powiedzieli również, że etap wstępnego przetwarzania przy użyciu aplikacji EDA, który nie został wyraźnie opisany w ich artykule w Nature, nie był wystarczająco ważny, aby o nim wspominać. 

„Artykuł [UCSD] koncentruje się na wykorzystaniu początkowego rozmieszczenia od syntezy fizycznej do klastrów standardowych komórek, ale nie ma to praktycznego znaczenia. Fizyczna synteza musi zostać przeprowadzona przed uruchomieniem jakiejkolwiek metody umieszczania” – powiedzieli. „To standardowa praktyka w projektowaniu układów scalonych”.

Jednak grupa UCSD powiedziany nie trenowali wstępnie swojego modelu, ponieważ nie mieli dostępu do zastrzeżonych danych Google. Twierdzili jednak, że ich oprogramowanie zostało zweryfikowane przez dwóch innych inżynierów z internetowego giganta, którzy również zostali wymienieni jako współautorzy artykułu Nature. Prof. Kahng prezentuje badania swojego zespołu na tegorocznym Międzynarodowym Sympozjum Projektowania Fizycznego konferencja Wtorek.

Tymczasem Google nadal stosuje techniki oparte na uczeniu się przez wzmacnianie w celu ulepszenia swoich TPU, które są aktywnie wykorzystywane w jego centrach danych.

Zwolniony Googler twierdzi, że badania były zachęcane do lukratywnej umowy w chmurze

Osobną kwestią jest to, że twierdzenia gazety Google Nature o nadludzkich osiągach były wewnętrznie kwestionowane w internetowym goliacie. W maju ubiegłego roku Satrajit Chatterjee, badacz sztucznej inteligencji, został zwolniony z Google bez powodu; twierdził, że został zwolniony, ponieważ skrytykował badanie Nature i zakwestionował ustalenia gazety. Chatterjee został również poinformowany, że Google nie opublikuje jego artykułu krytykującego pierwsze badanie.

Został także oskarżony przez innych pracowników Google o posunięcie się za daleko w swojej krytyce – na przykład rzekome słowne określenie swojej pracy jako „wrak pociągu” i „pożar opony” – i w związku z jego rzekomym zachowaniem wszczęto dochodzenie w dziale HR.

Od tego czasu Chatterjee pozwał Google do Sądu Najwyższego Kalifornii w Santa Clara, zarzucając bezprawne rozwiązanie umowy o pracę. Chatterjee odmówił komentarza w sprawie tej historii i zaprzecza jakimkolwiek nieprawidłowościom. Mirhoseini i Goldie opuścili Google w połowie 2022 r. po zwolnieniu Chatterjee.

W swojej skardze przeciwko firmie Google, która została zmieniona [PDF] w zeszłym miesiącu prawnicy Chatterjee twierdzili, że gigant internetowy myślał o komercjalizacji swojego oprogramowania do generowania planów pięter opartego na sztucznej inteligencji z „Firmą S”, podczas gdy negocjował umowę Google Cloud z S o wartości podobno 120 milionów dolarów w tamtym czasie. Chatterjee twierdził, że Google bronił planu piętra, aby pomóc przekonać Firmę S do wejścia na pokład tego ważnego paktu handlowego.

„Badanie zostało przeprowadzone częściowo jako pierwszy krok w kierunku potencjalnej komercjalizacji z [Firmą S] (i przeprowadzone przy użyciu zasobów [Firmy S]). Ponieważ zrobiono to w kontekście dużej potencjalnej umowy w chmurze, sugerowanie, że mamy rewolucyjną technologię, byłoby nieetyczne, gdy nasze testy wykazały inaczej” – napisał Chatterjee w e-mailu do dyrektora generalnego Google, Sundara Pichai, wiceprezesa i inżyniera, Jaya. Yagnik i wiceprezes Google Research Rahul Sukthankar, który został ujawniony w ramach pozwu.

W swoich aktach sądowych oskarżył Google o „zawyżanie” wyników swoich badań i „celowe ukrywanie istotnych informacji przed firmą S, aby skłonić ją do podpisania umowy dotyczącej przetwarzania w chmurze”, skutecznie zabiegając o drugą firmę za pomocą tego, co uważał za wątpliwą technologię.

Firma S jest opisana w dokumentach sądowych jako „firma zajmująca się automatyzacją projektowania elektronicznego”. Zgłosiły się osoby zaznajomione ze sprawą Rejestr Firma S to Synopsys.

Synopsys i Google odmówiły komentarza. ®

Czy jest jakaś historia w świecie sztucznej inteligencji, którą chcesz się podzielić? NAPISZ DO NAS w zaufaniu.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/