Твердження Google про надлюдську структуру чіпа ШІ знову під мікроскопом

Спеціальний звіт Дослідницька стаття під керівництвом Google, опублікована в Nature, яка стверджує, що програмне забезпечення для машинного навчання може створювати кращі чіпи швидше, ніж люди, була поставлена ​​під сумнів після того, як нове дослідження заперечило його результати.

У червні 2021 року Google зробив заголовки для розробки системи на основі навчання з підкріпленням, здатної автоматично генерувати оптимізовані плани мікросхем. Ці плани визначають розташування блоків електронної схеми всередині чіпа: де такі речі, як ядра центрального та графічного процесорів, пам’ять і периферійні контролери, фактично сидять на фізичному кремнієвому кристалі.

Google заявив, що використовує це програмне забезпечення AI для розробки своїх чіпів TPU, які прискорюють робочі навантаження AI: він використовує машинне навчання, щоб пришвидшити роботу інших систем машинного навчання. 

План чіпа важливий, оскільки він визначає, наскільки добре працює процесор. Ви захочете ретельно розташувати блоки схем мікросхеми, щоб, наприклад, сигнали та дані поширювалися між цими областями з бажаною швидкістю. Інженери зазвичай витрачають тижні або місяці на вдосконалення своїх конструкцій, намагаючись знайти оптимальну конфігурацію. Усі різні підсистеми мають бути розміщені певним чином, щоб виробляти чіп якомога потужніший, енергоефективніший і менший. 

Створення плану приміщення сьогодні зазвичай передбачає поєднання ручної роботи та автоматизації за допомогою додатків для проектування мікросхем. Команда Google прагнула продемонструвати, що її підхід до навчання з підкріпленням створюватиме кращі проекти, ніж ті, які створюють інженери-люди за допомогою промислових інструментів. Мало того, Google сказав, що його модель завершила свою роботу набагато швидше, ніж інженери, які повторювали макети.

«Незважаючи на п’ять десятиліть досліджень, планування поверхів чіпів не піддається автоматизації, вимагаючи місяців інтенсивних зусиль від фізичних інженерів-конструкторів для створення придатного для виготовлення макета… Менше ніж за шість годин наш метод автоматично генерує плани поверхів чіпів, які перевершують або порівнюють ті, що створюють люди в усіх сферах діяльності. ключові показники», співробітники Google пише у своїй статті Nature.

Дослідження привернуло увагу спільноти автоматизованого проектування електроніки, яка вже рухалася до включення алгоритмів машинного навчання у свої пакети програмного забезпечення. Тепер твердження Google про її модель кращої за людей оскаржила команда з Каліфорнійського університету в Сан-Дієго (UCSD).

Несправедлива вигода?

На чолі з Ендрю Кангом, професором інформатики та інженерії, ця група витратила місяці на зворотне проектування конвеєра поверхового планування, який Google описав у Nature. Веб-гігант приховав деякі подробиці внутрішньої роботи своєї моделі, посилаючись на комерційну чутливість, тому UCSD довелося з’ясувати, як створити власну повну версію, щоб перевірити висновки співробітників Google. Зауважимо, що професор Канг був рецензентом журналу Nature під час рецензування статті Google.

Університетські вчені зрештою знайшли своє власне відтворення оригінального коду Google, яке називається круговим навчанням (КТ) у їх вивчення, фактично працював гірше, ніж люди, використовуючи традиційні промислові методи та інструменти.

Що могло спричинити цю невідповідність? Можна сказати, що відтворення було неповним, хоча може бути інше пояснення. Згодом команда UCSD дізналася, що Google використовував комерційне програмне забезпечення, розроблене Synopsys, великим виробником комплексів автоматизації електронного проектування (EDA), для створення початкового розташування логічних вентилів чіпа, яке потім оптимізувало систему навчання підкріплення веб-гіганта.

Експерименти показують, що наявність початкової інформації про розміщення може значно покращити результати КТ

У документі Google згадується, що використовувалися стандартні програмні засоби та ручне налаштування після модель створила макет, перш за все, щоб переконатися, що процесор працюватиме належним чином, і завершити його для виготовлення. Співробітники Google стверджували, що це необхідний крок, незалежно від того, створено план поверху за допомогою алгоритму машинного навчання чи людей за допомогою стандартних інструментів, і тому його модель заслуговує на заслугу оптимізованого кінцевого продукту.

Однак команда UCSD заявила, що в документі Nature не згадується використання інструментів EDA заздалегідь щоб підготувати макет для повторення моделі. Стверджується, що ці інструменти Synopsys, можливо, дали моделі достатньо пристойну перевагу, щоб справжні можливості системи штучного інтелекту поставили під сумнів.

«Це не було очевидно під час рецензування статті, — написала команда університету про використання набору Synopsys для підготовки макета для моделі, — і не згадується в Nature. Експерименти показують, що наявність початкової інформації про розміщення може значно покращити результати КТ».

Природа досліджує дослідження Google

Після цього деякі вчені закликали Nature переглянути статтю Google у світлі дослідження UCSD. В електронних листах до журналу, який переглядає Реєстр, дослідники підкреслили занепокоєння, висловлене професором Кангом та його колегами, і поставили під сумнів, чи документ Google вводить в оману.

Білл Шварц, старший викладач електротехніки в Техаському університеті в Далласі, сказав, що стаття Nature «залишила багатьох [дослідників] у невіданні», оскільки результати стосуються власних TPU інтернет-титана, і тому їх неможливо перевірити.

За його словами, необхідно дослідити використання програмного забезпечення Synopsys для створення програмного забезпечення Google. «Ми всі просто хочемо знати справжній алгоритм, щоб ми могли його відтворити. Якщо претензії [Google] правильні, ми хочемо це реалізувати. Має бути наука, все має бути об’єктивним; якщо це працює, це працює", - сказав він.

Природа сказала Реєстр він вивчає документи Google, хоча в ньому не вказано, що саме він досліджує і чому.

«Ми не можемо коментувати подробиці окремих випадків з міркувань конфіденційності», — сказав нам представник Nature. «Однак, якщо говорити загалом, коли виникають занепокоєння щодо будь-якої статті, опублікованої в журналі, ми ретельно її розглядаємо, дотримуючись встановленого процесу.

«Цей процес передбачає консультації з авторами та, у разі необхідності, звернення за порадою до рецензентів та інших зовнішніх експертів. Коли ми отримуємо достатньо інформації для прийняття рішення, ми даємо відповідь, яка є найбільш прийнятною та дає ясність нашим читачам щодо результату».

Це не перший випадок, коли журнал перевіряє дослідження після публікації, яке піддається оновленій перевірці. Документ співробітників Google залишився в мережі з виправленнями автора, доданими в березні 2022 року, які включали a link до деяких відкритих вихідних кодів Google CT для тих, хто намагається слідувати методам дослідження.

Немає попередньої підготовки та недостатньо обчислювальної техніки?

Провідні автори статті Google Азалія Мірхосейні та Анна Голді заявили, що робота команди UCSD не є точною реалізацією їх методу. Вони відзначили, що група професора Канга отримала гірші результати, оскільки вони взагалі не тренували свою модель на жодних даних.

«Метод, заснований на навчанні, звичайно, буде працювати гірше, якщо йому не дозволити вчитися на попередньому досвіді. У нашій статті Nature ми попередньо тренуємося на 20 блоках перед тим, як оцінювати затримані тестові випадки», — йдеться в заяві обох [PDF].

Команда професора Канга також не навчила свою систему, використовуючи ту саму кількість обчислювальної потужності, яку використовував Google, і припустила, що цей крок, можливо, було виконано неправильно, що погіршило продуктивність моделі. Міргосейні та Голді також сказали, що етап попередньої обробки з використанням додатків EDA, який явно не описаний у їхній статті Nature, не є настільки важливим, щоб згадувати. 

«Документ [UCSD] фокусується на використанні початкового розміщення від фізичного синтезу до кластерних стандартних клітин, але це не має практичного значення. Фізичний синтез повинен бути виконаний перед запуском будь-якого методу розміщення», – сказали вони. «Це стандартна практика в дизайні мікросхем».

Однак група UCSD сказав вони не тренували свою модель попередньо, оскільки не мали доступу до власних даних Google. Однак вони стверджували, що їхнє програмне забезпечення було перевірено двома іншими інженерами інтернет-гіганта, які також були зазначені як співавтори статті Nature. Професор Канг представляє дослідження своєї команди на цьогорічному Міжнародному симпозіумі з фізичного дизайну конференція Вівторок

Тим часом Google продовжує використовувати методи навчання на основі підкріплення для вдосконалення своїх TPU, які активно використовуються в її центрах обробки даних.

Звільнений співробітник Google стверджує, що дослідження було розкручено заради вигідної хмарної угоди

Крім того, твердження Google Nature про надлюдську продуктивність були оскаржені всередині інтернет-голіафа. У травні минулого року Сатраджит Чаттерджі, дослідник ШІ, був звільнений з Google з причини; він стверджував, що його звільнили через те, що він критикував дослідження Nature і оскаржував висновки статті. Чаттерджі також сказали, що Google не публікуватиме його статтю з критикою першого дослідження.

Інші співробітники Google також звинуватили його в тому, що він зайшов занадто далеко у своїй критиці – наприклад, у тому, що він нібито словесно описав роботу як «аварія поїзда» та «пожежу шини», – і його було розпочато розслідування у відділі кадрів за його ймовірну поведінку.

Відтоді Чаттерджі подав до суду на Google у Вищому суді Каліфорнії в Санта-Кларі, стверджуючи про незаконне припинення дії. Чаттерджі відмовився коментувати цю історію та заперечує будь-які правопорушення. Міргосейні та Голді покинули Google у середині 2022 року після того, як Чаттерджі звільнили з сокири.

У своїй скарзі проти Google, до якої було внесено зміни [PDF] минулого місяця юристи Чаттерджі стверджували, що веб-гігант думав про комерціалізацію свого програмного забезпечення для генерації планів поверхів на основі штучного інтелекту з «Компанією S», у той час як він веде переговори про угоду Google Cloud, яка на той час, як повідомляється, вартістю 120 мільйонів доларів з S. Чаттерджі стверджував, що Google відстоював документ про план приміщення, щоб переконати компанію S приєднатися до цієї важливої ​​комерційної угоди.

«Дослідження було проведено частково як перший крок до потенційної комерціалізації з [Компанією S] (і проведено за допомогою ресурсів [Компанії S]). Оскільки це було зроблено в контексті великої потенційної хмарної угоди, було б неетично стверджувати, що ми маємо революційну технологію, коли наші тести показали інше», — написав Чаттерджі в електронному листі генеральному директору Google Сундару Пічаї, віце-президенту та науковому співробітнику Джею. Ягнік і віце-президент з досліджень Google Рахул Суктханкар, про що стало відомо в рамках судового процесу.

Його судові документи звинуватили Google у «завищенні» результатів дослідження та «навмисному приховуванні суттєвої інформації від компанії S, щоб спонукати її підписати угоду з хмарними обчисленнями», фактично схиляючись до іншої компанії, використовуючи те, що він вважав сумнівною технологією.

У судових документах компанія S описана як «компанія з автоматизації електронного проектування». Розповіли знайомі Реєстр Компанія S - Synopsys.

Synopsys і Google відмовилися від коментарів. ®

Чи є історія у світі штучного інтелекту, якою ви хочете поділитися? Задати питання впевнено.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
• джерело: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/