Заявления Google о компоновке чипа сверхчеловеческого ИИ снова под микроскопом

Специальный отчет Исследовательская работа под руководством Google, опубликованная в журнале Nature, в которой утверждается, что программное обеспечение для машинного обучения может создавать более совершенные чипы быстрее, чем люди, была поставлена ​​под сомнение после того, как новое исследование оспорило его результаты.

В июне 2021 года Google сделал заголовки за разработку системы на основе обучения с подкреплением, способной автоматически генерировать оптимизированные планы этажей микрочипов. Эти планы определяют расположение блоков электронных схем внутри чипа: где такие элементы, как ядра ЦП и ГП, а также контроллеры памяти и периферийных устройств, фактически размещаются на физическом кремниевом кристалле.

Google заявила, что использует это программное обеспечение ИИ для разработки собственных чипов TPU, которые ускоряют рабочие нагрузки ИИ: она применяет машинное обучение, чтобы ускорить работу других своих систем машинного обучения. 

Планировка чипа важна, потому что она определяет, насколько хорошо работает процессор. Вы захотите тщательно расположить блоки цепей микросхемы, чтобы, например, сигналы и данные распространялись между этими областями с желаемой скоростью. Инженеры обычно тратят недели или месяцы на доработку своих проектов, пытаясь найти оптимальную конфигурацию. Все различные подсистемы должны быть размещены определенным образом, чтобы получить максимально мощный, энергоэффективный и компактный чип. 

Создание плана этажа сегодня обычно включает в себя сочетание ручной работы и автоматизации с использованием приложений для проектирования микросхем. Команда Google стремилась продемонстрировать, что их подход к обучению с подкреплением позволит создавать проекты лучше, чем те, которые созданы инженерами-людьми с использованием отраслевых инструментов. Мало того, Google заявила, что ее модель завершила свою работу намного быстрее, чем инженеры, перебирающие макеты.

«Несмотря на пять десятилетий исследований, планирование этажей на микросхемах не поддается автоматизации, требуя месяцев интенсивных усилий инженеров-физических дизайнеров для создания технологичной схемы… Менее чем за шесть часов наш метод автоматически генерирует планы этажей на микросхемах, которые превосходят или сопоставимы с теми, которые создаются людьми во всех отношениях. ключевые показатели», сотрудники Google писал в своей газете Nature.

Исследование привлекло внимание сообщества специалистов по автоматизации проектирования электроники, которые уже двигались к включению алгоритмов машинного обучения в свои пакеты программного обеспечения. Теперь заявления Google о своей модели «лучше, чем люди» были оспорены командой Калифорнийского университета в Сан-Диего (UCSD).

Несправедливое преимущество?

Под руководством Эндрю Канга, профессора компьютерных наук и инженерии, эта группа потратила несколько месяцев на реинжиниринг конвейера планирования этажей, описанного Google в Nature. Веб-гигант утаил некоторые детали внутренней работы своей модели, сославшись на коммерческую тайну, поэтому UCSD пришлось выяснить, как сделать собственную полную версию, чтобы проверить выводы сотрудников Google. Мы отмечаем, что профессор Канг выступал в качестве рецензента в журнале Nature во время рецензирования статьи Google.

Университетские ученые в конце концов нашли свою собственную версию исходного кода Google, которая называется круговой тренировкой (CT). их исследование, на самом деле работали хуже, чем люди, использующие традиционные отраслевые методы и инструменты.

Чем могло быть вызвано это несоответствие? Можно сказать, что воссоздание было неполным, хотя может быть и другое объяснение. Со временем команда UCSD узнала, что Google использовала коммерческое программное обеспечение, разработанное Synopsys, крупным производителем комплектов для автоматизации проектирования электроники (EDA), для создания исходной конфигурации логических вентилей чипа, которую затем оптимизировала система обучения с подкреплением веб-гиганта.

Эксперименты показывают, что наличие исходной информации о размещении может значительно улучшить результаты КТ.

В документе Google упоминалось, что использовались стандартные программные инструменты и ручная настройка. после модель создала компоновку, в первую очередь для того, чтобы убедиться, что процессор будет работать должным образом, и доработать его для изготовления. Сотрудники Google утверждали, что это был необходимый шаг, независимо от того, был ли план этажа создан алгоритмом машинного обучения или людьми с помощью стандартных инструментов, и поэтому его модель заслуживает похвалы за оптимизированный конечный продукт.

Тем не менее, команда UCSD заявила, что в статье Nature не упоминаются используемые инструменты EDA. заранее чтобы подготовить макет для повторения модели. Утверждается, что эти инструменты Synopsys, возможно, дали модели достаточно приличный старт, чтобы истинные возможности системы искусственного интеллекта были поставлены под сомнение.

«Этого не было видно во время рецензирования статьи, — написала университетская команда об использовании пакета Synopsys для подготовки макета модели, — и не упоминается в Nature. Эксперименты показывают, что наличие исходной информации о размещении может значительно улучшить результаты КТ».

Nature расследует исследования Google

С тех пор некоторые ученые призвали Nature пересмотреть статью Google в свете исследования UCSD. В электронных письмах к журналу, просматриваемому Регистр, исследователи обратили внимание на опасения, высказанные профессором Кангом и его коллегами, и задались вопросом, не вводит ли статья Google в заблуждение.

Билл Шварц, старший преподаватель, преподающий электротехнику в Техасском университете в Далласе, сказал, что статья в Nature «оставила многих [исследователей] в неведении», поскольку результаты касались запатентованных TPU интернет-гиганта и, следовательно, их невозможно проверить.

По его словам, необходимо изучить возможность использования программного обеспечения Synopsys для запуска программного обеспечения Google. «Мы все просто хотим знать реальный алгоритм, чтобы мы могли его воспроизвести. Если претензии [Google] верны, мы хотим реализовать это. Должна быть наука, все должно быть объективно; если это работает, то это работает», — сказал он.

Природа сказала Регистр он изучает документ Google, хотя и не говорит, что именно он расследует и почему.

«Мы не можем комментировать детали отдельных случаев по соображениям конфиденциальности», — сказал нам представитель Nature. «Однако, говоря в целом, когда возникают опасения по поводу какой-либо статьи, опубликованной в журнале, мы внимательно изучаем ее в соответствии с установленным процессом.

«Этот процесс включает консультации с авторами и, при необходимости, обращение за советом к рецензентам и другим внешним экспертам. Как только у нас будет достаточно информации для принятия решения, мы предоставим ответ, который наиболее подходит и дает ясность нашим читателям в отношении результата».

Это не первый раз, когда журнал проводит послепубликационное расследование исследования, которое подвергается новой проверке. Статья сотрудников Google осталась в сети с исправлением автора, добавленным в марте 2022 года, которое включало ссылке к некоторому открытому исходному коду Google CT для тех, кто пытается следовать методам исследования.

Нет предварительной подготовки и недостаточно вычислений?

Ведущие авторы статьи Google, Азалия Мирхосейни и Анна Голди, заявили, что работа команды UCSD не является точной реализацией их метода. Они указали, что группа профессора Канга получила худшие результаты, поскольку они вообще не обучали свою модель на каких-либо данных.

«Метод, основанный на обучении, конечно, будет работать хуже, если ему не разрешается учиться на предыдущем опыте. В нашей статье в Nature мы предварительно тренируемся на 20 блоках, прежде чем оценивать отложенные тестовые случаи», — говорится в заявлении.PDF].

Команда профессора Канга также не обучала свою систему с использованием той же вычислительной мощности, что использовала Google, и предположила, что этот шаг мог быть выполнен неправильно, что снизило производительность модели. Мирхосейни и Голди также сказали, что этап предварительной обработки с использованием приложений EDA, который не был подробно описан в их статье в Nature, не был настолько важным, чтобы его упоминать. 

«Документ [UCSD] фокусируется на использовании начального размещения от физического синтеза до кластерных стандартных ячеек, но это не имеет практического значения. Физический синтез должен быть выполнен до запуска любого метода размещения», — сказали они. «Это стандартная практика в дизайне чипов».

Однако группа UCSD — сказал они не обучали свою модель заранее, потому что у них не было доступа к собственным данным Google. Однако они утверждали, что их программное обеспечение было проверено двумя другими инженерами интернет-гиганта, которые также были указаны в качестве соавторов статьи в Nature. Профессор Канг представляет исследование своей группы на Международном симпозиуме по физическому дизайну в этом году. конференция Вторник.

Тем временем Google продолжает использовать методы обучения с подкреплением для улучшения своих TPU, которые активно используются в ее центрах обработки данных.

Уволенный сотрудник Google утверждает, что исследование было раскручено ради выгодной облачной сделки

Кроме того, утверждения статьи Google Nature о сверхчеловеческих способностях были оспорены внутри интернет-голиафа. В мае прошлого года Сатраджит Чаттерджи, исследователь искусственного интеллекта, был уволен из Google по уважительной причине; он утверждал, что его отпустили потому, что он раскритиковал исследование Nature и оспорил выводы статьи. Чаттерджи также сообщили, что Google не будет публиковать его статью с критикой первого исследования.

Другие сотрудники Google также обвинили его в том, что он зашел слишком далеко в своей критике – например, в том, что он якобы устно описал работу как «крушение поезда» и «возгорание шины» – и был помещен под расследование отдела кадров за его предполагаемое поведение.

С тех пор Чаттерджи подал иск против Google в Верховный суд Калифорнии в Санта-Кларе, заявив о неправомерном увольнении. Чаттерджи отказался комментировать эту историю и отрицает какие-либо правонарушения. Мирхосейни и Голди покинули Google в середине 2022 года после увольнения Чаттерджи.

В своей жалобе на Google, в которую были внесены поправки [PDF] В прошлом месяце юристы Чаттерджи заявили, что веб-гигант думал о коммерциализации своего программного обеспечения для создания планов этажей на основе искусственного интеллекта с «Компанией S», в то время как он вел переговоры о сделке Google Cloud, которая, как сообщается, на тот момент стоила 120 миллионов долларов с S. Чаттерджи утверждал, что Google отстаивал план этажа, чтобы помочь убедить компанию S присоединиться к этому важному коммерческому соглашению.

«Исследование было проведено частично как первый шаг к потенциальной коммерциализации с [Компанией S] (и проведено с использованием ресурсов [Компании S]). Поскольку это было сделано в контексте крупной потенциальной облачной сделки, было бы неэтично предполагать, что у нас есть революционная технология, когда наши тесты показали обратное», — написал Чаттерджи в электронном письме генеральному директору Google Сундару Пичаи, вице-президенту и научному сотруднику Джею. Ягник и вице-президент Google Research Рахул Суктанкар, который был раскрыт в рамках судебного процесса.

Его судебные иски обвинили Google в «завышении» результатов своего исследования и «умышленном сокрытии существенной информации от компании S, чтобы побудить ее подписать сделку по облачным вычислениям», эффективно ухаживая за другим бизнесом, используя то, что он считал сомнительной технологией.

В судебных документах компания S описывается как «компания, занимающаяся автоматизацией электронного проектирования». Об этом рассказали люди, знакомые с ситуацией. Регистр Компания S — Synopsys.

Synopsys и Google отказались от комментариев. ®

Есть ли в мире искусственного интеллекта история, которой вы хотите поделиться? свяжитесь с нами в конфиденциальном порядке.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/