As alegações do Google sobre o layout do chip de IA super-humana sob o microscópio

Relatório especial Um artigo de pesquisa liderado pelo Google publicado na Nature, alegando que o software de aprendizado de máquina pode projetar chips melhores e mais rápidos do que os humanos, foi questionado depois que um novo estudo contestou seus resultados.

Em junho de 2021, o Google fez manchetes para desenvolver um sistema baseado em aprendizado por reforço capaz de gerar automaticamente plantas baixas de microchip otimizadas. Esses planos determinam a disposição dos blocos de circuitos eletrônicos dentro do chip: onde coisas como os núcleos da CPU e da GPU, e a memória e os controladores periféricos, realmente ficam na matriz física de silício.

O Google disse que estava usando esse software de IA para projetar seus chips TPU caseiros que aceleram as cargas de trabalho de IA: estava empregando aprendizado de máquina para fazer seus outros sistemas de aprendizado de máquina funcionarem mais rapidamente. 

A planta baixa de um chip é importante porque determina o desempenho do processador. Você deve organizar cuidadosamente os blocos dos circuitos do chip para que, por exemplo, os sinais e dados se propaguem entre essas áreas a uma taxa desejável. Os engenheiros normalmente passam semanas ou meses refinando seus projetos tentando encontrar a configuração ideal. Todos os diferentes subsistemas devem ser colocados de uma maneira específica para produzir um chip o mais poderoso, eficiente em termos de energia e o menor possível. 

Produzir uma planta baixa hoje geralmente envolve uma mistura de trabalho manual e automação usando aplicativos de design de chip. A equipe do Google procurou demonstrar que sua abordagem de aprendizado por reforço produziria designs melhores do que aqueles feitos apenas por engenheiros humanos usando ferramentas do setor. Além disso, o Google disse que seu modelo concluiu seu trabalho muito mais rápido do que os engenheiros iterando os layouts.

“Apesar de cinco décadas de pesquisa, o chip floorplanning desafiou a automação, exigindo meses de intenso esforço dos engenheiros de projeto físico para produzir um layout fabricável… principais métricas", os Googlers escreveu em seu artigo na Nature.

A pesquisa chamou a atenção da comunidade de automação de design eletrônico, que já estava caminhando para incorporar algoritmos de aprendizado de máquina em seus pacotes de software. Agora, as alegações do Google de seu modelo melhor que os humanos foram contestadas por uma equipe da Universidade da Califórnia, San Diego (UCSD).

Vantagem injusta?

Liderado por Andrew Kahng, professor de ciência da computação e engenharia, esse grupo passou meses fazendo engenharia reversa do pipeline de planta baixa que o Google descreveu na Nature. A gigante da web reteve alguns detalhes do funcionamento interno de seu modelo, citando sensibilidade comercial, então o UCSD teve que descobrir como fazer sua própria versão completa para verificar as descobertas dos Googlers. O professor Kahng, notamos, atuou como revisor da Nature durante o processo de revisão por pares do artigo do Google.

Os acadêmicos da universidade acabaram encontrando sua própria recriação do código original do Google, conhecido como treinamento em circuito (CT) em seu estudo, na verdade tiveram um desempenho pior do que os humanos usando métodos e ferramentas tradicionais da indústria.

O que pode ter causado essa discrepância? Pode-se dizer que a recriação foi incompleta, embora possa haver outra explicação. Com o tempo, a equipe da UCSD descobriu que o Google havia usado um software comercial desenvolvido pela Synopsys, uma grande fabricante de suítes de automação de design eletrônico (EDA), para criar um arranjo inicial das portas lógicas do chip que o sistema de aprendizado por reforço da gigante da web otimizou.

Experimentos mostram que ter informações de posicionamento inicial pode melhorar significativamente os resultados da TC

O documento do Google mencionou que ferramentas de software padrão do setor e ajustes manuais foram usados depois de o modelo gerou um layout, principalmente para garantir que o processador funcionaria como pretendido e finalizá-lo para fabricação. Os Googlers argumentaram que essa era uma etapa necessária, independentemente de a planta baixa ter sido criada por um algoritmo de aprendizado de máquina ou por humanos com ferramentas padrão e, portanto, seu modelo merecia crédito pelo produto final otimizado.

No entanto, a equipe da UCSD disse que não havia menção no artigo da Nature sobre o uso de ferramentas EDA antecipadamente para preparar um layout para o modelo iterar. Argumenta-se que essas ferramentas da Synopsys podem ter dado ao modelo uma vantagem decente o suficiente para que as verdadeiras capacidades do sistema de IA sejam questionadas.

“Isto não ficou aparente durante a revisão do papel”, escreveu a equipe da universidade sobre o uso da suíte Synopsys para preparar um layout para o modelo, “e não é mencionado na Nature. Experimentos mostram que ter informações de posicionamento inicial pode melhorar significativamente os resultados da TC”.

Nature investiga pesquisa do Google

Alguns acadêmicos pediram à Nature que revisse o artigo do Google à luz do estudo da UCSD. Em e-mails para o jornal visualizado por O registro, os pesquisadores destacaram as preocupações levantadas pelo professor Kahng e seus colegas e questionaram se o artigo do Google era enganoso.

Bill Swartz, professor sênior de engenharia elétrica na Universidade do Texas em Dallas, disse que o artigo da Nature “deixou muitos [pesquisadores] no escuro”, pois os resultados envolviam os TPUs proprietários do titã da Internet e, portanto, impossíveis de verificar.

O uso do software da Synopsys para preparar o software do Google precisa ser investigado, disse ele. “Todos nós só queremos saber o algoritmo real para que possamos reproduzi-lo. Se as alegações do [Google] estiverem corretas, queremos implementá-las. Deveria haver ciência, tudo deveria ser objetivo; se funcionar, funciona”, disse.

A natureza disse O registro está analisando o jornal do Google, embora não tenha dito exatamente o que estava investigando nem por quê.

“Não podemos comentar os detalhes de casos individuais por motivos de confidencialidade”, disse um porta-voz da Nature. “No entanto, falando de modo geral, quando surgem preocupações sobre qualquer artigo publicado na revista, nós as examinamos cuidadosamente seguindo um processo estabelecido.

“Esse processo envolve a consulta aos autores e, quando apropriado, a busca de pareceres de revisores e outros especialistas externos. Uma vez que temos informações suficientes para tomar uma decisão, seguimos com a resposta mais apropriada e que fornece clareza para nossos leitores quanto ao resultado.”

Esta não é a primeira vez que a revista realiza uma investigação pós-publicação do estudo, que está enfrentando um escrutínio renovado. O artigo dos Googlers permaneceu online com uma correção do autor adicionada em março de 2022, que incluía uma link a alguns dos códigos CT de código aberto do Google para aqueles que tentam seguir os métodos do estudo.

Sem pré-treinamento e sem computação suficiente?

As principais autoras do artigo do Google, Azalia Mirhoseini e Anna Goldie, disseram que o trabalho da equipe da UCSD não é uma implementação precisa de seu método. Eles apontaram que o grupo do professor Kahng obteve resultados piores, pois não pré-treinou seu modelo com nenhum dado.

“É claro que um método baseado em aprendizado terá um desempenho pior se não for permitido aprender com a experiência anterior. Em nosso artigo da Nature, pré-treinamos em 20 blocos antes de avaliar em casos de teste realizados”, disseram os dois em um comunicado [PDF].

A equipe do professor Kahng também não treinou seu sistema usando a mesma quantidade de poder de computação que o Google usou e sugeriu que essa etapa pode não ter sido realizada corretamente, prejudicando o desempenho do modelo. Mirhoseini e Goldie também disseram que a etapa de pré-processamento usando aplicativos EDA que não foi explicitamente descrita em seu artigo da Nature não era importante o suficiente para ser mencionada. 

“O artigo [UCSD] enfoca o uso da colocação inicial da síntese física para agrupar células padrão, mas isso não é uma preocupação prática. A síntese física deve ser realizada antes de executar qualquer método de colocação”, disseram eles. “Essa é uma prática padrão no design de chips.”

O grupo UCSD, no entanto, dito eles não pré-treinaram seu modelo porque não tinham acesso aos dados proprietários do Google. Eles alegaram, no entanto, que seu software havia sido verificado por dois outros engenheiros da gigante da Internet, que também foram listados como coautores do artigo da Nature. O professor Kahng está apresentando o estudo de sua equipe no Simpósio Internacional de Design Físico deste ano conferência Terça.

Enquanto isso, o Google continua a usar técnicas baseadas em aprendizado por reforço para aprimorar seus TPUs, que são usados ​​ativamente em seus datacenters.

Googler demitido afirma que a pesquisa foi sensacionalista para um lucrativo acordo de nuvem

Separadamente, as afirmações do artigo Nature do Google sobre desempenho sobre-humano foram contestadas internamente dentro do gigante da Internet. Em maio do ano passado, Satrajit Chatterjee, pesquisador de IA, foi demitido do Google por justa causa; ele alegou que foi dispensado porque criticou o estudo da Nature e contestou as descobertas do artigo. Chatterjee também foi informado que o Google não publicaria seu artigo criticando o primeiro estudo.

Ele também foi acusado por outros Googlers de ir longe demais em suas críticas – como, por exemplo, supostamente descrever verbalmente o trabalho como um “desastre de trem” e um “incêndio de pneu” – e foi colocado sob investigação do RH por seu suposto comportamento.

Desde então, Chatterjee processou o Google no Tribunal Superior da Califórnia, em Santa Clara, alegando rescisão injusta. Chatterjee se recusou a comentar esta história e nega qualquer irregularidade. Mirhoseini e Goldie deixaram o Google em meados de 2022, depois que Chatterjee foi demitido.

Em sua reclamação contra o Google, que foi alterada [PDF] no mês passado, os advogados de Chatterjee alegaram que a gigante da web estava pensando em comercializar seu software de geração de plantas baixas baseado em IA com a “Empresa S” enquanto negociava um contrato do Google Cloud supostamente no valor de $ 120 milhões com S na época. Chatterjee afirmou que o Google defendeu o papel da planta baixa para ajudar a convencer a Empresa S a aderir a esse importante pacto comercial.

“O estudo foi feito em parte como um primeiro passo para uma potencial comercialização com a [Empresa S] (e conduzido com recursos da [Empresa S]). Como foi feito no contexto de um grande potencial acordo de nuvem, seria antiético sugerir que tínhamos uma tecnologia revolucionária quando nossos testes mostraram o contrário”, escreveu Chatterjee em um e-mail ao CEO do Google, Sundar Pichai, vice-presidente e engenheiro Jay. Yagnik e vice-presidente de pesquisa do Google, Rahul Sukthankar, que foi divulgado como parte do processo.

Seus processos judiciais acusavam o Google de “exagerar” os resultados de seu estudo e “reter deliberadamente informações materiais da Empresa S para induzi-la a assinar um contrato de computação em nuvem”, efetivamente cortejando a outra empresa usando o que ele considerava uma tecnologia questionável.

A Empresa S é descrita como uma “empresa de automação de design eletrônico” nos documentos do tribunal. Pessoas familiarizadas com o assunto disseram O registro A empresa S é a Synopsys.

A Synopsys e o Google se recusaram a comentar. ®

Existe uma história dentro do mundo da inteligência artificial que você deseja compartilhar? Fale Connosco em confiança.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/