초인적 AI 칩 레이아웃에 대한 Google의 주장

특별 보고서 네이처(Nature)에 발표된 Google 주도의 연구 논문은 기계 학습 소프트웨어가 인간보다 더 나은 칩을 더 빠르게 설계할 수 있다고 주장하며 새로운 연구가 그 결과에 대해 이의를 제기한 후 의문을 제기했습니다.

2021년 XNUMX월 Google은 헤드 라인 최적화된 마이크로칩 평면도를 자동으로 생성할 수 있는 강화 학습 기반 시스템 개발 이러한 계획은 CPU 및 GPU 코어, 메모리 및 주변 장치 컨트롤러와 같은 것들이 실제로 물리적 실리콘 다이에 있는 칩 내의 전자 회로 블록 배열을 결정합니다.

구글은 AI 워크로드를 가속화하는 자체 개발 TPU 칩을 설계하기 위해 이 AI 소프트웨어를 사용하고 있다고 말했다. 다른 기계 학습 시스템을 더 빠르게 실행하기 위해 기계 학습을 사용하고 있었다. 

칩의 평면도는 프로세서의 성능을 결정하기 때문에 중요합니다. 예를 들어 신호와 데이터가 원하는 속도로 이러한 영역 간에 전파되도록 칩 회로의 블록을 신중하게 배열해야 합니다. 엔지니어는 일반적으로 최적의 구성을 찾기 위해 설계를 수정하는 데 몇 주 또는 몇 달을 소비합니다. 가능한 한 강력하고 에너지 효율적이며 작은 칩을 생산하려면 모든 다른 하위 시스템을 특정 방식으로 배치해야 합니다. 

오늘날 평면도 제작에는 일반적으로 수동 작업과 칩 설계 애플리케이션을 사용한 자동화가 혼합되어 있습니다. Google 팀은 강화 학습 접근 방식이 산업 도구를 사용하여 인간 엔지니어가 만든 것보다 더 나은 설계를 생성할 수 있음을 입증하려고 했습니다. 뿐만 아니라 Google은 자사 모델이 엔지니어가 레이아웃을 반복하는 것보다 훨씬 빠르게 작업을 완료했다고 밝혔습니다.

"XNUMX년의 연구에도 불구하고 칩 플로어플래닝은 자동화를 무시하고 물리적 설계 엔지니어가 제조 가능한 레이아웃을 생성하기 위해 몇 달 간의 집중적인 노력을 필요로 했습니다... XNUMX시간 이내에 우리의 방법은 모든 면에서 인간이 생성한 것보다 우수하거나 유사한 칩 플로어플랜을 자동으로 생성합니다. 주요 측정항목," Google 직원 쓴 그들의 Nature 논문에서.

이 연구는 이미 기계 학습 알고리즘을 소프트웨어 제품군에 통합하는 방향으로 나아가고 있는 전자 설계 자동화 커뮤니티의 관심을 끌었습니다. 이제 Google의 인간보다 나은 모델에 대한 주장은 UCSD(University of California, San Diego)의 팀에 의해 도전을 받았습니다.

부당한 특혜?

컴퓨터 과학 및 공학 교수인 Andrew Kahng이 이끄는 이 그룹은 Google이 Nature에서 설명한 플로어플래닝 파이프라인을 리버스 엔지니어링하는 데 몇 달을 보냈습니다. 이 거대 웹사이트는 상업적 민감성을 이유로 모델의 내부 작동에 대한 일부 세부 정보를 보류했기 때문에 UCSD는 Google 직원의 결과를 확인하기 위해 자체 전체 버전을 만드는 방법을 알아내야 했습니다. Kahng 교수는 Google 논문의 동료 검토 과정에서 Nature의 검토자로 일했습니다.

대학 학자들은 궁극적으로 서킷 트레이닝(CT)이라고 하는 원본 Google 코드의 자체 재생산을 발견했습니다. 그들의 연구, 실제로 전통적인 산업 방법과 도구를 사용하는 사람보다 성능이 나빴습니다.

이 불일치의 원인은 무엇입니까? 다른 설명이 있을 수 있지만 재현이 불완전하다고 말할 수도 있습니다. 시간이 지남에 따라 UCSD 팀은 Google이 전자 설계 자동화(EDA) 제품군의 주요 제조업체인 Synopsys에서 개발한 상용 소프트웨어를 사용하여 웹 거인의 강화 학습 시스템이 최적화한 칩 논리 게이트의 시작 배열을 만들었다는 사실을 알게 되었습니다.

실험에 따르면 초기 배치 정보가 있으면 CT 결과를 크게 향상시킬 수 있습니다.

Google 논문에서는 업계 표준 소프트웨어 도구와 수동 조정이 사용되었다고 언급했습니다. 시간 내에 이 모델은 주로 프로세서가 의도한 대로 작동하고 제작을 위해 마무리되도록 레이아웃을 생성했습니다. Google 직원은 평면도가 머신 러닝 알고리즘에 의해 생성되든 표준 도구를 사용하여 인간에 의해 생성되든 필요한 단계이므로 해당 모델이 최적화된 최종 제품에 대한 공로를 인정받을 자격이 있다고 주장했습니다.

그러나 UCSD 팀은 네이처 논문에서 EDA 도구가 사용되고 있다는 언급은 없었다고 말했다. 사전에 반복할 모델의 레이아웃을 준비합니다. 이러한 Synopsys 도구가 모델에 AI 시스템의 진정한 기능에 의문을 제기해야 할 만큼 충분한 유리한 출발점을 제공했을 수 있다고 주장합니다.

대학 팀은 모델 레이아웃을 준비하기 위해 Synopsys 제품군을 사용한 것에 대해 "논문 검토 중에 명확하지 않았으며 Nature에는 언급되지 않았습니다. 실험은 초기 배치 정보가 있으면 CT 결과를 크게 향상시킬 수 있음을 보여줍니다.”

Nature는 Google의 연구를 조사합니다.

이후 일부 학자들은 UCSD의 연구에 비추어 Google의 논문을 검토할 것을 Nature에 촉구했습니다. 다음 사람이 본 저널에 보낸 이메일에서 등록, 연구원들은 Kahng 교수와 그의 동료들이 제기한 우려를 강조하고 Google의 논문이 오해의 소지가 있는지 의문을 제기했습니다.

달라스에 있는 텍사스 대학교에서 전기 공학을 가르치는 선임 강사인 Bill Swartz는 네이처 논문이 "많은 [연구자들]을 어둠 속에 남겨두었다"고 말했습니다.

구글의 소프트웨어를 프라이밍하기 위해 시놉시스의 소프트웨어를 사용하는 것은 조사가 필요하다고 그는 말했다. “우리 모두는 실제 알고리즘을 알고 싶어하여 그것을 재현할 수 있습니다. [Google의] 주장이 옳다면 우리는 그것을 구현하고자 합니다. 과학이 있어야 하고 모두 객관적이어야 합니다. 작동하면 작동합니다.”라고 그는 말했습니다.

자연은 말했다 등록 무엇을 조사하고 있는지, 그 이유는 정확히 밝히지 않았지만 구글의 논문을 조사하고 있습니다.

네이처 대변인은 "기밀상의 이유로 개별 사례의 세부 사항에 대해 언급할 수 없다"고 말했다. “하지만 일반적으로 저널에 게재된 논문에 대한 우려가 제기되면 정해진 절차에 따라 신중하게 조사합니다.

“이 과정에는 저자와의 협의가 포함되며, 적절한 경우 동료 검토자 및 기타 외부 전문가의 조언을 구합니다. 결정을 내리기에 충분한 정보를 얻은 후에는 가장 적절하고 결과에 대해 독자에게 명확성을 제공하는 응답을 후속 조치합니다.”

저널이 새로운 정밀 조사에 직면한 연구에 대해 출판 후 조사를 수행한 것은 이번이 처음이 아닙니다. Google 직원의 논문은 2022년 XNUMX월에 추가된 저자 수정 사항과 함께 온라인 상태를 유지했습니다. 링크 연구 방법을 따르려는 사람들을 위해 Google의 오픈 소스 CT 코드 중 일부에.

사전 교육이 없고 컴퓨팅이 충분하지 않습니까?

Google 논문의 수석 저자인 Azalia Mirhoseini와 Anna Goldie는 UCSD 팀의 작업이 그들의 방법을 정확하게 구현하지 못했다고 말했습니다. 그들은 Kahng 교수의 그룹이 어떤 데이터에 대해서도 모델을 사전 훈련하지 않았기 때문에 더 나쁜 결과를 얻었다고 지적했습니다.

“학습 기반 방법은 이전 경험에서 배울 수 없다면 물론 성능이 더 나빠질 것입니다. 네이처 논문에서 우리는 보류된 테스트 케이스를 평가하기 전에 20개의 블록에 대해 사전 훈련을 했습니다.”라고 두 사람은 성명서에서 말했습니다.PDF].

Kahng 교수 팀도 Google이 사용하는 것과 같은 양의 컴퓨팅 성능을 사용하여 시스템을 교육하지 않았으며 이 단계가 제대로 수행되지 않아 모델의 성능이 저하되었을 수 있다고 제안했습니다. Mirhoseini와 Goldie는 또한 Nature 논문에 명시적으로 설명되지 않은 EDA 애플리케이션을 사용한 전처리 단계가 언급할 만큼 중요하지 않다고 말했습니다. 

“[UCSD] 논문은 물리적 합성에서 클러스터 표준 셀로의 초기 배치 사용에 초점을 맞추고 있지만 이는 실질적인 문제가 아닙니다. 배치 방법을 실행하기 전에 물리적 합성을 수행해야 합니다.”라고 그들은 말했습니다. "이것은 칩 설계의 표준 관행입니다."

그러나 UCSD 그룹은 말했다 그들은 Google 독점 데이터에 액세스할 수 없었기 때문에 모델을 사전 훈련하지 않았습니다. 그러나 그들은 그들의 소프트웨어가 네이처 논문의 공동 저자로 등재된 거대 인터넷 기업의 다른 두 엔지니어에 의해 검증되었다고 주장했습니다. 강 교수는 올해 물리적 디자인에 관한 국제 심포지엄에서 그의 팀 연구를 발표하고 있습니다. 회의 화요일.

한편, Google은 데이터 센터에서 활발히 사용되는 TPU를 강화하기 위해 강화 학습 기반 기술을 계속 사용합니다.

해고된 Google 직원은 수익성 있는 클라우드 거래에 대한 연구가 과대 광고되었다고 주장합니다.

이와 별도로 Google의 Nature 논문의 초인적 성능 주장은 인터넷 골리앗 내부에서 논쟁을 벌였습니다. 작년 5월, AI 연구원인 Satrajit Chatterjee가 구글에서 해고되었습니다. 그는 자연 연구를 비판하고 논문의 결과에 이의를 제기했기 때문에 해고되었다고 주장했습니다. Chatterjee는 또한 Google이 첫 번째 연구를 비판하는 자신의 논문을 출판하지 않을 것이라는 말을 들었습니다.

그는 또한 다른 Google 직원들로부터 자신의 작업을 "열차 사고" 및 "타이어 화재"라고 구두로 설명하는 등 자신의 비판이 너무 과격하다는 비난을 받았으며 그의 행동 혐의로 HR 조사를 받았습니다.

Chatterjee는 이후 부당 해고를 주장하며 캘리포니아주 산타클라라 고등법원에 Google을 고소했습니다. Chatterjee는 이 이야기에 대한 논평을 거부했으며 어떤 잘못도 부인했습니다. Mirhoseini와 Goldie는 Chatterjee가 해고된 후 2022년 중반에 Google을 떠났습니다.

수정된 Google에 대한 불만에서 [PDF] 지난 달 Chatterjee의 변호사는 당시 S사와 120억 XNUMX천만 달러 상당의 Google Cloud 거래를 협상하는 동안 웹 거인이 "Company S"와 AI 기반 평면도 생성 소프트웨어를 상용화하는 것을 고려하고 있다고 주장했습니다. Chatterjee는 Google이 S사가 이 중요한 상업적 계약에 참여하도록 설득하는 데 도움이 되는 평면도 문서를 옹호했다고 주장했습니다.

“이 연구는 부분적으로 [Company S]와의 잠재적 상용화를 향한 첫 번째 단계로 수행되었습니다(및 [Company S]의 자원으로 수행됨). 잠재적인 대규모 클라우드 거래의 맥락에서 이루어졌기 때문에 테스트 결과 그렇지 않은 것으로 나타났을 때 우리가 혁신적인 기술을 가지고 있다고 암시하는 것은 비윤리적일 것입니다. 소송의 일부로 공개된 Yagnik 및 Google Research Rahul Sukthankar 부사장.

그의 법원 서류는 Google이 연구 결과를 "과장"하고 "클라우드 컴퓨팅 계약을 체결하도록 유도하기 위해 회사 S의 중요한 정보를 의도적으로 보류"하여 의심스러운 기술을 사용하여 다른 비즈니스를 효과적으로 구애했다고 비난했습니다.

S사는 법원 문서에 '전자설계 자동화 업체'로 기재돼 있다. 이 문제를 잘 아는 사람들이 말했다. 등록 S사는 Synopsys입니다.

Synopsys와 Google은 논평을 거부했습니다. ®

공유하고 싶은 인공지능의 세계 속 이야기가 있나요? Scopic과 의논하십시오. 자신감을 가지고.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/