Klaim Google tentang tata letak chip AI manusia super kembali di bawah mikroskop

Laporan khusus Sebuah makalah penelitian yang dipimpin Google diterbitkan di Alam, mengklaim perangkat lunak pembelajaran mesin dapat merancang chip yang lebih baik lebih cepat daripada manusia, telah dipertanyakan setelah sebuah studi baru membantah hasilnya.

Pada Juni 2021, Google membuatnya berita utama untuk mengembangkan sistem berbasis pembelajaran penguatan yang mampu secara otomatis menghasilkan denah lantai microchip yang dioptimalkan. Rencana ini menentukan susunan blok sirkuit elektronik di dalam chip: di mana hal-hal seperti inti CPU dan GPU, serta memori dan pengontrol periferal, benar-benar duduk di silikon fisik mati.

Google mengatakan menggunakan perangkat lunak AI ini untuk merancang chip TPU buatan sendiri yang mempercepat beban kerja AI: menggunakan pembelajaran mesin untuk membuat sistem pembelajaran mesin lainnya berjalan lebih cepat. 

Denah lantai sebuah chip penting karena menentukan seberapa baik kinerja prosesor. Anda akan ingin mengatur blok sirkuit chip dengan hati-hati sehingga, misalnya, sinyal dan data menyebar di antara area ini dengan kecepatan yang diinginkan. Insinyur biasanya menghabiskan waktu berminggu-minggu atau berbulan-bulan untuk menyempurnakan desain mereka mencoba menemukan konfigurasi yang optimal. Semua subsistem yang berbeda harus ditempatkan dengan cara tertentu untuk menghasilkan sebuah chip yang kuat, hemat energi, dan sekecil mungkin. 

Memproduksi denah lantai saat ini biasanya melibatkan gabungan pekerjaan manual dan otomatisasi menggunakan aplikasi desain chip. Tim Google berusaha menunjukkan bahwa pendekatan pembelajaran penguatan akan menghasilkan desain yang lebih baik daripada yang dibuat hanya oleh insinyur manusia menggunakan alat industri. Tidak hanya itu, Google mengatakan modelnya menyelesaikan pekerjaannya jauh lebih cepat daripada para insinyur yang mengulang tata letak.

“Terlepas dari penelitian selama lima dekade, perencanaan lantai chip telah menentang otomatisasi, membutuhkan upaya intensif selama berbulan-bulan oleh para insinyur desain fisik untuk menghasilkan tata letak yang dapat diproduksi… Dalam waktu kurang dari enam jam, metode kami secara otomatis menghasilkan denah lantai chip yang lebih unggul atau sebanding dengan yang diproduksi oleh manusia di semua metrik utama,” para Googler menulis dalam makalah Nature mereka.

Penelitian ini mendapat perhatian dari komunitas otomatisasi desain elektronik, yang sudah mulai menggabungkan algoritme pembelajaran mesin ke dalam rangkaian perangkat lunak mereka. Sekarang klaim Google tentang modelnya yang lebih baik dari manusia telah ditantang oleh sebuah tim di University of California, San Diego (UCSD).

Keuntungan yang tidak adil?

Dipimpin oleh Andrew Kahng, seorang profesor ilmu dan teknik komputer, kelompok itu menghabiskan waktu berbulan-bulan untuk merekayasa balik pipa perencanaan lantai yang dijelaskan Google di Nature. Raksasa web tersebut menyembunyikan beberapa detail tentang cara kerja modelnya, dengan alasan sensitivitas komersial, sehingga UCSD harus mencari cara untuk membuat versi lengkap mereka sendiri untuk memverifikasi temuan Googler. Prof Kahng, kami mencatat, menjabat sebagai peninjau untuk Nature selama proses peer-review makalah Google.

Para akademisi universitas akhirnya menemukan kreasi mereka sendiri dari kode Google asli, yang disebut sebagai circuit training (CT) di studi mereka, sebenarnya berkinerja lebih buruk daripada manusia yang menggunakan metode dan alat industri tradisional.

Apa yang menyebabkan perbedaan ini? Bisa dikatakan rekreasi itu tidak lengkap, meski mungkin ada penjelasan lain. Seiring waktu, tim UCSD mengetahui bahwa Google telah menggunakan perangkat lunak komersial yang dikembangkan oleh Synopsys, pembuat utama suite otomasi desain elektronik (EDA), untuk membuat pengaturan awal dari gerbang logika chip yang kemudian dioptimalkan oleh sistem pembelajaran penguatan raksasa web.

Eksperimen menunjukkan bahwa memiliki informasi penempatan awal dapat meningkatkan hasil CT secara signifikan

Makalah Google memang menyebutkan bahwa alat perangkat lunak standar industri dan penyesuaian manual digunakan setelah model telah menghasilkan tata letak, terutama untuk memastikan prosesor akan berfungsi sebagaimana mestinya dan menyelesaikannya untuk pembuatan. Googler berargumen bahwa ini adalah langkah yang diperlukan apakah denah lantai dibuat oleh algoritme pembelajaran mesin atau oleh manusia dengan alat standar, dan dengan demikian modelnya layak mendapat pujian untuk produk akhir yang dioptimalkan.

Namun, tim UCSD mengatakan tidak disebutkan dalam makalah Nature tentang alat EDA yang digunakan sebelumnya untuk menyiapkan tata letak untuk model yang akan diulangi. Dikatakan alat-alat Synopsys ini mungkin telah memberikan model awal yang cukup baik sehingga kemampuan sistem AI yang sebenarnya harus dipertanyakan.

“Ini tidak terlihat selama tinjauan makalah,” tim universitas menulis tentang penggunaan rangkaian Synopsys untuk menyiapkan tata letak model, “dan tidak disebutkan di Alam. Eksperimen menunjukkan bahwa memiliki informasi penempatan awal dapat secara signifikan meningkatkan hasil CT.”

Alam menyelidiki penelitian Google

Beberapa akademisi sejak itu mendesak Nature untuk meninjau makalah Google sehubungan dengan studi UCSD. Dalam email ke jurnal dilihat oleh Pendaftaran, para peneliti menyoroti kekhawatiran yang diangkat oleh Prof Kahng dan rekan-rekannya, dan mempertanyakan apakah makalah Google itu menyesatkan.

Bill Swartz, dosen senior yang mengajar teknik kelistrikan di University of Texas di Dallas, mengatakan makalah Nature "membuat banyak [peneliti] tidak tahu apa-apa" karena hasilnya melibatkan TPU milik titan internet dan, oleh karena itu, tidak mungkin diverifikasi.

Penggunaan perangkat lunak Synopsys untuk perangkat lunak unggulan Google perlu diselidiki, katanya. “Kami semua hanya ingin mengetahui algoritme yang sebenarnya sehingga kami dapat mereproduksinya. Jika klaim [Google] benar, maka kami ingin menerapkannya. Harus ada sains, semuanya harus objektif; Kalau berhasil, ya berhasil,” ujarnya.

Alam memberi tahu Pendaftaran itu melihat ke dalam makalah Google, meskipun tidak mengatakan dengan tepat apa yang sedang diselidiki atau mengapa.

"Kami tidak dapat mengomentari detail kasus individu karena alasan kerahasiaan," kata juru bicara Nature kepada kami. “Namun, berbicara secara umum, ketika ada kekhawatiran tentang makalah apa pun yang diterbitkan dalam jurnal, kami memeriksanya dengan hati-hati mengikuti proses yang ditetapkan.

“Proses ini melibatkan konsultasi dengan penulis dan, jika sesuai, mencari saran dari peninjau sejawat dan pakar eksternal lainnya. Setelah kami memiliki informasi yang cukup untuk membuat keputusan, kami menindaklanjuti dengan tanggapan yang paling tepat dan yang memberikan kejelasan bagi pembaca kami mengenai hasilnya.”

Ini bukan pertama kalinya jurnal melakukan penyelidikan pasca-publikasi ke dalam penelitian, yang menghadapi pengawasan baru. Makalah Googler tetap online dengan koreksi penulis ditambahkan pada Maret 2022, termasuk a link ke beberapa kode CT sumber terbuka Google bagi mereka yang mencoba mengikuti metode penelitian.

Tidak ada prapelatihan dan tidak cukup komputasi?

Penulis utama makalah Google, Azalia Mirhoseini dan Anna Goldie, mengatakan bahwa kerja tim UCSD bukanlah implementasi yang akurat dari metode mereka. Mereka menunjukkan bahwa kelompok Prof Kahng memperoleh hasil yang lebih buruk karena mereka sama sekali tidak melatih model mereka pada data apa pun.

“Metode berbasis pembelajaran tentu saja akan berkinerja lebih buruk jika tidak dibiarkan belajar dari pengalaman sebelumnya. Di makalah Nature kami, kami melakukan pra-pelatihan pada 20 blok sebelum mengevaluasi kasus uji yang dilakukan, ”kata keduanya dalam sebuah pernyataan [PDF].

Tim Prof Kahng juga tidak melatih sistem mereka menggunakan jumlah daya komputasi yang sama seperti yang digunakan Google, dan menyarankan langkah ini mungkin tidak dilakukan dengan benar, melumpuhkan kinerja model. Mirhoseini dan Goldie juga mengatakan langkah pra-pemrosesan menggunakan aplikasi EDA yang tidak dijelaskan secara eksplisit dalam makalah Nature mereka tidak cukup penting untuk disebutkan. 

“Makalah [UCSD] berfokus pada penggunaan penempatan awal dari sintesis fisik ke sel standar cluster, tetapi ini bukan masalah praktis. Sintesis fisik harus dilakukan sebelum menjalankan metode penempatan apa pun, ”kata mereka. “Ini adalah praktik standar dalam desain chip.”

Kelompok UCSD, bagaimanapun, tersebut mereka tidak melatih model mereka sebelumnya karena tidak memiliki akses ke data hak milik Google. Mereka mengklaim, bagaimanapun, perangkat lunak mereka telah diverifikasi oleh dua insinyur lain di raksasa internet, yang juga terdaftar sebagai rekan penulis makalah Nature. Prof Kahng mempresentasikan studi timnya di Simposium Internasional Desain Fisik tahun ini konferensi Selasa.

Sementara itu, Google terus menggunakan teknik berbasis pembelajaran penguatan untuk menyempurnakan TPU-nya, yang digunakan secara aktif di pusat datanya.

Dipecat Googler klaim penelitian dihipnotis untuk kesepakatan cloud yang menguntungkan

Secara terpisah, klaim kertas Alam Google tentang kinerja manusia super diperdebatkan secara internal di dalam raksasa internet. Pada Mei tahun lalu, Satrajit Chatterjee, seorang peneliti AI, dipecat dari Google dengan alasan; dia mengklaim bahwa dia dilepaskan karena dia telah mengkritik studi Alam dan menentang temuan makalah tersebut. Chatterjee juga diberitahu bahwa Google tidak akan menerbitkan makalahnya yang mengkritisi studi pertama.

Dia juga dituduh oleh karyawan Google lain karena mengkritiknya terlalu jauh – seperti, misalnya, diduga secara verbal menggambarkan pekerjaan tersebut sebagai “kecelakaan kereta api” dan “kebakaran ban” – dan ditempatkan di bawah penyelidikan SDM atas dugaan perilakunya.

Chatterjee sejak menggugat Google di Pengadilan Tinggi California di Santa Clara mengklaim penghentian yang salah. Chatterjee menolak berkomentar untuk cerita ini, dan dia menyangkal melakukan kesalahan. Mirhoseini dan Goldie meninggalkan Google pada pertengahan 2022 setelah Chatterjee dipecat.

Dalam keluhannya terhadap Google, yang diubah [PDF] bulan lalu, pengacara Chatterjee mengklaim bahwa raksasa web tersebut berpikir untuk mengkomersialkan perangkat lunak pembuat denah lantai berbasis AI dengan "Perusahaan S" saat sedang menegosiasikan kesepakatan Google Cloud yang dilaporkan bernilai $120 juta dengan S pada saat itu. Chatterjee mengklaim Google memperjuangkan kertas denah lantai untuk membantu meyakinkan Perusahaan S agar bergabung dengan pakta komersial yang signifikan ini.

“Studi ini dilakukan sebagian sebagai langkah pertama menuju potensi komersialisasi dengan [Perusahaan S] (dan dilakukan dengan sumber daya dari [Perusahaan S]). Karena itu dilakukan dalam konteks kesepakatan Cloud potensial yang besar, tidak etis untuk menyiratkan bahwa kami memiliki teknologi revolusioner ketika pengujian kami menunjukkan sebaliknya, ”tulis Chatterjee dalam email ke CEO Google Sundar Pichai, Wakil Presiden dan Rekan Teknik Jay. Yagnik, dan VP Google Research Rahul Sukthankar, yang diungkapkan sebagai bagian dari gugatan.

Pengajuan pengadilannya menuduh Google "melebih-lebihkan" hasil studinya, dan "dengan sengaja menahan informasi material dari Perusahaan S untuk mendorongnya menandatangani kesepakatan komputasi awan," secara efektif merayu bisnis lain menggunakan apa yang dia lihat sebagai teknologi yang dipertanyakan.

Perusahaan S digambarkan sebagai "perusahaan otomasi desain elektronik" dalam dokumen pengadilan. Orang-orang yang akrab dengan masalah ini memberi tahu Pendaftaran Perusahaan S adalah Synopsys.

Synopsys dan Google menolak berkomentar. ®

Apakah ada cerita di dalam dunia kecerdasan buatan yang ingin Anda bagikan? Berbicara dengan kami dengan percaya diri.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/