Peneliti Nvidia melatih asisten desain chip AI chatbot

Peneliti Nvidia melatih asisten desain chip AI chatbot

Stempel Waktu: 1 November 2023 3
Peneliti Nvidia melatih asisten desain chip AI chatbot PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

Ketika AI memasuki beberapa alur kerja desain chip – sehingga jaringan saraf membantu merancang prosesor yang lebih baik untuk jaringan saraf – Nvidia telah menunjukkan apa yang dapat dilakukan di area tersebut dengan chatbots.

Anda mungkin ingat Google menggunakan pembelajaran mesin untuk meningkatkan keluarga akselerator TPU, dan perusahaan seperti Synopsys dan Cadence, yang membuat rangkaian perangkat lunak untuk merancang chip, dikatakan pembakaran AI ke dalam aplikasi mereka. Nvidia punya dibicarakan Perkakas litografi yang dipercepat GPU, dan sekarang telah menunjukkan sesuatu yang berhubungan dengan itu: model bahasa besar yang dapat bertindak sebagai asisten bagi insinyur semikonduktor.

Sebuah kertas dipancarkan [PDF] oleh Nvidia pada hari Senin, menjelaskan bagaimana AI generatif ini dapat digunakan dalam desain dan pengembangan chip masa depan. Sejauh yang kami tahu, AI ini belum dirilis; Tampaknya raksasa GPU ini berharap penelitian ini akan menjadi panduan atau inspirasi bagi mereka yang mempertimbangkan untuk membangun sistem yang cerewet atau bot serupa.

Merancang mikroprosesor adalah proses kompleks yang melibatkan banyak tim yang masing-masing mengerjakan aspek cetak biru yang berbeda. Untuk mendemonstrasikan bagaimana proses ini dapat dibantu, tim peneliti Nvidia mempekerjakan perusahaan tersebut Kerangka kerja NeMo untuk menyesuaikan model dasar 43 miliar parameter menggunakan data yang relevan dengan desain dan pengembangan chip, satu set pelatihan dikatakan berjumlah lebih dari satu triliun token – dengan masing-masing token mewakili bagian kata dan simbol.

Model ini disempurnakan lebih lanjut melalui dua putaran pelatihan, yang pertama melibatkan data desain internal senilai 24 miliar token dan yang kedua menggunakan 130,000 contoh percakapan dan desain, menurut Nvidia.

Para peneliti kemudian menggunakan model ChipNeMo yang dihasilkan ini – satu dengan tujuh miliar parameter dan satu lagi dengan 13 miliar parameter – untuk mendukung tiga aplikasi AI, termasuk pasangan yang mirip dengan ChatGPT dan GitHub Copilot. Ini bekerja seperti yang Anda harapkan – pada kenyataannya, mereka bertindak seperti asisten virtual standar – tetapi telah disesuaikan untuk memberikan keluaran yang terkait dengan kumpulan data yang lebih sempit khusus untuk desain dan pengembangan semikonduktor.

Untuk melewatkan fluff, lihat halaman 16 dan 17 makalah di atas untuk contoh penggunaan. Ini termasuk penggunaan bot untuk menghasilkan kode Sistem Verilog – bahasa desain perangkat keras yang digunakan untuk merancang logika chip – dari kueri; menjawab pertanyaan tentang desain prosesor dan teknik pengujian; menulis skrip untuk mengotomatiskan langkah-langkah dalam proses desain; dan menghasilkan serta menganalisis laporan bug tingkat silikon.

Pada akhirnya, tampaknya tujuannya adalah untuk menunjukkan bahwa AI generatif dapat digunakan lebih dari sekadar menulis kode aplikasi normal, puisi buruk, dan menipu ilustrator: AI dapat menghasilkan Verilog dan hal-hal lain yang terkait dengan teknik semikonduktor. Mengingat kompleksitas desain chip, orang mungkin berharap para insinyur yang mengerjakan hal semacam itu tidak memerlukan asisten ML, tapi itulah dunia yang kita tinggali sekarang, menurut kami.

Dan tentu saja, Nvidia berharap Anda menggunakan GPU dan perangkat lunaknya untuk melatih dan menjalankan sistem semacam ini.

“Upaya ini menandai langkah penting dalam penerapan LLM pada pekerjaan kompleks merancang semikonduktor,” kata Bill Dally, kepala ilmuwan Nvidia. “Ini menunjukkan bagaimana bidang yang sangat terspesialisasi sekalipun dapat menggunakan data internalnya untuk melatih model AI generatif yang berguna.”

Meskipun para peneliti telah menunjukkan bagaimana AI generatif dapat berguna dalam memfasilitasi desain semikonduktor, manusia masih banyak yang mendorong proses tersebut. Nvidia mencatat perlunya kehati-hatian untuk membersihkan dan mengatur data pelatihan; dan siapa pun yang menangani keluarannya harus cukup terampil untuk memahaminya, kami menambahkan.

Nvidia juga menemukan bahwa dengan mempersempit cakupan model AI yang lebih kecil, mereka mampu mencapai kinerja yang lebih baik dibandingkan LLM tujuan umum, seperti Llama 2 70B, dengan menggunakan sebagian kecil parameter. Poin terakhir ini penting karena model yang lebih kecil biasanya memerlukan lebih sedikit sumber daya untuk dilatih dan dijalankan.

Ke depannya, Mark Ren, peneliti Nvidia yang memimpin proyek ini, memperkirakan AI akan memainkan peran lebih besar dalam pengembangan chip tingkat lanjut. “Saya percaya seiring berjalannya waktu, model bahasa yang besar akan membantu semua proses, secara menyeluruh,” katanya.

Ini bukan aplikasi akselerasi komputasi dan pembelajaran mesin Nvidia yang pertama dalam layanan pengembangan semikonduktor. CEO Jensen Huang telah membicarakan konsep tersebut selama beberapa waktu sekarang.

“Pembuatan chip adalah aplikasi ideal untuk akselerasi Nvidia dan komputasi AI,” katanya di semikonduktor ITF konferensi Mei.

Seperti yang kita pelajari awal tahun ini, GPU Nvidia telah digunakan oleh TSMC, ASML, dan Synopsys untuk mempercepat beban kerja litografi komputasi, sementara KLA Group, Applied Materials, dan Hitachi menggunakan GPU Nvidia untuk menjalankan kode pembelajaran mendalam untuk e- pemeriksaan sinar dan wafer optik. ®

Stempel Waktu:

Lebih dari Pendaftaran