Chip AI menambahkan neuron buatan ke RAM resistif untuk digunakan pada perangkat yang dapat dikenakan, drone

Sebuah makalah penelitian yang baru diterbitkan menjelaskan chip komputasi-dalam-memori (CIM) yang menggabungkan neuron buatan dengan RAM resistif (RRAM) sehingga bobot model AI dapat disimpan dan diproses pada chip yang sama.

Peneliti di balik desain mengklaim akan lebih efisien untuk aplikasi edge karena menghilangkan pergerakan data antara blok komputasi dan memori yang terpisah.

Komputasi tepi dan kecerdasan buatan keduanya berada di jalur untuk pertumbuhan meteorik dalam waktu dekat, setidaknya menurut perusahaan analis IDC. Beberapa skenario menggabungkannya bersama karena penerapan edge mungkin dibatasi pada daya dan konektivitas, namun masih perlu menganalisis volume data yang signifikan dan memberikan respons yang hampir real-time terhadap peristiwa, menjadikan model AI "hidup" di perangkat sebagai solusi paling optimal .

Mengingat hal ini, sekelompok peneliti telah mengembangkan chip yang disebut NeuRRAM, karena menggabungkan neuron buatan dengan RRAM dalam arsitektur baru. Tujuan dari proyek ini adalah untuk memberikan desain yang secara bersamaan dapat memberikan efisiensi energi yang tinggi serta keserbagunaan untuk mendukung berbagai model AI, dan akurasi yang sebanding dengan menjalankan model yang sama dalam perangkat lunak.

Proyek ini awalnya dimulai sebagai bagian dari proyek Yayasan Ilmu Pengetahuan Alam yang disebut "Ekspedisi dalam Komputasi". Proyek ini mengumpulkan sekelompok peneliti dari berbagai institusi dengan latar belakang berbeda, termasuk beberapa dari Stanford dan UCSD, serta peneliti di Universitas Tsinghua di China yang ahli dalam fabrikasi perangkat RRAM.

Efisiensi energi: Inferensi AI dilakukan pada alat bertenaga baterai

Menurut Weier Wan, seorang peneliti pascasarjana di Universitas Stanford dan salah satu dari penulis makalah, yang diterbitkan di Nature kemarin, NeuRRAM telah dikembangkan sebagai chip AI yang sangat meningkatkan efisiensi energi inferensi AI, sehingga memungkinkan fungsi AI yang kompleks direalisasikan secara langsung di dalam perangkat edge bertenaga baterai, seperti smart wearable, drone, dan sensor IoT industri. .

“Dalam chip AI saat ini, pemrosesan data dan penyimpanan data terjadi di tempat yang terpisah – unit komputasi dan unit memori. Perpindahan data yang sering antara unit-unit ini menghabiskan energi paling banyak dan menjadi hambatan untuk mewujudkan prosesor AI berdaya rendah untuk perangkat edge,” katanya.

Untuk mengatasi hal ini, chip NeuRRAM mengimplementasikan model “compute-in-memory”, di mana pemrosesan terjadi langsung di dalam memori. Itu juga menggunakan RAM resistif (RRAM), jenis memori yang secepat RAM statis tetapi tidak mudah menguap, memungkinkannya untuk menyimpan bobot model AI. Fitur utama sel RRAM adalah bahwa bobot saraf dapat disimpan dalam sel memori sebagai tingkat konduktansi yang berbeda, dikodekan melalui konverter digital-ke-analog (DAC) dan diumpankan ke array memori.

Ini bukan simulasi perangkat lunak, ini perangkat keras

Ada penelitian sebelumnya tentang arsitektur CIM, tetapi ini adalah yang pertama menunjukkan berbagai aplikasi AI dalam perangkat keras daripada dalam simulasi perangkat lunak, sementara lebih hemat energi dan mampu menjalankan algoritme secara akurat, sesuatu yang tidak dimiliki oleh penelitian sebelumnya. dapat ditampilkan secara bersamaan, menurut Wan.

NeuRRAM terdiri dari 48 inti CIM yang terdiri dari total 3 juta sel RRAM. Setiap inti digambarkan sebagai transposable neurosynaptic array (TNSA) yang terdiri dari grid 256 × 256 sel RRAM dan 256 sirkuit neuron buatan CMOS yang mengimplementasikan konverter analog-ke-digital (ADC) dan fungsi aktivasi.

Menurut makalah tersebut, arsitektur TNSA telah dirancang untuk menawarkan kontrol yang fleksibel terhadap arah aliran data, yang sangat penting untuk mendukung beragam model AI dengan pola aliran data yang berbeda.

Misalnya, dalam jaringan saraf convolutional (CNNs) yang umum dalam tugas yang berhubungan dengan visi, data mengalir dalam satu arah melalui lapisan untuk menghasilkan representasi data pada tingkat abstraksi yang berbeda, sementara di beberapa model lain pengambilan sampel probabilistik dilakukan bolak-balik antar lapisan. sampai jaringan konvergen ke keadaan probabilitas tinggi.

Namun, desain lain yang telah menggabungkan CIM dengan RRAM terbatas untuk beroperasi dalam satu arah, biasanya dengan memasang baris dan kolom dari array palang RRAM ke sirkuit khusus di pinggiran untuk menggerakkan input dan mengukur output, kata makalah itu.

Cara kerjanya

Rahasia kemampuan konfigurasi ulang NeuRRAM adalah bahwa ia mendistribusikan sirkuit neuron CMOS di antara sel-sel RRAM, dan menghubungkannya sepanjang baris dan kolom.

Setiap TNSA dipecah menjadi sejumlah corelet, yang masing-masing terdiri dari 16 × 16 sel RRAM dan satu sirkuit neuron. Corelet dihubungkan oleh shared bit-lines (BLs) dan word-lines (WLs) sepanjang arah horizontal, dan source-lines (SLs) sepanjang arah vertikal.

Sirkuit neuron terhubung melalui sakelar ke satu BL dan satu SL dari 16 masing-masing yang melewati inti, dan bertanggung jawab untuk mengintegrasikan input dari semua 256 RRAM yang terhubung ke BL atau SL yang sama.

Setiap sirkuit neuron dapat menggunakan sakelar BL dan SL untuk input dan output. Ini berarti ia dapat menerima perkalian matriks-vektor analog (MVM) dari sel RRAM yang berasal dari BL atau SL melalui sakelar, tetapi juga dapat mengirim hasil digital yang dikonversi ke register periferal melalui sakelar yang sama.

Pengaturan ini berarti bahwa arah aliran data yang berbeda dapat diimplementasikan dengan mengonfigurasi sakelar mana yang akan digunakan selama tahap input dan output dari setiap sirkuit neuron.

(Arsitektur ini juga mengingatkan kita pada Chip prosesor AI SambaNova, yang diimplementasikan sebagai kisi unit komputasi dan unit memori, dihubungkan oleh struktur komunikasi on-chip yang mengontrol aliran data.)

Untuk memaksimalkan kinerja inferensi AI menggunakan 48 inti CIM di NeuRRAM, dimungkinkan untuk menerapkan berbagai strategi pemetaan bobot yang mengeksploitasi paralelisme model dan paralelisme data, menurut makalah tersebut.

Dalam kasus CNN, strateginya mungkin untuk menduplikasi bobot lapisan awal yang paling intensif secara komputasi ke beberapa inti CIM untuk inferensi paralel. Makalah ini memberikan deskripsi yang lebih rinci tentang strategi pemetaan bobot yang tersedia.

Makalah ini melaporkan hasil inferensi yang diukur dengan perangkat keras menggunakan chip untuk berbagai tugas AI termasuk klasifikasi gambar menggunakan set data CIFAR-10 dan MNIST, pengenalan perintah ucapan Google dan pemulihan gambar MNIST, yang diimplementasikan dengan berbagai model AI.

Ini diklaim mencapai akurasi inferensi yang sebanding dengan model perangkat lunak yang dilatih dengan bobot 4-bit di semua tugas benchmark ini. Misalnya, mencapai tingkat kesalahan 0.98 persen pada pengenalan digit tulisan tangan MNIST menggunakan 7-lapisan CNN, tingkat kesalahan 14.34 persen pada klasifikasi objek CIFAR-10 menggunakan ResNet-20 dan tingkat kesalahan 15.34 persen pada pengenalan perintah ucapan Google menggunakan a LSTM 4-sel (memori jangka pendek panjang).

Chip NeuRRAM juga diklaim memiliki efisiensi energi yang dua kali lebih baik daripada desain chip CIM sebelumnya yang menggunakan RRAM, di berbagai presisi bit komputasi. Namun, konsumsi energi dalam makalah ini tidak dikutip dalam bentuk yang mudah dibandingkan dengan perangkat komersial di pasar, dan gambar di bawah ini menggambarkan konsumsi energi per operasi dalam presisi bit yang berbeda yang diukur dalam femtojoule (fJ).

Namun, Wan memberi tahu kami bahwa untuk tugas pencarian kata kunci real-time khas yang berjalan di banyak perangkat rumah pintar saat ini (seperti memberi tahu speaker pintar untuk menyalakan lampu), NeuRRAM diperkirakan mengkonsumsi daya kurang dari 2 mikrowatt.

“Itu berarti bahkan pada baterai koin kecil, itu bisa berjalan selama lebih dari 10 tahun (tidak mempertimbangkan daya yang dikonsumsi oleh komponen sistem lain),” katanya.

Menurut makalah tersebut, chip tersebut dibuat menggunakan teknologi CMOS 130nm, dan diharapkan efisiensi energi meningkat dengan penskalaan teknologi, seperti halnya produk semikonduktor lainnya.

Produksi masih bertahun-tahun lagi

Jadi, apakah kita akan melihat perangkat komersial pengiriman berdasarkan teknologi ini? Wan mengatakan bahwa itu memiliki potensi besar untuk dikomersialkan, dan secara pribadi sedang mempertimbangkan untuk memproduksinya sendiri.

“Kasus penggunaan awal yang paling cocok sangat mungkin di edge ekstrim / IoT,” katanya kepada kami.

Produk berdasarkan chip NeuRRAM dapat digabungkan dalam sistem dengan CPU, seperti akselerator lainnya, tetapi ini tidak diperlukan untuk setiap aplikasi.

“Baru-baru ini ada tren data dari sensor yang langsung diumpankan ke prosesor AI tanpa melalui CPU atau memori tambahan,” kata Wan, tetapi dia menambahkan bahwa untuk sebagian besar kasus penerapan di dunia nyata, akselerator AI tersebut berfungsi sebagai co-prosesor. untuk CPU, di mana CPU mengelola tugas-tugas lain.

Chip NeuRRAM dimaksudkan untuk pekerjaan inferensi saja, sebagian besar karena teknologi RRAM dalam bentuknya saat ini tidak terlalu cocok untuk pelatihan karena proses pelatihan memerlukan pembaruan yang sering pada memori, dan ini adalah "operasi yang sangat mahal pada RRAM" kata Wan.

“Saat ini banyak pengecoran komersial sudah memiliki kemampuan untuk membuat perangkat RRAM, tetapi sebagian besar untuk penggunaan memori tertanam daripada untuk komputasi-dalam-memori. Setelah proses RRAM menjadi lebih banyak tersedia untuk desainer IC, produk NeuRRAM bisa terjadi.

Namun, timeline yang tepat untuk ini terjadi sulit diprediksi, dan Wan mengatakan bisa dalam dua hingga tiga tahun ke depan, atau lebih lama lagi. ®