Pengantar
Algoritme kecerdasan buatan tidak dapat terus berkembang dengan kecepatan mereka saat ini. Algoritma seperti jaringan saraf dalam — yang secara longgar terinspirasi oleh otak, dengan beberapa lapisan neuron buatan yang terhubung satu sama lain melalui nilai numerik yang disebut bobot — semakin besar setiap tahun. Namun dewasa ini, peningkatan perangkat keras tidak lagi sejalan dengan jumlah memori dan kapasitas pemrosesan yang sangat besar yang diperlukan untuk menjalankan algoritme besar ini. Segera, ukuran algoritme AI mungkin membentur tembok.
Dan bahkan jika kita dapat terus meningkatkan perangkat keras untuk memenuhi tuntutan AI, ada masalah lain: menjalankannya di komputer tradisional menghabiskan banyak energi. Emisi karbon tinggi yang dihasilkan dari menjalankan algoritme AI besar sudah berbahaya bagi lingkungan, dan itu hanya akan bertambah buruk karena algoritme tumbuh semakin besar.
Salah satu solusi, yang disebut komputasi neuromorfik, mengambil inspirasi dari otak biologis untuk menciptakan desain hemat energi. Sayangnya, sementara chip ini dapat melebihi komputer digital dalam menghemat energi, mereka tidak memiliki kekuatan komputasi yang dibutuhkan untuk menjalankan jaringan saraf dalam yang cukup besar. Itu membuatnya mudah diabaikan oleh peneliti AI.
Itu akhirnya berubah pada bulan Agustus, ketika Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs dan rekan-rekan mereka mengungkapkan chip neuromorfik baru disebut NeuRRAM yang mencakup 3 juta sel memori dan ribuan neuron yang dibangun ke dalam perangkat kerasnya untuk menjalankan algoritme. Ini menggunakan jenis memori yang relatif baru yang disebut RAM resistif, atau RRAM. Tidak seperti chip RRAM sebelumnya, NeuRRAM diprogram untuk beroperasi secara analog untuk menghemat lebih banyak energi dan ruang. Sementara memori digital adalah biner — menyimpan baik 1 atau 0 — sel memori analog dalam chip NeuRRAM masing-masing dapat menyimpan beberapa nilai di sepanjang rentang kontinu penuh. Itu memungkinkan chip untuk menyimpan lebih banyak informasi dari algoritma AI besar dalam jumlah ruang chip yang sama.
Hasilnya, chip baru ini dapat bekerja sebaik komputer digital pada tugas-tugas AI yang kompleks seperti pengenalan gambar dan ucapan, dan penulis mengklaim bahwa chip tersebut 1,000 kali lebih hemat energi, membuka kemungkinan chip kecil untuk menjalankan algoritme yang semakin rumit. dalam perangkat kecil yang sebelumnya tidak cocok untuk AI seperti jam tangan pintar dan ponsel.
Para peneliti yang tidak terlibat dalam penelitian ini sangat terkesan dengan hasilnya. “Kertas ini cukup unik,” kata Zhong Rui Wang, seorang peneliti RRAM lama di Universitas Hong Kong. “Itu membuat kontribusi di tingkat yang berbeda — di tingkat perangkat, di tingkat arsitektur sirkuit, dan di tingkat algoritme.”
Menciptakan Kenangan Baru
Dalam komputer digital, sejumlah besar energi yang terbuang saat menjalankan algoritme AI disebabkan oleh cacat desain yang sederhana dan ada di mana-mana yang membuat setiap komputasi menjadi tidak efisien. Biasanya, memori komputer — yang menyimpan data dan nilai numerik yang dihasilkan selama komputasi — ditempatkan pada motherboard jauh dari prosesor, tempat komputasi berlangsung.
Untuk informasi yang mengalir melalui prosesor, “Ini seperti Anda menghabiskan delapan jam di perjalanan, tetapi Anda melakukan dua jam kerja,” kata Wan, seorang ilmuwan komputer di Universitas Stanford yang baru-baru ini pindah ke startup AI Aizip.
Pengantar
Memperbaiki masalah ini dengan chip all-in-one baru yang menempatkan memori dan komputasi di tempat yang sama tampaknya mudah. Ini juga lebih dekat dengan bagaimana otak kita memproses informasi, karena banyak ahli saraf percaya bahwa perhitungan terjadi dalam populasi neuron, sementara ingatan terbentuk ketika sinapsis antara neuron memperkuat atau melemahkan koneksi mereka. Tetapi membuat perangkat semacam itu terbukti sulit, karena bentuk memori saat ini tidak kompatibel dengan teknologi dalam prosesor.
Ilmuwan komputer beberapa dekade yang lalu mengembangkan bahan untuk membuat chip baru yang melakukan komputasi di mana memori disimpan — sebuah teknologi yang dikenal sebagai komputasi dalam memori. Tetapi dengan komputer digital tradisional yang berkinerja sangat baik, ide-ide ini diabaikan selama beberapa dekade.
“Pekerjaan itu, seperti kebanyakan karya ilmiah, agak terlupakan,” kata Wong, seorang profesor di Stanford.
Memang, pertama perangkat tersebut Tanggal kembali ke setidaknya tahun 1964, ketika insinyur listrik di Stanford menemukan bahwa mereka dapat memanipulasi bahan tertentu, yang disebut oksida logam, untuk mengubah kemampuan mereka untuk menghantarkan listrik dan mematikan. Itu penting karena kemampuan material untuk beralih di antara dua status menyediakan tulang punggung untuk penyimpanan memori tradisional. Biasanya, dalam memori digital, keadaan tegangan tinggi sesuai dengan 1, dan tegangan rendah ke 0.
Untuk membuat perangkat RRAM beralih status, Anda menerapkan tegangan melintasi elektroda logam yang terhubung ke dua ujung oksida logam. Biasanya, oksida logam adalah isolator, yang berarti mereka tidak menghantarkan listrik. Tetapi dengan tegangan yang cukup, arus menumpuk, akhirnya mendorong titik-titik lemah material dan membentuk jalur ke elektroda di sisi lain. Setelah arus menembus, ia dapat mengalir bebas di sepanjang jalan itu.
Wong menyamakan proses ini dengan kilat: Ketika muatan yang cukup menumpuk di dalam awan, ia dengan cepat menemukan jalur resistansi rendah dan sambaran petir. Namun tidak seperti petir, yang jalurnya menghilang, jalur melalui oksida logam tetap ada, artinya tetap konduktif tanpa batas. Dan dimungkinkan untuk menghapus jalur konduktif dengan menerapkan tegangan lain ke material. Jadi peneliti dapat mengganti RRAM antara dua keadaan dan menggunakannya untuk menyimpan memori digital.
Peneliti abad pertengahan tidak mengenali potensi komputasi hemat energi, mereka juga belum membutuhkannya dengan algoritma yang lebih kecil yang sedang mereka kerjakan. Butuh waktu hingga awal 2000-an, dengan ditemukannya oksida logam baru, bagi para peneliti untuk menyadari kemungkinannya.
Wong, yang bekerja di IBM pada saat itu, mengingat bahwa seorang rekan pemenang penghargaan yang bekerja di RRAM mengakui bahwa dia tidak sepenuhnya memahami fisika yang terlibat. “Jika dia tidak memahaminya,” kenang Wong sambil berpikir, “mungkin sebaiknya saya tidak mencoba memahaminya.”
Namun pada tahun 2004, para peneliti di Samsung Electronics mengumumkan bahwa mereka telah berhasil mengintegrasikan memori RRAM dibangun di atas chip komputasi tradisional, menunjukkan bahwa chip komputasi-dalam-memori akhirnya mungkin. Wong memutuskan untuk setidaknya mencoba.
Compute-in-Memory Chips untuk AI
Selama lebih dari satu dekade, peneliti seperti Wong bekerja untuk membangun teknologi RRAM ke titik di mana ia dapat menangani tugas komputasi bertenaga tinggi dengan andal. Sekitar tahun 2015, ilmuwan komputer mulai mengenali potensi besar perangkat hemat energi ini untuk algoritme AI besar, yang mulai lepas landas. Tahun itu, para ilmuwan di University of California, Santa Barbara menunjukkan bahwa perangkat RRAM dapat melakukan lebih dari sekadar menyimpan memori dengan cara baru. Mereka dapat menjalankan tugas komputasi dasar sendiri — termasuk sebagian besar komputasi yang terjadi di dalam neuron buatan jaringan saraf, yang merupakan tugas perkalian matriks sederhana.
Dalam chip NeuRRAM, neuron silikon dibangun ke dalam perangkat keras, dan sel memori RRAM menyimpan bobot — nilai yang mewakili kekuatan koneksi antar neuron. Dan karena sel memori NeuRRAM adalah analog, bobot yang mereka simpan mewakili berbagai status resistansi yang terjadi saat perangkat beralih antara resistansi rendah ke status resistansi tinggi. Hal ini memungkinkan efisiensi energi yang lebih tinggi daripada yang dapat dicapai oleh memori RRAM digital karena chip dapat menjalankan banyak komputasi matriks secara paralel — bukan secara berurutan, seperti dalam versi pemrosesan digital.
Tetapi karena pemrosesan analog masih beberapa dekade di belakang pemrosesan digital, masih banyak masalah yang harus diselesaikan. Salah satunya adalah bahwa chip RRAM analog harus sangat presisi karena ketidaksempurnaan pada chip fisik dapat menyebabkan variabilitas dan noise. (Untuk chip tradisional, dengan hanya dua status, ketidaksempurnaan ini tidak terlalu penting.) Hal itu membuat perangkat RRAM analog lebih sulit menjalankan algoritme AI, mengingat keakuratan, katakanlah, mengenali gambar akan berkurang jika keadaan konduktif perangkat RRAM tidak persis sama setiap saat.
“Ketika kita melihat jalur pencahayaan, setiap kali berbeda,” kata Wong. “Jadi sebagai akibatnya, RRAM menunjukkan tingkat stokastik tertentu — setiap kali Anda memprogramnya sedikit berbeda.” Wong dan rekan-rekannya membuktikan bahwa perangkat RRAM dapat menyimpan bobot AI terus menerus dan tetap seakurat komputer digital jika algoritme dilatih untuk terbiasa dengan kebisingan yang mereka temui pada chip, suatu kemajuan yang memungkinkan mereka menghasilkan chip NeuRRAM.
Pengantar
Masalah besar lainnya yang harus mereka selesaikan melibatkan fleksibilitas yang dibutuhkan untuk mendukung beragam jaringan saraf. Di masa lalu, perancang chip harus memasang perangkat RRAM kecil di satu area di sebelah neuron silikon yang lebih besar. Perangkat RRAM dan neuron terprogram tanpa kemampuan program, sehingga komputasi hanya dapat dilakukan dalam satu arah. Untuk mendukung jaringan saraf dengan perhitungan dua arah, kabel dan sirkuit tambahan diperlukan, meningkatkan kebutuhan energi dan ruang.
Jadi tim Wong merancang arsitektur chip baru di mana perangkat memori RRAM dan neuron silikon dicampur bersama. Perubahan kecil pada desain ini mengurangi total area dan menghemat energi.
“Saya pikir [pengaturannya] sangat indah,” kata Melika Payvand, seorang peneliti neuromorfik di Institut Teknologi Federal Swiss Zurich. "Saya pasti menganggapnya sebagai pekerjaan yang inovatif."
Selama beberapa tahun, tim Wong bekerja dengan kolaborator untuk merancang, membuat, menguji, mengkalibrasi, dan menjalankan algoritme AI pada chip NeuRRAM. Mereka memang mempertimbangkan untuk menggunakan jenis memori lain yang muncul yang juga dapat digunakan dalam chip komputasi-dalam-memori, tetapi RRAM memiliki keunggulan karena keunggulannya dalam pemrograman analog, dan karena relatif mudah untuk diintegrasikan dengan materi komputasi tradisional.
Hasil terbaru mereka mewakili chip RRAM pertama yang dapat menjalankan algoritme AI yang begitu besar dan kompleks — suatu prestasi yang sebelumnya hanya dimungkinkan dalam simulasi teoretis. “Ketika berbicara tentang silikon asli, kemampuan itu hilang,” kata Anup Das, seorang ilmuwan komputer di Universitas Drexel. “Karya ini adalah demonstrasi pertama.”
“Sistem AI digital fleksibel dan presisi, tetapi urutan besarnya kurang efisien,” kata Cauwenberghs. Sekarang, kata Cauwenberghs, chip RRAM analog mereka yang fleksibel, tepat, dan hemat energi telah “menjembatani kesenjangan untuk pertama kalinya.”
Meningkatkan
Desain tim membuat chip NeuRRAM tetap kecil — hanya seukuran kuku jari — sambil memeras 3 juta perangkat memori RRAM yang dapat berfungsi sebagai prosesor analog. Dan sementara ia dapat menjalankan jaringan saraf setidaknya sebaik yang dilakukan komputer digital, chip tersebut juga (dan untuk pertama kalinya) dapat menjalankan algoritme yang melakukan perhitungan dalam arah yang berbeda. Chip mereka dapat memasukkan tegangan ke baris array RRAM dan membaca output dari kolom seperti standar untuk chip RRAM, tetapi juga dapat melakukannya mundur dari kolom ke baris, sehingga dapat digunakan dalam jaringan saraf yang beroperasi. dengan data yang mengalir ke arah yang berbeda.
Seperti halnya teknologi RRAM itu sendiri, ini sudah lama dimungkinkan, tetapi tidak ada yang berpikir untuk melakukannya. “Mengapa kita tidak memikirkan ini sebelumnya?” tanya Payvand. “Kalau dipikir-pikir, saya tidak tahu.”
“Ini sebenarnya membuka banyak peluang lain,” kata Das. Sebagai contoh, ia menyebutkan kemampuan sistem sederhana untuk menjalankan algoritma besar yang diperlukan untuk simulasi fisika multidimensi atau mobil yang dapat mengemudi sendiri.
Namun ukuran adalah masalah. Jaringan saraf terbesar sekarang mengandung miliaran bobot, bukan jutaan yang terkandung dalam chip baru. Wong berencana untuk meningkatkan dengan menumpuk beberapa chip NeuRRAM di atas satu sama lain.
Sama pentingnya untuk menjaga biaya energi tetap rendah di perangkat masa depan, atau menurunkannya lebih jauh. Salah satu cara untuk sampai ke sana adalah dengan menyalin otak bahkan lebih dekat untuk mengadopsi sinyal komunikasi yang digunakan antara neuron nyata: lonjakan listrik. Ini adalah sinyal yang ditembakkan dari satu neuron ke neuron lain ketika perbedaan tegangan antara bagian dalam dan luar sel mencapai ambang kritis.
“Ada tantangan besar di sana,” kata Tony Kenyon, seorang peneliti nanoteknologi di University College London. “Tetapi kami mungkin masih ingin bergerak ke arah itu, karena … kemungkinan Anda akan memiliki efisiensi energi yang lebih besar jika Anda menggunakan paku yang sangat jarang.” Untuk menjalankan algoritme yang melonjak pada chip NeuRRAM saat ini kemungkinan akan membutuhkan arsitektur yang sama sekali berbeda, kata Kenyon.
Untuk saat ini, efisiensi energi yang dicapai tim saat menjalankan algoritme AI besar pada chip NeuRRAM telah menciptakan harapan baru bahwa teknologi memori dapat mewakili masa depan komputasi dengan AI. Mungkin suatu hari nanti kita bahkan dapat mencocokkan 86 miliar neuron otak manusia dan triliunan sinapsis yang menghubungkannya tanpa kehabisan daya.
