AI çipi, giyilebilir cihazlarda, dronlarda kullanım için dirençli RAM'e yapay nöronlar ekler

Yeni yayınlanan bir araştırma makalesi, yapay nöronları dirençli RAM (RRAM) ile birleştiren ve böylece yapay zeka modeli ağırlıklarının aynı çip üzerinde saklanabilmesini ve işlenebilmesini sağlayan bir bellek içi hesaplama (CIM) çipini tanımlıyor.

Tasarımın arkasındaki araştırmacılar, ayrı bilgi işlem ve bellek blokları arasındaki veri hareketini ortadan kaldırdığı için uç uygulamalar için daha verimli olacağını iddia ediyor.

Edge bilişim ve yapay zeka, en azından yakın gelecekte hızlı bir büyüme yolunda ilerliyor analist şirketi IDC'ye göre. Bazı senaryolar bunları bir araya getiriyor çünkü uç dağıtımlar güç ve bağlantı açısından kısıtlı olabilir, ancak yine de önemli miktarda veriyi analiz etmesi ve olaylara neredeyse gerçek zamanlı yanıt vermesi gerekebiliyor, bu da yapay zeka modelini cihazda "yaşayan" en ideal çözüm haline getiriyor .

Bunun ışığında bir grup araştırmacı, yapay nöronları RRAM ile yeni bir mimaride birleştiren NeuRRAM adını verdiği bir çip geliştirdi. Projenin amacı, aynı anda hem yüksek enerji verimliliği hem de çeşitli yapay zeka modellerini destekleyecek çok yönlülük ve aynı modeli yazılımda çalıştırmakla karşılaştırılabilir doğruluk sağlayabilen bir tasarım sunmaktı.

Proje ilk olarak Doğa Bilimi Vakfı'nın "Bilgisayarda Keşifler" adlı projesinin bir parçası olarak başladı. Bu proje, Stanford ve UCSD'den bazıları ve Çin'deki Tsinghua Üniversitesi'nden RRAM cihazı imalatında uzman araştırmacılar da dahil olmak üzere farklı geçmişlere sahip farklı kurumlardan bir grup araştırmacıyı bir araya getirdi.

Enerji verimliliği: Pille çalışan cihaz üzerinde yapay zeka çıkarımı

Stanford Üniversitesi'nde lisansüstü araştırmacı olan Weier Wan'a göre makalenin yazarlarıDün Nature'da yayınlanan NeuRRAM, yapay zeka çıkarımının enerji verimliliğini büyük ölçüde artıran ve böylece karmaşık yapay zeka işlevlerinin akıllı giyilebilir cihazlar, dronlar ve endüstriyel IoT sensörleri gibi pille çalışan uç cihazlarda doğrudan gerçekleştirilmesine olanak tanıyan bir yapay zeka çipi olarak geliştirildi. .

“Günümüzün yapay zeka çiplerinde veri işleme ve veri depolama, bilgi işlem birimi ve bellek birimi olmak üzere ayrı yerlerde gerçekleşiyor. Bu birimler arasındaki sık veri hareketi, en fazla enerjiyi tüketir ve uç cihazlar için düşük güçlü yapay zeka işlemcilerinin hayata geçirilmesinde darboğaz haline gelir" dedi.

Bu sorunu çözmek için NeuRRAM çipi, işlemenin doğrudan bellek içinde gerçekleştiği bir "bellek içinde hesaplama" modelini uygular. Ayrıca, statik RAM kadar hızlı ancak kalıcı olmayan bir bellek türü olan dirençli RAM'den (RRAM) yararlanır ve AI model ağırlıklarını depolamasına olanak tanır. RRAM hücrelerinin önemli bir özelliği, sinir ağırlıklarının bellek hücrelerinde farklı iletkenlik seviyelerinde saklanabilmesi, dijital-analog dönüştürücüler (DAC'ler) aracılığıyla kodlanabilmesi ve bellek dizisine beslenebilmesidir.

Bu bir yazılım simülasyonu değil, donanım

CIM mimarileri üzerine daha önce çalışmalar yapılmıştı, ancak bu, yazılım simülasyonu yerine donanımda geniş bir yelpazedeki yapay zeka uygulamalarını ortaya koyan ilk çalışmadır; aynı zamanda enerji açısından daha verimlidir ve algoritmaları doğru bir şekilde çalıştırabilir; bu da önceki çalışmalardan hiçbiri değildir. Wan'a göre aynı anda gösteri yapabildiler.

NeuRRAM, toplam 48 milyon RRAM hücresinden oluşan 3 CIM çekirdeğinden oluşur. Her çekirdek, analogdan dijitale dönüştürücüleri (ADC'ler) ve aktivasyon fonksiyonlarını uygulayan 256 x 256 RRAM hücresinden ve 256 CMOS yapay nöron devresinden oluşan bir ızgaradan oluşan, yeri değiştirilebilen bir nörosinaptik dizi (TNSA) olarak tanımlanır.

Makaleye göre TNSA mimarisi, farklı veri akışı modellerine sahip çok çeşitli yapay zeka modellerini desteklemek için çok önemli olan veri akışlarının yönünün esnek kontrolünü sağlayacak şekilde tasarlandı.

Örneğin, görme ile ilgili görevlerde yaygın olan evrişimli sinir ağlarında (CNN'ler), farklı soyutlama seviyelerinde veri temsilleri oluşturmak için veri katmanlar arasında tek bir yönde akarken, diğer bazı modellerde olasılıksal örnekleme katmanlar arasında ileri geri gerçekleştirilir. ağ yüksek olasılıklı bir duruma yaklaşana kadar.

Bununla birlikte, CIM'yi RRAM ile birleştiren diğer tasarımların, tipik olarak RRAM çapraz çubuk dizisinin satırlarını ve sütunlarını, girişleri yönlendirmek ve çıkışları ölçmek için çevredeki özel devrelere kablolarla bağlanmasıyla tek bir yönde çalışmakla sınırlı olduğu belirtiliyor.

Nasıl çalışır

NeuRRAM'ın yeniden yapılandırılabilirliğinin sırrı, CMOS nöron devrelerini RRAM hücreleri arasında dağıtması ve bunları hem satırların hem de sütunların uzunluğu boyunca birbirine bağlamasıdır.

Her TNSA, her biri 16 x 16 RRAM hücresi ve bir nöron devresinden oluşan bir dizi çekirdek parçaya bölünmüştür. Çekirdekler, yatay yön boyunca paylaşılan bit hatları (BL'ler) ve kelime satırları (WL'ler) ve dikey yön boyunca kaynak hatları (SL'ler) ile bağlanır.

Nöron devresi, anahtarlar aracılığıyla çekirdekten geçen 16 adetten bir BL'ye ve bir SL'ye bağlanır ve aynı BL veya SL'ye bağlanan 256 RRAM'ın tümünden gelen girişlerin entegre edilmesinden sorumludur.

Her nöron devresi giriş ve çıkış için kendi BL ve SL anahtarlarını kullanabilir. Bu, anahtarlar aracılığıyla BL veya SL'den gelen bir RRAM hücresinden analog matris-vektör çarpımını (MVM) alabileceği, ancak aynı zamanda dönüştürülmüş dijital sonuçları aynı anahtarlar aracılığıyla çevresel kayıtlara gönderebileceği anlamına gelir.

Bu düzenleme, her bir nöron devresinin giriş ve çıkış aşamalarında hangi anahtarın kullanılacağını yapılandırarak farklı veri akışı yönlerinin uygulanabileceği anlamına gelir.

(Bu mimari aynı zamanda bize biraz şunu da hatırlatıyor: SambaNova'nın AI işlemci çipiVeri akışını kontrol eden çip üstü iletişim dokusuyla birbirine bağlanan, bilgi işlem birimleri ve bellek birimlerinden oluşan bir ızgara olarak uygulanan .)

Makaleye göre, NeuRRAM'daki 48 CIM çekirdeğini kullanarak yapay zeka çıkarım performansını en üst düzeye çıkarmak için hem model paralelliğinden hem de veri paralelliğinden yararlanan çeşitli ağırlık haritalama stratejileri uygulamak mümkün.

CNN durumunda strateji, paralel çıkarım için erken, hesaplama açısından en yoğun katmanların ağırlıklarını birden fazla CIM çekirdeğine kopyalamak olabilir. Makale, mevcut ağırlık haritalama stratejilerinin daha ayrıntılı bir açıklamasını sunmaktadır.

Makale, çeşitli AI modelleriyle uygulanan, CIFAR-10 ve MNIST veri kümelerini kullanan görüntü sınıflandırmaları, Google konuşma komutu tanıma ve MNIST görüntü kurtarma dahil olmak üzere bir dizi AI görevi için çipi kullanan donanım tarafından ölçülen çıkarım sonuçlarını rapor ediyor.

Tüm bu kıyaslama görevlerinde 4 bit ağırlıklarla eğitilmiş yazılım modelleriyle karşılaştırılabilir çıkarım doğruluğu elde ettiği iddia ediliyor. Örneğin, 0.98 katmanlı bir CNN kullanarak MNIST el yazısı rakam tanımada yüzde 7 hata oranına, ResNet-14.34 kullanarak CIFAR-10 nesne sınıflandırmasında yüzde 20 hata oranına ve Google sesli komut tanımada yüzde 15.34 hata oranına ulaşıyor. 4 hücreli LSTM (uzun kısa süreli bellek).

NeuRRAM çipinin ayrıca çeşitli hesaplama bit hassasiyetlerinde RRAM kullanan önceki CIM çip tasarımlarından iki kat daha iyi bir enerji verimliliğine sahip olduğu iddia ediliyor. Ancak makalede enerji tüketimi, piyasadaki ticari cihazlarla kolayca karşılaştırılabilecek bir biçimde belirtilmemiştir ve aşağıda gösterilen şekil, femtojoule (fJ) cinsinden ölçülen farklı bit hassasiyetlerinde operasyon başına enerji tüketimini göstermektedir.

Ancak Wan bize, günümüzün birçok akıllı ev cihazında çalışan tipik bir gerçek zamanlı anahtar kelime tespit görevi için (akıllı bir hoparlöre ışığı açmasını söylemek gibi), NeuRRAM'ın 2 mikrowatt'tan daha az güç tüketeceğinin tahmin edildiğini söyledi.

"Bu, küçük bir madeni para piliyle bile 10 yıldan fazla süre çalışabileceği anlamına geliyor (diğer sistem bileşenlerinin tükettiği güç dikkate alınmazsa)" dedi.

Makaleye göre çip, 130 nm CMOS teknolojisi kullanılarak üretiliyor ve diğer yarı iletken ürünlerde olduğu gibi enerji verimliliğinin teknoloji ölçeklendirmesiyle artması bekleniyor.

Üretime hala yıllar var

Peki bu teknolojiye dayalı bir nakliye ticari cihazı görecek miyiz? Wan, ticarileştirilmek için büyük bir potansiyele sahip olduğunu ve kişisel olarak bunu kendisi üretmeyi düşündüğünü söylüyor.

Bize "En uygun ilk kullanım senaryosu büyük olasılıkla ekstrem uç / Nesnelerin İnterneti alanında olacaktır" dedi.

NeuRRAM çipini temel alan bir ürün, diğer hızlandırıcılarda olduğu gibi CPU'lu bir sistemde birleştirilebilir, ancak bu her uygulama için gerekli değildir.

Wan, "Son zamanlarda sensörlerden gelen verilerin CPU veya ekstra bellekten geçmeden doğrudan yapay zeka işlemcilerine beslenmesi yönünde bir trend var" dedi ancak gerçek dünyadaki dağıtım durumlarının çoğunda bu tür yapay zeka hızlandırıcıların ortak işlemci olarak çalıştığını da ekledi. CPU'nun diğer görevleri yönettiği bir CPU için.

NeuRRAM çipi yalnızca iş çıkarımı için tasarlandı; bunun nedeni büyük ölçüde mevcut haliyle RRAM teknolojisinin eğitim için pek uygun olmaması çünkü eğitim sürecinin hafızada sık sık güncellemeler gerektirmesi ve bunun "RRAM üzerinde çok pahalı bir işlem" olduğunu söyledi Wan.

"Şu anda pek çok ticari dökümhane zaten RRAM cihazları üretme kapasitesine sahip, ancak çoğunlukla bellek içi hesaplama yerine gömülü bellek kullanımları için. RRAM süreci IC tasarımcıları tarafından daha geniş çapta kullanılabilir hale geldiğinde bir NeuRRAM ürünü ortaya çıkabilir."

Ancak bunun gerçekleşeceği kesin zaman çizelgesini tahmin etmek zor ve Wan bunun önümüzdeki iki ila üç yıl veya daha uzun bir süre içinde olabileceğini söyledi. ®