Чіп ШІ додає штучні нейрони до резистивної оперативної пам’яті для використання в носимих пристроях, дронах

Нещодавно опублікована дослідницька стаття описує чіп Compute-in-memory (CIM), який поєднує штучні нейрони з резистивною оперативною пам’яттю (RRAM), щоб ваги моделі AI можна було зберігати та обробляти на одному чіпі.

Дослідники, що стоять за проектом, стверджують, що він буде ефективнішим для периферійних програм, оскільки він усуває переміщення даних між окремими обчислювальними блоками та блоками пам’яті.

Граничні обчислення та штучний інтелект мають стрімке зростання в найближчому майбутньому, принаймні Про це повідомляє аналітична компанія IDC. Деякі сценарії об’єднують їх разом, оскільки периферійне розгортання може мати обмеження щодо живлення та з’єднання, але все одно потребує аналізу значних обсягів даних і надання відповіді на події майже в реальному часі, що робить модель штучного інтелекту, яка «живе» на пристрої, найоптимальнішим рішенням. .

У світлі цього група дослідників розробила чіп під назвою NeuRRAM, оскільки він поєднує в собі штучні нейрони з RRAM у новій архітектурі. Мета проекту полягала в тому, щоб створити дизайн, який може одночасно забезпечити високу енергоефективність, а також універсальність для підтримки різних моделей штучного інтелекту та точність, порівнянну з роботою тієї ж моделі в програмному забезпеченні.

Спочатку проект розпочався як частина проекту Nature Science Foundation під назвою «Expeditions in Computing». Цей проект зібрав групу дослідників з різних установ із різним досвідом, у тому числі деяких зі Стенфорду та UCSD, а також дослідників з Університету Цінхуа в Китаї, які є експертами у виготовленні пристроїв RRAM.

Енергоефективність: висновок штучного інтелекту зроблений на гізмо з живленням від батареї

За словами Вейєра Вана, аспіранта Стенфордського університету та одного з автори статті, опублікованому вчора в Nature, NeuRRAM було розроблено як мікросхему штучного інтелекту, яка значно покращує енергоефективність висновків штучного інтелекту, що дозволяє реалізовувати складні функції штучного інтелекту безпосередньо в периферійних пристроях, що живляться від батареї, таких як розумні переносні пристрої, дрони та промислові датчики Інтернету речей. .

«У сучасних чіпах штучного інтелекту обробка та зберігання даних відбуваються в різних місцях – обчислювальному блоці та блоці пам’яті. Часте переміщення даних між цими блоками споживає найбільше енергії та стає вузьким місцем для реалізації процесорів штучного інтелекту з низьким енергоспоживанням для периферійних пристроїв», — сказав він.

Щоб вирішити цю проблему, чіп NeuRRAM реалізує модель «обчислення в пам’яті», де обробка відбувається безпосередньо в пам’яті. Він також використовує резистивну оперативну пам’ять (RRAM), тип пам’яті, який є таким же швидким, як статична оперативна пам’ять, але є енергонезалежним, що дозволяє зберігати ваги моделі ШІ. Ключовою особливістю комірок RRAM є те, що нейронні ваги можуть зберігатися в комірках пам’яті як різні рівні провідності, кодуватися за допомогою цифро-аналогових перетворювачів (DAC) і подаватись на масив пам’яті.

Це не програмне моделювання, це апаратне забезпечення

Були попередні дослідження щодо архітектур CIM, але це перше, яке продемонструвало широкий спектр додатків штучного інтелекту в апаратному забезпеченні, а не в програмному моделюванні, водночас вони є більш енергоефективними та можуть точно запускати алгоритми, чого не було в попередніх дослідженнях. за словами Вана, змогли показати одночасно.

NeuRRAM складається з 48 ядер CIM, які містять загалом 3 мільйони комірок RRAM. Кожне ядро ​​описується як пересувний нейросинаптичний масив (TNSA), що складається з сітки 256 × 256 комірок RRAM і 256 схем штучних нейронів CMOS, які реалізують аналого-цифрові перетворювачі (АЦП) і функції активації.

Згідно з документом, архітектура TNSA була розроблена, щоб запропонувати гнучкий контроль напрямку потоків даних, що має вирішальне значення для підтримки різноманітних моделей ШІ з різними шаблонами потоку даних.

Наприклад, у згорткових нейронних мережах (CNN), які поширені в задачах, пов’язаних із зором, дані проходять в одному напрямку через шари для створення представлень даних на різних рівнях абстракції, тоді як у деяких інших моделях імовірнісна вибірка виконується туди-сюди між шарами. поки мережа не зійдеться до стану високої ймовірності.

Однак інші проекти, які об’єднували CIM з RRAM, були обмежені функціонуванням в одному напрямку, як правило, шляхом підключення рядків і стовпців поперечного масиву RRAM до виділених схем на периферії для управління вхідними сигналами та вимірювання вихідних даних, йдеться в статті.

Як це працює?

Секрет можливості реконфігурації NeuRRAM полягає в тому, що він розподіляє ланцюги нейронів CMOS між осередками RRAM і з’єднує їх по довжині рядків і стовпців.

Кожен TNSA розбивається на кілька ядер, кожен з яких складається з 16 × 16 клітин RRAM і одного нейронного ланцюга. Серцевини з’єднані спільними бітовими лініями (BLs) і словесними лініями (WLs) уздовж горизонтального напрямку та вихідними лініями (SLs) уздовж вертикального напрямку.

Нейронний ланцюг підключається через перемикачі до одного BL і одного SL з 16 кожного, які проходять через сердечник, і відповідає за інтеграцію вхідних даних від усіх 256 RRAM, що підключаються до того самого BL або SL.

Кожен нейронний контур може використовувати свої перемикачі BL і SL для введення та виведення. Це означає, що він може отримувати аналогове множення матриці-вектора (MVM) з осередку RRAM, що надходить від BL або SL через комутатори, але також може надсилати перетворені цифрові результати до периферійних регістрів через ті самі комутатори.

Це означає, що можна реалізувати різні напрямки потоку даних, налаштувавши, який перемикач використовувати під час вхідних і вихідних етапів кожного нейронного контуру.

(Ця архітектура також дещо нагадує нам про Процесорний чіп SambaNova AI, яка реалізована як мережа обчислювальних блоків і блоків пам’яті, пов’язаних комунікаційною структурою на чіпі, яка контролює потік даних.)

Згідно з документом, щоб максимізувати продуктивність штучного інтелекту, використовуючи 48 ядер CIM у NeuRRAM, можна реалізувати різні стратегії відображення ваги, які використовують як паралелізм моделей, так і паралелізм даних.

У випадку CNN стратегія може полягати в тому, щоб дублювати вагові коефіцієнти ранніх, найбільш обчислювально інтенсивних рівнів на кілька ядер CIM для паралельного висновку. У документі надається більш детальний опис доступних стратегій картографування ваги.

У документі повідомляється про результати вимірювання апаратних засобів з використанням чіпа для ряду завдань штучного інтелекту, включаючи класифікацію зображень за допомогою наборів даних CIFAR-10 і MNIST, розпізнавання мовних команд Google і відновлення зображень MNIST, реалізоване за допомогою різних моделей штучного інтелекту.

Стверджується, що він досягає точності логічного висновку, порівнянної з моделями програмного забезпечення, навченими з 4-бітними ваговими коефіцієнтами для всіх цих контрольних завдань. Наприклад, він досягає 0.98 відсотка помилок при розпізнаванні рукописних цифр MNIST за допомогою 7-рівневої CNN, 14.34 відсотка помилок при класифікації об’єктів CIFAR-10 за допомогою ResNet-20 і 15.34 відсотка при розпізнаванні голосових команд Google за допомогою 4-осередкова LSTM (довга короткочасна пам'ять).

Крім того, стверджується, що чіп NeuRRAM має вдвічі кращу енергоефективність, ніж попередні конструкції чіпів CIM, які використовують RRAM, у різних обчислювальних бітах. Однак енергоспоживання в документі не наводиться у формі, яку легко порівняти з комерційними пристроями на ринку, і на малюнку нижче показано енергоспоживання на операцію з різною точністю бітів, виміряним у фемтоджоулях (фДж).

Однак Ван сказав нам, що для типового завдання виявлення ключових слів у реальному часі, яке сьогодні виконується на багатьох розумних домашніх пристроях (наприклад, вказівка ​​розумній колонці увімкнути світло), NeuRRAM, за оцінками, споживає менше 2 мікроват енергії.

«Це означає, що навіть на маленькій монетній батареї він може працювати більше 10 років (не враховуючи енергоспоживання інших компонентів системи)», — сказав він.

Згідно з документом, чіп виготовлено за 130-нм технологією CMOS, і очікується, що енергоефективність підвищиться завдяки масштабуванню технології, як і в інших напівпровідникових продуктах.

До виробництва ще роки

Тож чи побачимо ми комерційний пристрій на основі цієї технології? Ван каже, що він має великий потенціал для комерціалізації, і особисто розглядає можливість самостійного виробництва.

«Найбільш підходящим варіантом початкового використання є найімовірніше екстремальний рівень / IoT», — сказав він нам.

Продукт на основі чіпа NeuRRAM можна об'єднати в систему з центральним процесором, як і інші прискорювачі, але це не обов'язково для кожного застосування.

«Останнім часом з’явилася тенденція, коли дані з датчиків надходять безпосередньо до процесорів штучного інтелекту, не проходячи через центральний процесор або додаткову пам’ять», — сказав Ван, але він додав, що для більшості випадків розгортання в реальному світі такі прискорювачі штучного інтелекту функціонують як співпроцесори. для ЦП, де ЦП керує іншими завданнями.

Чіп NeuRRAM призначений лише для інференційної роботи, головним чином через те, що технологія RRAM у її поточній формі не дуже підходить для навчання, оскільки процес навчання вимагає частих оновлень пам’яті, а це «дуже дорога операція з RRAM», — сказав Ван.

«Наразі багато комерційних ливарних заводів уже мають можливість виготовляти пристрої RRAM, але переважно для використання вбудованої пам’яті, а не для обчислення в пам’яті. Коли процес RRAM стане більш доступним для розробників IC, продукт NeuRRAM може з’явитися».

Однак точні терміни, коли це станеться, важко передбачити, і Ван сказав, що це може відбутися в найближчі два-три роки або набагато довше. ®