Вступ
Алгоритми штучного інтелекту не можуть розвиватися нинішніми темпами. Алгоритми, такі як глибокі нейронні мережі, які частково створені мозком, із кількома шарами штучних нейронів, пов’язаних один з одним за допомогою числових значень, які називаються вагами, з кожним роком стають все більшими. Але сьогодні вдосконалення апаратного забезпечення вже не встигає за величезним об’ємом пам’яті та обчислювальних можливостей, необхідних для роботи цих величезних алгоритмів. Незабаром розмір алгоритмів ШІ може вдаритися по стіні.
І навіть якби ми могли продовжувати масштабувати апаратне забезпечення, щоб задовольнити потреби штучного інтелекту, виникне інша проблема: його використання на традиційних комп’ютерах витрачає величезну кількість енергії. Великі викиди вуглекислого газу, що утворюються в результаті роботи великих алгоритмів штучного інтелекту, вже шкідливі для навколишнього середовища, і це буде тільки погіршуватися, оскільки алгоритми ставатимуть все більш гігантськими.
Одне рішення, яке називається нейроморфним обчисленням, черпає натхнення з біологічного мозку для створення енергоефективних конструкцій. На жаль, хоча ці чіпи можуть випереджати цифрові комп’ютери в енергозбереженні, їм бракує обчислювальної потужності, необхідної для роботи значної глибокої нейронної мережі. Завдяки цьому дослідникам штучного інтелекту їх було легко не помітити.
Це нарешті змінилося в серпні, коли Вейєр Ван, Х.-С. Філіп Вонг, Герт Каувенберг та їхні колеги виявив новий нейроморфний чіп під назвою NeuRRAM, яка включає 3 мільйони комірок пам’яті та тисячі нейронів, вбудованих у апаратне забезпечення для запуску алгоритмів. У ньому використовується відносно новий тип пам’яті, який називається резистивною оперативною пам’яттю або RRAM. На відміну від попередніх чіпів RRAM, NeuRRAM запрограмовано на аналогову роботу для економії енергії та місця. У той час як цифрова пам’ять є двійковою — зберігає 1 або 0 — комірки аналогової пам’яті в чіпі NeuRRAM можуть зберігати кілька значень у повністю безперервному діапазоні. Це дозволяє чіпу зберігати більше інформації від масивних алгоритмів штучного інтелекту в такому самому просторі чіпа.
У результаті новий чіп може виконувати складні завдання ШІ, як-от розпізнавання зображень і мови, так само добре, як і цифрові комп’ютери, а автори стверджують, що він у 1,000 разів енергоефективніший, що відкриває можливість для крихітних чіпів запускати дедалі складніші алгоритми. в невеликих пристроях, раніше непридатних для ШІ, таких як розумні годинники та телефони.
Дослідники, які не брали участі в роботі, були глибоко вражені результатами. «Ця стаття досить унікальна», — сказав Чжунжуй Ван, давній дослідник RRAM в Університеті Гонконгу. «Він робить внесок на різних рівнях — на рівні пристрою, на рівні архітектури схеми та на рівні алгоритму».
Створення нових спогадів
У цифрових комп’ютерах величезна кількість енергії, що витрачається на виконання алгоритмів штучного інтелекту, спричинена простим і повсюдним недоліком конструкції, який робить кожне обчислення неефективним. Як правило, пам’ять комп’ютера — яка зберігає дані та числові значення, які він обробляє під час обчислень — розміщується на материнській платі подалі від процесора, де відбувається обчислення.
Що стосується інформації, що проходить через процесор, «це ніби ви витрачаєте вісім годин на дорогу, але ви виконуєте дві години роботи», — сказав Ван, комп’ютерний науковець, який раніше працював у Стенфордському університеті, який нещодавно перейшов у стартап Aizip, що займається штучним інтелектом.
Вступ
Виправити цю проблему за допомогою нових чіпів «все в одному», які поміщають пам’ять і обчислення в одне місце, здається простим. Це також ближче до того, як наш мозок, швидше за все, обробляє інформацію, оскільки багато нейробіологів вважають, що обчислення відбуваються в популяціях нейронів, тоді як спогади формуються, коли синапси між нейронами зміцнюють або послаблюють їхні зв’язки. Але створення таких пристроїв виявилося складним, оскільки поточні форми пам'яті несумісні з технологіями процесорів.
Комп’ютерні вчені десятиліття тому розробили матеріали для створення нових чіпів, які виконують обчислення там, де зберігається пам’ять — технологія, відома як обчислення в пам’яті. Але з огляду на те, що традиційні цифрові комп’ютери працюють так добре, ці ідеї залишалися поза увагою протягом десятиліть.
«Про цю роботу, як і про більшість наукових робіт, забули», — сказав Вонг, професор Стенфордського університету.
Дійсно, перший такий пристрій датується принаймні 1964 роком, коли інженери-електрики зі Стенфорда виявили, що вони можуть маніпулювати певними матеріалами, які називаються оксидами металів, щоб вмикати та вимикати їх здатність проводити електрику. Це важливо, оскільки здатність матеріалу перемикатися між двома станами забезпечує основу для традиційного зберігання пам’яті. Як правило, у цифровій пам’яті стан високої напруги відповідає 1, а низької напруги – 0.
Щоб змусити пристрій RRAM перемикати стани, ви прикладаєте напругу до металевих електродів, підключених до двох кінців оксиду металу. Зазвичай оксиди металів є ізоляторами, що означає, що вони не проводять електрику. Але при достатній напрузі струм зростає, зрештою проштовхуючи слабкі місця матеріалу та прокладаючи шлях до електрода з іншого боку. Коли струм проривається, він може вільно текти по цьому шляху.
Вонг порівнює цей процес із блискавкою: коли всередині хмари накопичується достатньо заряду, воно швидко знаходить шлях із низьким опором і вдаряє блискавка. Але на відміну від блискавки, шлях якої зникає, шлях через оксид металу залишається, тобто він залишається провідним на невизначений час. І можна стерти провідний шлях, застосувавши іншу напругу до матеріалу. Тож дослідники можуть перемикати RRAM між двома станами та використовувати їх для зберігання цифрової пам’яті.
Дослідники середини століття не визнавали потенціалу енергоефективного обчислення, і вони ще не потребували його з меншими алгоритмами, з якими вони працювали. До початку 2000-х років, з відкриттям нових оксидів металів, дослідники усвідомили ці можливості.
Вонг, який на той час працював у IBM, згадує, що колега, лауреат нагород, який працював над RRAM, зізнався, що він не до кінця розуміє фізику. «Якщо він цього не розуміє, — пригадує думку Вонг, — можливо, мені не варто намагатися це зрозуміти».
Але в 2004 році дослідники з Samsung Electronics оголосили, що так успішно інтегрована пам'ять RRAM побудований на основі традиційного обчислювального чіпа, припускаючи, що чіп з обчисленнями в пам’яті нарешті може стати можливим. Вонг вирішив хоча б спробувати.
Мікросхеми Compute-in-Memory для ШІ
Понад десять років такі дослідники, як Вонг, працювали над розробкою технології RRAM до такої міри, щоб вона могла надійно справлятися з потужними обчислювальними завданнями. Приблизно в 2015 році комп’ютерні вчені почали визнавати величезний потенціал цих енергоефективних пристроїв для великих алгоритмів штучного інтелекту, які почали розвиватися. Того року вчені Каліфорнійського університету в Санта-Барбарі показав що пристрої RRAM можуть робити більше, ніж просто зберігати пам’ять по-новому. Вони могли б самі виконувати базові обчислювальні завдання — включаючи переважну більшість обчислень, які відбуваються в штучних нейронах нейронної мережі, які є простими завданнями множення матриць.
У чіпі NeuRRAM кремнієві нейрони вбудовані в апаратне забезпечення, а комірки пам’яті RRAM зберігають ваги — значення, що представляють силу зв’язків між нейронами. А оскільки комірки пам’яті NeuRRAM є аналоговими, ваги, які вони зберігають, представляють повний діапазон станів опору, які виникають під час перемикання пристрою між станом низького опору та станом високого опору. Це забезпечує навіть вищу енергоефективність, ніж може досягти цифрова пам’ять RRAM, оскільки чіп може запускати багато матричних обчислень паралельно, а не послідовно одне за одним, як у версіях з цифровою обробкою.
Але оскільки аналогова обробка все ще відстає від цифрової обробки на десятиліття, є ще багато проблем, які потрібно вирішити. Одна з них полягає в тому, що аналогові мікросхеми RRAM мають бути надзвичайно точними, оскільки недоліки фізичного чіпа можуть викликати мінливість і шум. (Для традиційних чіпів, які мають лише два стани, ці недоліки не мають такого великого значення.) Через це аналоговим пристроям RRAM значно важче запускати алгоритми ШІ, враховуючи, що точність, скажімо, розпізнавання зображення постраждає, якщо провідний стан пристрою RRAM не завжди однаковий.
«Коли ми дивимося на шлях освітлення, кожен раз він інший», — сказав Вонг. «Отже, в результаті цього RRAM демонструє певний ступінь стохастичності — щоразу, коли ви їх програмуєте, вони дещо відрізняються». Вонг і його колеги довели, що пристрої RRAM можуть зберігати безперервні вагові коефіцієнти штучного інтелекту та залишатися такими ж точними, як цифрові комп’ютери, якщо алгоритми навчені звикати до шуму, з яким вони стикаються на чіпі. Це досягнення дозволило їм створити чіп NeuRRAM.
Вступ
Інша важлива проблема, яку їм довелося вирішити, стосувалася гнучкості, необхідної для підтримки різноманітних нейронних мереж. У минулому розробникам чіпів доводилося розташовувати крихітні пристрої RRAM в одній зоні поруч із більшими кремнієвими нейронами. Пристрої RRAM і нейрони були жорстко підключені без можливості програмування, тому обчислення можна було виконувати лише в одному напрямку. Щоб підтримувати нейронні мережі з двонаправленими обчисленнями, потрібні були додаткові дроти та схеми, що збільшило потреби в енергії та просторі.
Тож команда Вонга розробила нову архітектуру мікросхеми, де пристрої пам’яті RRAM і кремнієві нейрони були змішані разом. Ця невелика зміна конструкції зменшила загальну площу та заощадила енергію.
«Мені здалося, що [аранжування] справді гарне», — сказав Меліка Пейванд, дослідник нейроморфології в Швейцарському федеральному технологічному інституті Цюріха. «Я точно вважаю це новаторською роботою».
Протягом кількох років команда Вонга разом із колегами працювала над розробкою, виробництвом, тестуванням, калібруванням і запуском алгоритмів ШІ на чіпі NeuRRAM. Вони розглядали можливість використання інших нових типів пам’яті, які також можна використовувати в чіпі «обчислення в пам’яті», але RRAM мала перевагу через свої переваги в аналоговому програмуванні та тому, що її було відносно легко інтегрувати з традиційними обчислювальними матеріалами.
Їхні нещодавні результати представляють собою перший чіп RRAM, який може запускати такі великі та складні алгоритми штучного інтелекту — досягнення, яке раніше було можливим лише в теоретичному моделюванні. «Коли справа доходить до справжнього кремнію, ця здатність була відсутня», — сказав Ануп Дас, фахівець з інформатики в Університеті Дрекселя. «Ця робота є першою демонстрацією».
«Цифрові системи штучного інтелекту гнучкі й точні, але на порядок менш ефективні», — сказав Каувенберг. Тепер, сказав Каувенберг, їх гнучкий, точний і енергоефективний аналоговий чіп RRAM «вперше подолав розрив».
Збільшення масштабу
Розробка команди зберігає мікросхему NeuRRAM крихітною — розміром із ніготь — і одночасно містить 3 мільйони пристроїв пам’яті RRAM, які можуть служити аналоговими процесорами. І хоча він може працювати з нейронними мережами принаймні так само добре, як і цифрові комп’ютери, чіп також (і вперше) може запускати алгоритми, які виконують обчислення в різних напрямках. Їхній чіп може вводити напругу в рядки масиву RRAM і зчитувати вихідні дані зі стовпців, як це стандартно для мікросхем RRAM, але він також може робити це в зворотному напрямку від стовпців до рядків, тому його можна використовувати в нейронних мережах, які працюють з потоком даних у різних напрямках.
Як і у випадку з самою технологією RRAM, це вже давно можливо, але ніхто не думав це робити. «Чому ми не подумали про це раніше?» — спитав Пейванд. «Оглядаючи заднім числом, я не знаю».
«Це насправді відкриває багато інших можливостей», — сказав Дас. Як приклад він згадав здатність простої системи запускати величезні алгоритми, необхідні для моделювання багатовимірної фізики або самокерованих автомобілів.
Але розмір є проблемою. Найбільші нейронні мережі тепер містять мільярди ваг, а не мільйони, які містяться в нових чіпах. Вонг планує збільшити масштаб, поклавши кілька чіпів NeuRRAM один на одного.
Так само важливо буде підтримувати низькі витрати на енергію в майбутніх пристроях або ще більше зменшувати їх масштаб. Є один із способів дістатися туди копіювання мозку ще точніше прийняти комунікаційний сигнал, який використовується між реальними нейронами: електричний сплеск. Це сигнал, який передається від одного нейрона до іншого, коли різниця напруги між внутрішньою та зовнішньою сторонами клітини досягає критичного порогу.
"Є великі виклики", - сказав Тоні Кеньон, дослідник нанотехнологій в Університетському коледжі Лондона. «Але ми все одно можемо захотіти рухатися в цьому напрямку, тому що … велика ймовірність того, що у вас буде більша енергоефективність, якщо ви використовуєте дуже рідкісні шипи». Однак для запуску алгоритмів, які працюють на поточному чіпі NeuRRAM, швидше за все, знадобиться зовсім інша архітектура, зауважив Кеньйон.
Наразі енергоефективність, досягнута командою під час запуску великих алгоритмів штучного інтелекту на чіпі NeuRRAM, породила нову надію на те, що технології пам’яті можуть представляти майбутнє обчислень за допомогою ШІ. Можливо, одного дня ми навіть зможемо порівняти 86 мільярдів нейронів людського мозку та трильйони синапсів, які їх з’єднують, не вичерпавши енергії.
