Введение
Алгоритмы искусственного интеллекта не могут продолжать расти нынешними темпами. Алгоритмы, такие как глубокие нейронные сети, которые слабо вдохновлены мозгом, с несколькими слоями искусственных нейронов, связанных друг с другом с помощью числовых значений, называемых весами, становятся все больше с каждым годом. Но в наши дни аппаратные усовершенствования уже не поспевают за огромным объемом памяти и вычислительной мощностью, необходимой для запуска этих массивных алгоритмов. Вскоре размер алгоритмов искусственного интеллекта может ударить по стене.
И даже если бы мы могли продолжать наращивать аппаратное обеспечение для удовлетворения требований ИИ, есть еще одна проблема: их запуск на традиционных компьютерах тратит огромное количество энергии. Высокие выбросы углерода, возникающие в результате работы больших алгоритмов ИИ, уже вредны для окружающей среды, и ситуация будет только усугубляться по мере того, как алгоритмы становятся все более гигантскими.
Одно решение, называемое нейроморфными вычислениями, черпает вдохновение из биологического мозга для создания энергоэффективных конструкций. К сожалению, хотя эти чипы могут превзойти цифровые компьютеры по энергосбережению, им не хватает вычислительной мощности, необходимой для работы значительной глубокой нейронной сети. Поэтому исследователям ИИ было легко их не заметить.
Это окончательно изменилось в августе, когда Вейер Ван, Х.-С. Филип Вонг, Герт Каувенбергс и их коллеги показал новый нейроморфный чип под названием NeuRRAM, который включает в себя 3 миллиона ячеек памяти и тысячи нейронов, встроенных в его аппаратное обеспечение для запуска алгоритмов. Он использует относительно новый тип памяти, называемый резистивной RAM или RRAM. В отличие от предыдущих чипов RRAM, NeuRRAM запрограммирован на работу в аналоговом режиме, чтобы сэкономить больше энергии и места. В то время как цифровая память является двоичной — в ней хранится либо 1, либо 0, — каждая ячейка аналоговой памяти в чипе NeuRRAM может хранить несколько значений в полностью непрерывном диапазоне. Это позволяет чипу хранить больше информации от массивных алгоритмов ИИ в том же объеме памяти чипа.
В результате новый чип может выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений и речи, не хуже цифровых компьютеров, и авторы утверждают, что он в 1,000 раз более энергоэффективен, что открывает возможность для крошечных чипов выполнять все более сложные алгоритмы. в небольших устройствах, которые ранее не подходили для ИИ, таких как смарт-часы и телефоны.
Исследователи, не участвовавшие в работе, были глубоко впечатлены результатами. «Эта бумага довольно уникальна, — сказал Чжунруй Ван, давний исследователь RRAM в Университете Гонконга. «Он вносит свой вклад на разных уровнях — на уровне устройства, на уровне архитектуры схемы и на уровне алгоритма».
Создание новых воспоминаний
В цифровых компьютерах огромное количество энергии, потраченной впустую при выполнении алгоритмов ИИ, вызвано простым и вездесущим недостатком конструкции, который делает каждое отдельное вычисление неэффективным. Как правило, память компьютера, в которой хранятся данные и числовые значения, которые она обрабатывает во время вычислений, размещается на материнской плате вдали от процессора, где происходят вычисления.
Что касается информации, проходящей через процессор, «вы тратите восемь часов на дорогу, но два часа работаете», — сказал Ван, ученый-компьютерщик, ранее работавший в Стэнфордском университете, который недавно перешел в стартап AIZIP.
Введение
Решение этой проблемы с помощью новых чипов «все в одном», которые объединяют память и вычисления, кажется простым. Это также ближе к тому, как наш мозг, вероятно, обрабатывает информацию, поскольку многие нейробиологи считают, что вычисления происходят внутри популяций нейронов, а воспоминания формируются, когда синапсы между нейронами усиливают или ослабляют их связи. Но создание таких устройств оказалось трудным, поскольку современные формы памяти несовместимы с технологиями процессоров.
Ученые-компьютерщики десятилетия назад разработали материалы для создания новых чипов, которые выполняют вычисления там, где хранится память — технология, известная как вычисления в памяти. Но из-за того, что традиционные цифровые компьютеры работали так хорошо, эти идеи игнорировались десятилетиями.
«Об этой работе, как и о большинстве научных работ, забыли», — сказал Вонг, профессор Стэнфордского университета.
В самом деле, первое такое устройство восходит как минимум к 1964 году, когда инженеры-электрики из Стэнфорда обнаружили, что могут манипулировать определенными материалами, называемыми оксидами металлов, чтобы включать и выключать их способность проводить электричество. Это важно, потому что способность материала переключаться между двумя состояниями обеспечивает основу для традиционной памяти. Обычно в цифровой памяти состояние высокого напряжения соответствует 1, а низкое напряжение — 0.
Чтобы заставить устройство RRAM переключать состояния, вы прикладываете напряжение к металлическим электродам, подключенным к двум концам оксида металла. Обычно оксиды металлов являются изоляторами, что означает, что они не проводят электричество. Но при достаточном напряжении ток накапливается, в конечном итоге проталкивая слабые места материала и прокладывая путь к электроду с другой стороны. Как только ток прорвался, он может свободно течь по этому пути.
Вонг сравнивает этот процесс с молнией: когда внутри облака накапливается достаточно заряда, оно быстро находит путь с низким сопротивлением и ударяет молнией. Но в отличие от молнии, путь которой исчезает, путь через оксид металла остается, то есть он остается проводящим бесконечно долго. И можно стереть токопроводящую дорожку, подав на материал другое напряжение. Таким образом, исследователи могут переключать RRAM между двумя состояниями и использовать их для хранения цифровой памяти.
Исследователи середины века не осознали потенциал энергоэффективных вычислений, и они еще не нуждались в нем для более мелких алгоритмов, с которыми они работали. Только в начале 2000-х годов, когда были открыты новые оксиды металлов, исследователи осознали возможности.
Вонг, работавший в то время в IBM, вспоминает, что его отмеченный наградами коллега, работавший над RRAM, признался, что не полностью понимает задействованную физику. «Если он этого не понимает, — вспоминает мысль Вонга, — может быть, мне не стоит пытаться это понять».
Но в 2004 году исследователи из Samsung Electronics объявили, что успешно интегрированная память RRAM построенный поверх традиционного вычислительного чипа, предполагая, что чип вычислений в памяти, наконец, может стать возможным. Вонг решил хотя бы попытаться.
Чипы Compute-in-Memory для ИИ
Более десяти лет такие исследователи, как Вонг, работали над созданием технологии RRAM до такой степени, чтобы она могла надежно справляться с вычислительными задачами высокой мощности. Примерно в 2015 году ученые-компьютерщики начали осознавать огромный потенциал этих энергоэффективных устройств для больших алгоритмов ИИ, которые начали набирать обороты. В том же году ученые Калифорнийского университета в Санта-Барбаре показал что устройства RRAM могут делать больше, чем просто хранить память по-новому. Они могли бы сами выполнять базовые вычислительные задачи, включая подавляющее большинство вычислений, происходящих в искусственных нейронах нейронной сети, которые представляют собой простые задачи умножения матриц.
В чипе NeuRRAM кремниевые нейроны встроены в аппаратное обеспечение, а ячейки памяти RRAM хранят веса — значения, представляющие силу связей между нейронами. А поскольку ячейки памяти NeuRRAM являются аналоговыми, хранящиеся в них веса представляют собой полный диапазон состояний сопротивления, которые возникают, когда устройство переключается между состоянием с низким сопротивлением и состоянием с высоким сопротивлением. Это обеспечивает даже более высокую энергоэффективность, чем может достичь цифровая память RRAM, потому что чип может выполнять множество матричных вычислений параллельно, а не синхронно одно за другим, как в версиях с цифровой обработкой.
Но поскольку аналоговая обработка все еще отстает от цифровой обработки на десятилетия, остается еще много проблем, которые необходимо решить. Во-первых, аналоговые чипы RRAM должны быть необычайно точными, поскольку недостатки физического чипа могут приводить к изменчивости и шуму. (Для традиционных чипов, имеющих только два состояния, эти несовершенства не так важны.) Это значительно усложняет работу аналоговых устройств RRAM с алгоритмами ИИ, учитывая, что точность, скажем, распознавания изображения пострадает, если проводящее состояние устройства RRAM не всегда одинаково.
«Когда мы смотрим на путь освещения, каждый раз он разный, — сказал Вонг. «Итак, в результате этого RRAM демонстрирует определенную степень стохастичности — каждый раз, когда вы программируете их, они немного отличаются». Вонг и его коллеги доказали, что устройства RRAM могут хранить непрерывные веса ИИ и при этом быть такими же точными, как цифровые компьютеры, если алгоритмы обучены привыкать к шуму, с которым они сталкиваются на чипе, что позволило им создать чип NeuRRAM.
Введение
Еще одна важная проблема, которую им предстояло решить, касалась гибкости, необходимой для поддержки различных нейронных сетей. В прошлом разработчикам микросхем приходилось располагать крошечные устройства RRAM в одном месте рядом с более крупными кремниевыми нейронами. Устройства RRAM и нейроны были жестко связаны без программирования, поэтому вычисления могли выполняться только в одном направлении. Для поддержки нейронных сетей с двунаправленными вычислениями требовались дополнительные провода и схемы, что увеличивало потребности в энергии и пространстве.
Поэтому команда Вонга разработала новую архитектуру чипа, в которой устройства памяти RRAM и кремниевые нейроны были смешаны вместе. Это небольшое изменение в конструкции уменьшило общую площадь и сэкономило энергию.
«Я думал, что [аранжировка] была действительно красивой», — сказал Мелика Пайванд, нейроморфный исследователь из Швейцарского федерального технологического института в Цюрихе. «Я определенно считаю это новаторской работой».
В течение нескольких лет команда Вонга работала с коллегами над проектированием, производством, тестированием, калибровкой и запуском алгоритмов ИИ на чипе NeuRRAM. Они действительно рассматривали возможность использования других новых типов памяти, которые также можно использовать в микросхемах вычислений в памяти, но RRAM имела преимущество из-за своих преимуществ в аналоговом программировании и потому, что ее было относительно легко интегрировать с традиционными вычислительными материалами.
Их недавние результаты представляют собой первый чип RRAM, который может запускать такие большие и сложные алгоритмы искусственного интеллекта — подвиг, который ранее был возможен только в теоретическом моделировании. «Когда дело доходит до настоящего кремния, такой возможности не хватает», — сказал Ануп Дас, ученый-компьютерщик из Университета Дрекселя. «Эта работа — первая демонстрация».
«Цифровые системы искусственного интеллекта гибки и точны, но на порядки менее эффективны, — сказал Каувенбергс. Теперь, по словам Каувенбергса, их гибкий, точный и энергоэффективный аналоговый чип RRAM «впервые преодолел этот разрыв».
Масштабирование
Дизайн команды позволяет сохранить чип NeuRRAM крошечным — размером с ноготь — и в то же время сжать 3 миллиона устройств памяти RRAM, которые могут служить аналоговыми процессорами. И хотя он может запускать нейронные сети, по крайней мере, так же хорошо, как цифровые компьютеры, чип также (и впервые) может запускать алгоритмы, выполняющие вычисления в разных направлениях. Их чип может вводить напряжение в строки массива RRAM и считывать выходные данные из столбцов, что является стандартом для чипов RRAM, но он также может делать это в обратном направлении от столбцов к строкам, поэтому его можно использовать в нейронных сетях, которые работают с потоком данных в разных направлениях.
Как и в случае с самой технологией RRAM, это уже давно было возможно, но никто не думал об этом. «Почему мы не подумали об этом раньше?» — спросил Пайванд. — Оглядываясь назад, я не знаю.
«На самом деле это открывает множество других возможностей», — сказал Дас. В качестве примера он упомянул способность простой системы запускать огромные алгоритмы, необходимые для моделирования многомерной физики или беспилотных автомобилей.
Но проблема в размере. Крупнейшие нейронные сети теперь содержат миллиарды весов, а не миллионы, содержащиеся в новых чипах. Вонг планирует масштабироваться, размещая несколько чипов NeuRRAM друг над другом.
Не менее важно будет сохранить низкие затраты на электроэнергию в будущих устройствах или еще больше сократить их. Один из способов добраться туда - копирование мозга еще более близко принять коммуникационный сигнал, используемый между реальными нейронами: электрический всплеск. Это сигнал от одного нейрона к другому, когда разница в напряжении внутри и снаружи клетки достигает критического порога.
«Там большие проблемы, — сказал Тони Кеньон, исследователь нанотехнологий в Университетском колледже Лондона. «Но мы все еще можем захотеть двигаться в этом направлении, потому что… есть вероятность, что вы добьетесь большей энергоэффективности, если будете использовать очень редкие всплески». Однако, по словам Кеньона, для запуска алгоритмов, которые работают на текущем чипе NeuRRAM, вероятно, потребуется совершенно другая архитектура.
На данный момент эффективность энергопотребления, достигнутая командой при выполнении больших алгоритмов ИИ на чипе NeuRRAM, породила новую надежду на то, что технологии памяти могут стать будущим вычислений с ИИ. Возможно, когда-нибудь мы даже сможем сопоставить 86 миллиардов нейронов человеческого мозга и триллионы синапсов, которые их соединяют, не теряя при этом энергии.
