Аналоговый чип IBM, вдохновленный мозгом, призван сделать ИИ более устойчивым

Переиздано Платоном

Читают: 0

ChatGPT, DALL-E, Стабильная диффузияи другие генеративные ИИ покорили мир. Они создают сказочные стихи и образы. Они проникают во все уголки нашего мира: от маркетинга до написания юридических записок и открытия лекарств. Они кажутся образцом истории успеха слияния разума человека и машины.

Но под капотом дела обстоят не так радужно. Эти системы являются огромными энергопожирателями, требующими центров обработки данных, которые выбрасывают тысячи тонн выбросов углекислого газа, что еще больше усиливает и без того нестабильный климат, и поглощают миллиарды долларов. Поскольку нейронные сети станут более сложными и более широко используемыми, потребление энергии, вероятно, возрастет еще больше.

Много чернил было пролито на генеративный ИИ углеродный след. Спрос на энергию может привести к ее падению, препятствуя развитию по мере ее дальнейшего роста. При использовании нынешнего оборудования генеративный ИИ «скоро застопорится, если продолжит полагаться на стандартное вычислительное оборудование». — сказал Доктор Хечен Ван из Intel Labs.

Пришло время создать устойчивый ИИ.

На этой неделе исследовании от IBM сделала практический шаг в этом направлении. Они создали 14-нанометровый аналоговый чип, оснащенный 35 миллионами единиц памяти. В отличие от нынешних чипов, вычисления происходят непосредственно внутри этих блоков, что устраняет необходимость передачи данных туда и обратно, что, в свою очередь, экономит энергию.

По словам Вана, передача данных может увеличить потребление энергии от 3 до 10,000 XNUMX раз по сравнению с тем, что требуется для реальных вычислений.

Чип оказался очень эффективным при выполнении двух задач по распознаванию речи. Один из них, Google Speech Commands, небольшой, но практичный. Здесь скорость имеет решающее значение. Другой, Librispeech, представляет собой гигантскую систему, которая помогает транскрибировать речь в текст, требуя от чипа возможности обрабатывать огромные объемы данных.

При сравнении с обычными компьютерами чип работал так же точно, но выполнял работу быстрее и с гораздо меньшими затратами энергии, используя менее одной десятой того, что обычно требуется для некоторых задач.

«Насколько нам известно, это первая демонстрация коммерчески значимого уровня точности на коммерчески значимой модели… с эффективностью и массовым параллелизмом» для аналогового чипа, — заявила команда.

Мозговые байты

Это едва ли не первый аналоговый чип. Однако это выводит идею нейроморфных вычислений в сферу практичности — чипа, который однажды сможет питать ваш телефон, умный дом и другие устройства с эффективностью, близкой к эффективности мозга.

Эм, что? Давайте сделаем резервную копию.

Современные компьютеры построены на Архитектура фон Неймана. Думайте об этом как о доме с несколькими комнатами. Один из них, центральный процессор (ЦП), анализирует данные. Другой хранит память.

Для каждого расчета компьютеру необходимо перемещать данные туда и обратно между этими двумя комнатами, а это требует времени и энергии и снижает эффективность.

Мозг, напротив, объединяет в себе и вычисления, и память в квартире-студии. Его грибовидные соединения, называемые синапсами, образуют нейронные сети и хранят воспоминания в одном и том же месте. Синапсы очень гибки и регулируют степень своей связи с другими нейронами на основе сохраненной памяти и новых знаний — свойство, называемое «весами». Наш мозг быстро адаптируется к постоянно меняющейся среде, регулируя синаптические веса.

IBM была в авангарде разработки аналоговые чипы это имитирует вычисления мозга. Прорыв пришел в 2016 году, когда они представили чип, основанный на увлекательном материале, который обычно можно найти на перезаписываемых компакт-дисках. Материал меняет свое физическое состояние и форму от липкого супа до кристаллоподобных структур при воздействии электричества — это похоже на цифровые 0 и 1.

Вот ключ: чип также может существовать в гибридном состоянии. Другими словами, искусственный синапс, подобно биологическому синапсу, может кодировать множество различных весов (не только двоичных), что позволяет ему накапливать многочисленные вычисления без необходимости перемещать ни одного бита данных.

Джекилл и Гайд

Новое исследование основано на предыдущей работе с использованием материалов с фазовым переходом. Базовыми компонентами являются «плитки памяти». Каждый из них наполнен тысячами материалов с фазовым переходом в решетчатой структуре. Плитки легко взаимодействуют друг с другом.

Каждая плитка управляется программируемым локальным контроллером, что позволяет команде точно настраивать компонент — подобно нейрону. Кроме того, чип последовательно хранит сотни команд, создавая своего рода черный ящик, который позволяет им копаться и анализировать его производительность.

В целом чип содержал 35 миллионов структур памяти с фазовым изменением. Соединения составили 45 миллионов синапсов — это далеко от человеческого мозга, но очень впечатляюще для 14-нанометрового чипа.

Аналоговый чип IBM, вдохновленный мозгом, призван сделать искусственный интеллект более устойчивым для анализа данных PlatoBlockchain. Вертикальный поиск. Ай. — *14-нм аналоговый чип искусственного интеллекта в руке исследователя. Кредит изображения: Райан Лавин для IBM*

Эти ошеломляющие цифры создают проблему для инициализации чипа искусственного интеллекта: слишком много параметров, которые нужно просмотреть. Команда решила проблему с помощью ИИ-детского сада, предварительно программируя синаптические веса до начала вычислений. (Это похоже на приправу новой чугунной сковороды перед приготовлением на ней пищи.)

Они «адаптировали свои методы обучения сети с учетом преимуществ и ограничений аппаратного обеспечения», а затем установили веса для наиболее оптимальных результатов, объяснил Ван, не принимавший участия в исследовании.

Это сработало. В одном из первоначальных испытаний чип легко выполнял 12.4 триллиона операций в секунду на каждый ватт мощности. Потребление энергии «в десятки или даже сотни раз выше, чем у самых мощных процессоров и графических процессоров», — сказал Ван.

Чип реализовал основной вычислительный процесс, лежащий в основе глубоких нейронных сетей, с помощью всего лишь нескольких классических аппаратных компонентов в ячейках памяти. Напротив, традиционным компьютерам нужны сотни или тысячи транзисторов (базовый блок, выполняющий вычисления).

Разговор о городе

Затем команда поставила перед чипом две задачи по распознаванию речи. Каждый из них подчеркивал разные аспекты чипа.

Первым тестом была скорость при работе с относительно небольшой базой данных. Используя Речевые команды Google В базе данных задача требовала, чтобы чип искусственного интеллекта обнаружил 12 ключевых слов в наборе примерно из 65,000 30 видеороликов, в которых тысячи людей произносят XNUMX коротких слов («маленький» является относительным во вселенной глубокого обучения). При использовании принятого эталона —МЛПерф— чип работал в семь раз быстрее чем в предыдущей работе.

Чип также показал себя блестяще, когда ему приходилось работать с большой базой данных. Либрисречь. Корпус содержит более 1,000 часов прочитанной английской речи, которая обычно используется для обучения ИИ синтаксическому анализу речи и автоматическому преобразованию речи в текст.

В целом команда использовала пять чипов, чтобы в конечном итоге закодировать более 45 миллионов весов, используя данные от 140 миллионов устройств с фазовым изменением. По сравнению с обычным оборудованием чип был примерно в 14 раз более энергоэффективным — обрабатывая почти 550 выборок в секунду на ватт потребляемой энергии — с уровнем ошибок чуть более 9 процентов.

Несмотря на впечатляющие результаты, аналоговые чипы все еще находятся в зачаточном состоянии. Они демонстрируют «огромные перспективы в борьбе с проблемами устойчивости, связанными с ИИ», — сказал Ван, но путь вперед требует устранения еще нескольких препятствий.

Одним из факторов является совершенствование конструкции самой технологии памяти и окружающих ее компонентов, то есть компоновки чипа. Новый чип IBM еще не содержит всех необходимых элементов. Следующим важным шагом является интеграция всего на одном чипе с сохранением его эффективности.

Что касается программного обеспечения, нам также потребуются алгоритмы, специально адаптированные к аналоговым чипам, и программное обеспечение, которое легко переводит код на язык, понятный машинам. Поскольку эти чипы становятся все более коммерчески жизнеспособными, разработка специализированных приложений будет поддерживать мечту о будущем аналоговых чипов.

«Потребовались десятилетия, чтобы сформировать вычислительные экосистемы, в которых процессоры и графические процессоры работают так успешно», — сказал Ван. «И, вероятно, потребуются годы, чтобы создать такую же среду для аналогового искусственного интеллекта».

Изображение Фото: Райан Лавин для IBM