Аналоговий чіп IBM, натхненний мозком, має на меті зробити ШІ більш стійким

Перевидано Платоном

читають: 0

ChatGPT, DALL-E, Стабільна дифузіята інші генеративні ШІ захопили світ штурмом. Вони створюють казкові поезії та образи. Вони проникають у кожен куточок нашого світу, від маркетингу до написання юридичних записок і відкриття ліків. Вони здаються зразком історії успіху об’єднання розуму людини та машини.

Але під капотом речі виглядають менш персиково. Ці системи є величезними енергопоглиначами, які вимагають центрів обробки даних, які викидають тисячі тонн вуглецевих викидів, що ще більше підсилює і без того нестабільний клімат, і поглинає мільярди доларів. У міру того, як нейронні мережі стають більш складними та ширше використовуються, споживання енергії, ймовірно, різко зросте.

Про генеративний ШІ було пролито багато чорнила вуглецевий слід. Його попит на енергію може стати причиною його падіння, перешкоджаючи розвитку в міру його подальшого зростання. Використовуючи поточне апаратне забезпечення, генеративний ШІ «очікується, що незабаром зупиниться, якщо він продовжить покладатися на стандартне обчислювальне обладнання». сказав Доктор Хечен Ван з Intel Labs.

Настав час створити стійкий ШІ.

На цьому тижні дослідження від IBM зробили практичний крок у цьому напрямку. Вони створили 14-нанометровий аналоговий чіп із 35 мільйонами пам’яті. На відміну від сучасних чіпів, обчислення відбуваються безпосередньо в цих блоках, позбавляючи необхідності переміщати дані туди-сюди, що, у свою чергу, економить енергію.

Передача даних може збільшити споживання енергії від 3 до 10,000 XNUMX разів понад те, що потрібно для фактичних обчислень, сказав Ван.

Мікросхема виявилася високоефективною під час двох завдань розпізнавання мовлення. Один, Google Speech Commands, невеликий, але практичний. Тут швидкість є ключовою. Інша, Librispeech, є гігантською системою, яка допомагає транскрибувати мову в текст, знижуючи здатність чіпа обробляти величезні обсяги даних.

У порівнянні зі звичайними комп’ютерами чіп працював так само точно, але виконував роботу швидше та з набагато меншими витратами енергії, використовуючи менше десятої частини того, що зазвичай потрібно для деяких завдань.

«Наскільки нам відомо, це перші демонстрації комерційно релевантних рівнів точності на комерційно релевантній моделі… з ефективністю та масовим паралелізмом» для аналогового чіпа, заявила команда.

Розумні байти

Це чи не перший аналоговий чіп. Однак він висуває ідею нейроморфних обчислень у сферу практичності — чіпа, який одного дня зможе живити ваш телефон, розумний дім та інші пристрої з ефективністю, близькою до ефективності мозку.

Гм, що? Зробимо резервну копію.

Сучасні комп'ютери побудовані на Вон Нойман архітектура. Подумайте про це як про будинок із кількома кімнатами. Один, центральний процесор (CPU), аналізує дані. Інший зберігає пам'ять.

Для кожного обчислення комп’ютер повинен переміщати дані між цими двома кімнатами, і це потребує часу та енергії та знижує ефективність.

Мозок, навпаки, поєднує і обчислення, і пам’ять у квартирі-студії. Його грибоподібні з’єднання, звані синапсами, утворюють нейронні мережі та зберігають спогади в одному місці. Синапси є дуже гнучкими, регулюючи, наскільки міцно вони з’єднуються з іншими нейронами на основі збереженої пам’яті та нових знань — властивість, яка називається «вагами». Наш мозок швидко адаптується до середовища, що постійно змінюється, регулюючи ці синаптичні ваги.

IBM була в авангарді проектування аналогові мікросхеми що імітують обчислення мозку. Прорив прийшов у 2016 році, коли вони представили мікросхему на основі захоплюючого матеріалу, який зазвичай міститься на перезаписуваних компакт-дисках. Під впливом електрики матеріал змінює свій фізичний стан і змінює форму від густого супу до кристалоподібних структур — подібно до цифрових 0 і 1.

Ось ключ: чіп також може існувати в гібридному стані. Іншими словами, подібно до біологічного синапсу, штучний синапс може кодувати безліч різних ваг — не лише двійкових — що дозволяє накопичувати численні обчислення без необхідності переміщувати жодного біта даних.

Джекіл і Гайд

Нове дослідження базувалося на попередній роботі, також використовуючи матеріали зі зміною фаз. Основними компонентами є «плитки пам’яті». Кожен з них насичений тисячами матеріалів зі зміною фази в сітчастій структурі. Плитки легко взаємодіють між собою.

Кожна плитка контролюється програмованим локальним контролером, що дозволяє команді з точністю налаштовувати компонент, схожий на нейрон. Крім того, чіп послідовно зберігає сотні команд, створюючи своєрідну чорну скриньку, яка дозволяє їм копатися та аналізувати його продуктивність.

Загалом чіп містив 35 мільйонів структур пам’яті зі зміною фаз. З’єднання склали 45 мільйонів синапсів — це дуже далеко від людського мозку, але дуже вражаюче на 14-нанометровому чіпі.

Аналоговий чіп IBM, натхненний мозком, спрямований на те, щоб зробити штучний інтелект більш стійким. PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai. — *14-нм аналоговий чіп ШІ лежить у руці дослідника. Автор зображення: Райан Лавін для IBM*

Ці приголомшливі цифри створюють проблему для ініціалізації мікросхеми штучного інтелекту: просто забагато параметрів для пошуку. Команда вирішила проблему, що нагадує дитячий садок штучного інтелекту, попередньо запрограмувавши синаптичні ваги перед початком обчислень. (Це схоже на приправу нової чавунної сковороди перед приготуванням їжі.)

Вони «налаштували свої методи навчання мережі з урахуванням переваг і обмежень апаратного забезпечення», а потім встановили ваги для отримання найбільш оптимальних результатів, пояснив Ван, який не брав участі в дослідженні.

Вийшло. В одному початковому тесті чіп легко виконував 12.4 трильйона операцій на секунду на кожен ват потужності. Споживання енергії «в десятки або навіть сотні разів вище, ніж для найпотужніших процесорів і графічних процесорів», сказав Ван.

Чіп створив основний обчислювальний процес, що лежить в основі глибоких нейронних мереж, за допомогою лише кількох класичних апаратних компонентів у плитках пам’яті. Навпаки, традиційні комп’ютери потребують сотень або тисяч транзисторів (базового блоку, який виконує обчислення).

Розмова про місто

Потім команда кинула виклик чіпу на два завдання з розпізнавання мовлення. Кожен з них наголошував на різних аспектах мікросхеми.

Першим тестом була швидкість, коли випробували відносно невелику базу даних. Використовуючи Команди Google Speech База даних, завдання вимагало від чіпа штучного інтелекту виявити 12 ключових слів у наборі приблизно з 65,000 30 кліпів, у яких тисячі людей говорять XNUMX коротких слів («маленький» є відносним у всесвіті глибокого навчання). Якщо використовується прийнятий контрольний показник,MLPerf— чіп працював у сім разів швидше ніж у попередній роботі.

Чіп також сяяв, коли випробували велику базу даних, Лібрисмова. Корпус містить понад 1,000 годин прочитаного англійського мовлення, яке зазвичай використовується для навчання штучного інтелекту для аналізу мовлення та автоматичної транскрипції мовлення в текст.

Загалом команда використала п’ять чіпів, щоб зрештою закодувати понад 45 мільйонів ваг, використовуючи дані зі 140 мільйонів пристроїв із зміною фази. У порівнянні зі звичайним апаратним забезпеченням чіп був приблизно в 14 разів енергоефективнішим — обробляв майже 550 зразків щосекунди на ват споживаної енергії — з рівнем помилок трохи більше 9 відсотків.

Незважаючи на те, що аналогові мікросхеми вражають, вони все ще знаходяться в зародковому стані. Вони демонструють «великі перспективи для боротьби з проблемами сталого розвитку, пов’язаними зі штучним інтелектом», – сказав Ван, але шлях уперед вимагає подолання ще кількох перешкод.

Одним із факторів є доопрацювання конструкції самої технології пам’яті та оточуючих її компонентів, тобто того, як побудовано чіп. Новий чіп IBM ще не містить усіх необхідних елементів. Наступним важливим кроком є інтеграція всього в один чіп, зберігаючи його ефективність.

Що стосується програмного забезпечення, нам також знадобляться алгоритми, які спеціально адаптуються до аналогових чіпів, і програмне забезпечення, яке легко перекладає код на мову, зрозумілу машинам. Оскільки ці чіпи стають все більш комерційно життєздатними, розробка спеціалізованих програм дозволить зберегти мрію про аналогові чіпи в майбутньому.

«Потрібні десятиліття, щоб сформувати обчислювальні екосистеми, в яких центральні та графічні процесори працюють настільки успішно», — сказав Ван. «Імовірно, знадобляться роки, щоб створити таке ж середовище для аналогового ШІ».

Зображення Фото: Райан Лавін для IBM