Новий фотонний комп’ютерний чіп використовує світло для скорочення витрат на енергію ШІ

Моделі AI є потужні свині.

У міру того, як алгоритми ростуть і стають все більш складними, вони все більше оподатковують поточні комп’ютерні мікросхеми. Кілька компаній розробили мікросхеми, адаптовані до ШІ, щоб зменшити енергоспоживання. Але всі вони засновані на одному фундаментальному правилі — вони використовують електрику.

Цього місяця команда з університету Цінхуа в Китаї змінила рецепт. Вони побудував чіп нейронної мережі який використовує світло, а не електрику для виконання завдань штучного інтелекту за невелику частку вартості енергії H100 від NVIDIA, найсучасніший чіп, який використовується для навчання та запуску моделей ШІ.

Чіп під назвою Taichi поєднує у своїй внутрішній структурі два типи обробки світла. Порівняно з попереднім оптичні чіпи, Taichi набагато точніший для відносно простих завдань, таких як розпізнавання рукописних чисел або інших зображень. На відміну від своїх попередників, чіп також може генерувати контент. Він може створювати базові зображення в стилі нідерландського художника Вінсента Ван Гога, наприклад, або класичні музичні номери, натхненні Йоганном Себастьяном Бахом.

Частково ефективність Taichi пояснюється його структурою. Мікросхема складається з кількох компонентів, які називаються чіплетами. Подібно до організації мозку, кожен чіплет виконує власні обчислення паралельно, результати яких потім інтегруються з іншими для досягнення рішення.

Зіштовхнувшись зі складною проблемою розділення зображень на 1,000 категорій, Taichi досяг успіху майже в 92 відсотках випадків, відповідаючи поточній продуктивності чіпа, але зменшивши споживання енергії в тисячу разів.

Для штучного інтелекту «тенденція вирішення більш складних завдань [є] незворотною», — пишуть автори. «Taichi прокладає шлях для широкомасштабних фотонних [на основі світла] обчислень», що веде до більш гнучкого ШІ з меншими витратами на енергію.

Фішка на плечі

Сучасні комп’ютерні чіпи погано поєднуються з ШІ.

Частина проблеми є структурною. Обробка та пам'ять на традиційних мікросхемах фізично розділені. Перенесення даних між ними забирає величезну кількість енергії та часу.

Незважаючи на ефективність у розв’язанні відносно простих проблем, установка неймовірно енергоємна, коли мова йде про складний штучний інтелект, як-от великі мовні моделі, що працюють із ChatGPT.

Основна проблема полягає в тому, як побудовані комп'ютерні мікросхеми. Кожне обчислення покладається на транзистори, які вмикаються або вимикаються, щоб відобразити 0 і 1, що використовуються в обчисленнях. Протягом десятиліть інженери різко зменшили кількість транзисторів, щоб їх можна було запихати в мікросхеми все більше. Але сучасна технологія чіпів наближається до точки зламу, коли ми не можемо бути меншими.

Вчені давно прагнули оновити сучасні мікросхеми. Одна стратегія, натхненна мозком, покладається на «синапси» — біологічний «док», що з’єднує нейрони, — які обчислюють і зберігають інформацію в одному місці. Ці натхненні мозком, або нейроморфні, чіпи скорочують споживання енергії та прискорюють обчислення. Але, як і нинішні мікросхеми, вони залежать від електрики.

Інша ідея полягає в тому, щоб використовувати зовсім інший обчислювальний механізм: світло. «Фотонні обчислення» «привертають усе більшу увагу», пишуть автори. Замість того, щоб використовувати електрику, можна викрасти легкі частинки для живлення ШІ зі швидкістю світла.

Нехай Там буде світло

Порівняно з мікросхемами, що працюють на електриці, світло споживає набагато менше електроенергії та може виконувати кілька обчислень одночасно. Враховуючи ці властивості, вчені створили оптичні нейронні мережі, які замість електрики використовують фотони — частинки світла — для мікросхем ШІ.

Ці мікросхеми можуть працювати двома способами. У першому чіпи розсіюють світлові сигнали в спеціально розроблені канали, які зрештою об’єднують промені для вирішення проблеми. Ці оптичні нейронні мережі, які називаються дифракцією, об’єднують штучні нейрони впритул і мінімізують витрати енергії. Але їх не можна легко змінити, тобто вони можуть працювати лише над однією простою проблемою.

Інша установка залежить від іншої властивості світла, яка називається інтерференцією. Подібно до океанських хвиль, світлові хвилі поєднуються та гасять одна одну. Перебуваючи всередині мікротунелів на чіпі, вони можуть стикатися, посилюючи або гальмуючи один одного — ці схеми перешкод можна використовувати для обчислень. Чіпи, засновані на перешкодах, можна легко переконфігурувати за допомогою пристрою під назвою інтерферометр. Проблема в тому, що вони фізично громіздкі та споживають тонни енергії.

Тоді виникає проблема точності. Навіть у скульптурних каналах, які часто використовують для експериментів з інтерференцією, світло відбивається та розсіюється, що робить обчислення ненадійними. Для однієї оптичної нейронної мережі помилки допустимі. Але з великими оптичними мережами та складнішими проблемами шум зростає експоненціально та стає неприйнятним.

Ось чому нейронні мережі на основі світла не можна легко розширити. Поки що вони могли вирішити лише базові завдання, такі як розпізнавання чисел або голосних.

«Збільшення масштабів існуючих архітектур не пропорційно покращить продуктивність», — написала команда.

Double Trouble

Новий штучний інтелект, Taichi, об’єднав дві особливості, щоб підштовхнути оптичні нейронні мережі до реального використання.

Замість конфігурації однієї нейронної мережі команда використовувала метод чіплетів, який делегував різні частини завдання декільком функціональним блокам. Кожен блок мав свої сильні сторони: один був створений для аналізу дифракції, який міг стискати великі обсяги даних за короткий проміжок часу. Інший блок був вбудований з інтерферометрами для створення перешкод, дозволяючи чіпу легко переналаштовувати між завданнями.

Порівняно з глибоким навчанням, Taichi використав «неглибокий» підхід, згідно з яким завдання розподіляється між кількома мікросхемами.

У стандартних структурах глибокого навчання помилки, як правило, накопичуються з часом. Ця установка усуває проблеми, які виникають через послідовну обробку в зародку. У разі виникнення проблеми Taichi розподіляє робоче навантаження між кількома незалежними кластерами, що полегшує вирішення більших проблем із мінімальною кількістю помилок.

Стратегія окупилася.

Taichi має обчислювальну потужність у 4,256 штучних нейронів із майже 14 мільйонами параметрів, що імітують зв’язки мозку, які кодують навчання та пам’ять. Під час сортування зображень за 1,000 категоріями фотонний чіп мав майже 92 відсотки точності, що можна порівняти з «популярними нині електронними нейронними мережами», – написала команда.

Чіп також показав відмінні результати в інших стандартних тестах розпізнавання зображень ШІ, таких як ідентифікація рукописних символів з різних алфавітів.

В якості останнього тесту команда поставила завдання фотонному штучному інтелекту зрозуміти та відтворити контент у стилі різних виконавців і музикантів. Навчаючись репертуару Баха, штучний інтелект зрештою вивчив висоту звуку та загальний стиль музиканта. Так само зображення Ван Гога чи Едварда Мунка — художника, який створив знамениту картину, крик— введення в штучний інтелект дозволяло створювати зображення в подібному стилі, хоча багато з них виглядали як малюнки малюка.

Оптичним нейронним мережам ще попереду ще багато чого. Але якщо використовувати їх широко, вони можуть стати більш енергоефективною альтернативою поточним системам ШІ. Taichi більш ніж у 100 разів енергоефективніше, ніж попередні ітерації. Але чіпу все ще потрібні лазери для блоків живлення та передачі даних, які важко конденсувати.

Далі команда сподівається об’єднати доступні міні-лазери та інші компоненти в єдиний цілісний фотонний чіп. Водночас вони сподіваються, що Taichi «прискорить розробку більш потужних оптичних рішень», які зрештою можуть призвести до «нової ери» потужного та енергоефективного ШІ.

Зображення Фото: spainter_vfx / Shutterstock.com

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/