Дослідники відкривають більш гнучкий підхід до машинного навчання

Дослідники штучного інтелекту відзначили низку успіхів нейронні мережі, комп’ютерні програми, які приблизно імітують влаштований наш мозок. Але, незважаючи на швидкий прогрес, нейронні мережі залишаються відносно негнучкими, з невеликою здатністю змінюватися на льоту або пристосовуватися до незнайомих обставин.

У 2020 році двоє дослідників з Массачусетського технологічного інституту очолили групу, яка представила новий вид нейронної мережі базується на даних реального життя, але не на наших власних. Натомість вони черпали натхнення з крихітного аскариди, Caenorhabditis Елеганс, щоб створити те, що вони назвали рідкими нейронними мережами. Після прориву минулого року нові мережі тепер можуть бути достатньо універсальними, щоб витіснити свої традиційні аналоги для певних програм.

Рідкі нейронні мережі пропонують «елегантну та компактну альтернативу». Кен Голдберг, робототехнік з Каліфорнійського університету в Берклі. Він додав, що експерименти вже показують, що ці мережі можуть працювати швидше та точніше, ніж інші так звані нейронні мережі безперервного часу, які моделюють системи, які змінюються з часом.

Рамін Хасані та Матіас Лехнер, рушійні сили нового дизайну, зрозуміли це багато років тому C. elegans може бути ідеальним організмом для того, щоб з’ясувати, як створити стійкі нейронні мережі, здатні сприймати несподіванки. Донна годівниця завдовжки міліметр є однією з небагатьох істот із повністю розробленою нервовою системою, і вона здатна до ряду прогресивних форм поведінки: рухатися, знаходити їжу, спати, спаровуватися та навіть вчитися на досвіді. «Він живе в реальному світі, де постійно відбуваються зміни, і може працювати добре майже за будь-яких умов», — сказав Лехнер.

Повага до скромного хробака привела його та Хасані до нових рідких мереж, де кожен нейрон керується рівнянням, яке передбачає його поведінку з часом. І так само, як нейрони пов’язані один з одним, ці рівняння залежать одне від одного. Мережа, по суті, розв’язує весь цей ансамбль пов’язаних рівнянь, дозволяючи їй характеризувати стан системи в будь-який момент часу — відхід від традиційних нейронних мереж, які дають результати лише в певні моменти часу.

«[Вони] можуть сказати вам, що відбувається, лише за одну, дві чи три секунди», – сказав Лехнер. «Але така модель безперервного часу, як наша, може описати те, що відбувається через 0.53 секунди або 2.14 секунди або будь-який інший час, який ви виберете».

Рідкі мережі також відрізняються тим, як вони обробляють синапси, зв’язки між штучними нейронами. Міцність цих зв’язків у стандартній нейронній мережі можна виразити одним числом — її вагою. У рідких мережах обмін сигналами між нейронами є ймовірнісним процесом, керованим «нелінійною» функцією, що означає, що відповіді на вхідні дані не завжди пропорційні. Подвоєння вхідних даних, наприклад, може призвести до набагато більшого або меншого зрушення у виході. Ця вбудована мінливість є причиною того, що мережі називають «рідкими». Те, як нейрон реагує, може змінюватися залежно від вхідних даних, які він отримує.

У той час як алгоритми, які є основою традиційних мереж, встановлюються під час навчання, коли в ці системи надходять масиви даних для калібрування найкращих значень для їх ваг, рідкі нейронні мережі є більш адаптивними. «Вони можуть змінювати свої базові рівняння на основі вхідних даних, які вони спостерігають», зокрема змінюючи швидкість реакції нейронів, сказав Даніела рос, директор лабораторії комп’ютерних наук і штучного інтелекту MIT.

Один з перших тестів, щоб продемонструвати цю здатність, включав спробу керувати автономним автомобілем. Звичайна нейронна мережа могла аналізувати лише візуальні дані з камери автомобіля через фіксовані проміжки часу. Рідка мережа, що складається з 19 нейронів і 253 синапсів (що робить її мізерною за стандартами машинного навчання), може бути набагато чуйніше. «Наша модель може проводити вибірку частіше, наприклад, коли дорога звивиста», — сказав Рус, співавтор цієї та кількох інших робіт про рідинні мережі.

Модель успішно тримала машину на трасі, але мала один недолік, сказав Лехнер: «Вона була дуже повільною». Проблема виникла через нелінійні рівняння, що представляють синапси та нейрони — рівняння, які зазвичай неможливо розв’язати без повторних обчислень на комп’ютері, який проходить через кілька ітерацій, перш ніж врешті-решт прийти до рішення. Ця робота зазвичай делегується спеціальним програмним пакетам, які називаються розв’язувачами, які потрібно застосовувати окремо до кожного синапсу та нейрона.

В паперу минулого року, команда виявила нову рідку нейронну мережу, яка подолала це вузьке місце. Ця мережа спиралася на той самий тип рівнянь, але ключовим прогресом стало відкриття Хасані про те, що ці рівняння не потрібно розв’язувати за допомогою важких комп’ютерних обчислень. Натомість мережа могла б функціонувати, використовуючи майже точне або «закрите» рішення, яке, в принципі, можна було б розробити за допомогою олівця та паперу. Як правило, ці нелінійні рівняння не мають замкнутих розв’язків, але Хасані знайшов наближене розв’язання, яке було досить хорошим для використання.

«Рішення закритої форми означає, що у вас є рівняння, для якого ви можете підключити значення його параметрів і виконати базові обчислення, і ви отримаєте відповідь», — сказав Рус. «Ви отримуєте відповідь одним ударом», замість того, щоб дозволяти комп’ютеру працювати, поки не вирішить, що це достатньо близько. Це скорочує обчислювальний час і енергію, значно прискорюючи процес.

«Їхній метод перевершує конкурентів на кілька порядків без шкоди для точності», — сказав Саян Мітра, фахівець з інформатики в Університеті Іллінойсу, Урбана-Шампейн.

За словами Гасані, їх новітні мережі не тільки швидші, але й надзвичайно стабільні, тобто система може обробляти величезні вхідні дані без збоїв. «Основний внесок тут полягає в тому, що стабільність та інші приємні властивості закладені в цих системах через їхню структуру», — сказав Шрірам Санкаранараянан, комп’ютерний науковець в Університеті Колорадо, Боулдер. Рідкі мережі, схоже, працюють у тому, що він назвав «солодкою точкою»: вони досить складні, щоб дозволити відбуватися цікаві речі, але не настільки складні, щоб призвести до хаотичної поведінки».

На даний момент група Массачусетського технологічного інституту тестує свою останню мережу на автономному дроні. Хоча дрон навчили орієнтуватися в лісі, вони перемістили його в міське середовище Кембриджа, щоб побачити, як він справляється з новими умовами. Лехнер назвав попередні результати обнадійливими.

Окрім вдосконалення поточної моделі, команда також працює над покращенням архітектури своєї мережі. Наступним кроком, сказав Лехнер, є «з'ясувати, скільки чи мало нейронів нам насправді потрібно для виконання певного завдання». Група також хоче розробити оптимальний спосіб з’єднання нейронів. Зараз кожен нейрон пов’язаний з кожним іншим нейроном, але це не так C. elegans, де синаптичні зв’язки більш вибіркові. Завдяки подальшим дослідженням системи проводів аскариди вони сподіваються визначити, які нейрони в їхній системі мають бути з’єднані разом.

Окрім таких програм, як автономне водіння та політ, рідинні мережі добре підходять для аналізу електричних мереж, фінансових операцій, погоди та інших явищ, які змінюються з часом. Крім того, за словами Хасані, остання версія рідинних мереж може бути використана «для моделювання активності мозку в масштабах, які раніше неможливо було реалізувати».

Мітра особливо заінтригований цією можливістю. «У певному сенсі це трохи поетично, показуючи, що це дослідження, можливо, завершується», — сказав він. «Нейронні мережі розвиваються настільки, що ті самі ідеї, які ми почерпнули з природи, незабаром можуть допомогти нам краще зрозуміти природу».