Исследователи открывают более гибкий подход к машинному обучению

Исследователи искусственного интеллекта отпраздновали ряд успехов с нейронные сети, компьютерные программы, которые примерно имитируют то, как устроен наш мозг. Но, несмотря на быстрый прогресс, нейронные сети остаются относительно негибкими, с небольшой способностью меняться на лету или приспосабливаться к незнакомым обстоятельствам.

В 2020 году два исследователя из Массачусетского технологического института возглавили группу, которая представила новый вид нейронной сети основанный на реальном интеллекте, но не на нашем собственном. Вместо этого они черпали вдохновение у крошечной аскариды, Caenorhabditis Элеганс, для создания того, что они назвали гибкими нейронными сетями. После прорыва в прошлом году новые сети теперь могут быть достаточно универсальными, чтобы заменить их традиционные аналоги для определенных приложений.

Жидкие нейронные сети предлагают «элегантную и компактную альтернативу», сказал Кен Голдберг, робототехник из Калифорнийского университета в Беркли. Он добавил, что эксперименты уже показывают, что эти сети могут работать быстрее и точнее, чем другие так называемые нейронные сети с непрерывным временем, которые моделируют системы, меняющиеся во времени.

Рамин Хасани и Матиас Лехнер, движущие силы нового дизайна, поняли много лет назад, что C. Элеганс может быть идеальным организмом для выяснения того, как создавать устойчивые нейронные сети, которые могут приспосабливаться к неожиданностям. Миллиметровая донная кормушка является одним из немногих существ с полностью структурированной нервной системой, и она способна к целому ряду продвинутых действий: двигаться, находить пищу, спать, спариваться и даже учиться на собственном опыте. «Он живет в реальном мире, где постоянно происходят изменения, и может хорошо работать практически в любых условиях», — сказал Лехнер.

Уважение к непритязательному червю привело его и Хасани к их новым жидким сетям, где каждый нейрон управляется уравнением, которое предсказывает его поведение во времени. И так же, как нейроны связаны друг с другом, эти уравнения зависят друг от друга. Сеть, по сути, решает весь этот ансамбль связанных уравнений, позволяя ей характеризовать состояние системы в любой момент — в отличие от традиционных нейронных сетей, которые выдают результаты только в определенные моменты времени.

«[Они] могут сказать вам, что происходит, только через одну, две или три секунды», — сказал Лехнер. «Но такая модель с непрерывным временем, как наша, может описать происходящее за 0.53 секунды, 2.14 секунды или любое другое время, которое вы выберете».

Жидкие сети также различаются тем, как они обрабатывают синапсы, связи между искусственными нейронами. Сила этих связей в стандартной нейронной сети может быть выражена одним числом — ее весом. В жидких сетях обмен сигналами между нейронами представляет собой вероятностный процесс, управляемый «нелинейной» функцией, означающей, что ответы на входы не всегда пропорциональны. Удвоение входных данных, например, может привести к гораздо большему или меньшему сдвигу в выпуске. Именно из-за этой встроенной изменчивости сети называют «жидкими». Реакция нейрона может варьироваться в зависимости от того, какие входные данные он получает.

В то время как алгоритмы, лежащие в основе традиционных сетей, устанавливаются во время обучения, когда этим системам подается огромное количество данных для калибровки наилучших значений их весов, гибкие нейронные сети более адаптируются. «Они могут изменять свои основные уравнения на основе входных данных, которые они наблюдают», в частности, изменяя скорость реакции нейронов. Daniela Rus, директор Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института.

Один из первых тестов для демонстрации этой способности включал попытку управлять автономным автомобилем. Обычная нейронная сеть могла анализировать визуальные данные с камеры автомобиля только через фиксированные промежутки времени. Жидкая сеть, состоящая из 19 нейронов и 253 синапсов (что делает ее крошечной по стандартам машинного обучения), может быть гораздо более отзывчивый. «Наша модель может делать выборки чаще, например, когда дорога извилиста», — сказал Рус, соавтор этой и нескольких других статей о ликвидных сетях.

Модель успешно удерживала машину на ходу, но у нее был один недостаток, по словам Лехнера: «Она была очень медленной». Проблема возникла из-за нелинейных уравнений, представляющих синапсы и нейроны — уравнений, которые обычно невозможно решить без повторных вычислений на компьютере, который выполняет несколько итераций, прежде чем в конечном итоге сойдется к решению. Эта работа обычно делегируется специальным программным пакетам, называемым решателями, которые необходимо применять отдельно к каждому синапсу и нейрону.

В бумага в прошлом году, команда обнаружила новую жидкую нейронную сеть, которая обошла это узкое место. Эта сеть основывалась на уравнениях того же типа, но ключевым достижением стало открытие Хасани, что эти уравнения не нужно решать с помощью трудоемких компьютерных вычислений. Вместо этого сеть могла бы функционировать, используя почти точное или «закрытое» решение, которое, в принципе, можно было бы разработать с помощью карандаша и бумаги. Как правило, эти нелинейные уравнения не имеют решений в замкнутой форме, но Хасани наткнулся на приближенное решение, которое было достаточно хорошим для использования.

«Наличие решения в закрытой форме означает, что у вас есть уравнение, для которого вы можете подставить значения его параметров и выполнить основные математические операции, и вы получите ответ», — сказал Рус. «Вы получаете ответ одним выстрелом», вместо того, чтобы позволить компьютеру работать до тех пор, пока он не решит, что он достаточно близок. Это сокращает время и энергию вычислений, значительно ускоряя процесс.

«Их метод заключается в том, чтобы победить конкурентов на несколько порядков без ущерба для точности», — сказал он. Саян Митра, ученый-компьютерщик из Университета Иллинойса, Урбана-Шампейн.

По словам Хасани, их новейшие сети не только более быстрые, но и необычайно стабильные, а это означает, что система может обрабатывать огромные входные данные, не выходя из строя. «Основной вклад здесь заключается в том, что стабильность и другие приятные свойства заложены в этих системах благодаря их чистой структуре», — сказал он. Шрирам Санкаранараянан, ученый-компьютерщик из Колорадского университета в Боулдере. Жидкие сети, кажется, работают в том, что он назвал «золотым пятном: они достаточно сложны, чтобы позволить происходить интересным вещам, но не настолько сложны, чтобы вести к хаотичному поведению».

На данный момент группа MIT тестирует свою последнюю сеть на автономном летательном беспилотнике. Хотя дрон был обучен ориентироваться в лесу, его переместили в городскую среду Кембриджа, чтобы посмотреть, как он справляется с новыми условиями. Лехнер назвал предварительные результаты обнадеживающими.

Помимо усовершенствования текущей модели, команда также работает над улучшением архитектуры своей сети. Следующий шаг, по словам Лехнера, «это выяснить, сколько или как мало нейронов нам действительно нужно для выполнения данной задачи». Группа также хочет разработать оптимальный способ соединения нейронов. В настоящее время каждый нейрон связан со всеми остальными нейронами, но это работает иначе. C. Элеганс, где синаптические связи более избирательны. Благодаря дальнейшим исследованиям проводниковой системы круглых червей они надеются определить, какие нейроны в их системе должны быть соединены вместе.

Помимо таких приложений, как автономное вождение и полеты, жидкие сети хорошо подходят для анализа электрических сетей, финансовых транзакций, погоды и других явлений, которые меняются во времени. Кроме того, по словам Хасани, последнюю версию жидких сетей можно использовать «для моделирования активности мозга в масштабах, которые раньше были невозможны».

Митра особенно заинтригован этой возможностью. «В каком-то смысле это поэтично, показывая, что это исследование может пройти полный круг», — сказал он. «Нейронные сети развиваются до такой степени, что те самые идеи, которые мы почерпнули из природы, вскоре могут помочь нам лучше понять природу».