Предсказывать сложные системы, такие как погода, очень сложно. Но, по крайней мере, управляющие уравнения погоды не меняются изо дня в день. Напротив, некоторые сложные системы могут подвергаться переходам в «переломный момент», внезапно меняя свое поведение резко и, возможно, необратимо, с небольшим предупреждением и потенциально катастрофическими последствиями.
В достаточно длительных временных масштабах большинство систем реального мира таковы. Возьмем Гольфстрим в Северной Атлантике, который переносит теплую экваториальную воду на север как часть океанического конвейера, помогающего регулировать климат Земли. Уравнения, описывающие эти циркулирующие течения, медленно меняются из-за притока пресной воды от тающих ледяных щитов. До сих пор циркуляция постепенно замедлялась, но через десятилетия она может резко остановиться.
«Предположим, сейчас все в порядке», — сказал Ин-Чэн Лай, физик из Университета штата Аризона. «Как понять, что в будущем все будет не так?»
В серии недавних работ исследователи показали, что алгоритмы машинного обучения могут предсказывать переходы критической точки в архетипических примерах таких «нестационарных» систем, а также особенности их поведения после того, как они достигли критической точки. Удивительно мощные новые методы могут однажды найти применение в науке о климате, экологияэпидемиологии и многих других областях.
Всплеск интереса к проблеме начался четыре года назад с новаторские результаты из группы Эдвард Отт, ведущий исследователь хаоса в Мэрилендском университете. Команда Отта обнаружила, что тип алгоритма машинного обучения, называемый рекуррентной нейронной сетью, может предсказывать эволюцию стационарных хаотических систем (у которых нет переломных моментов) в поразительно далеком будущем. Сеть полагалась только на записи прошлого поведения хаотической системы — у нее не было информации об основных уравнениях.
Подход сети к обучению отличался от подхода глубоких нейронных сетей, которые передают данные через высокий стек слоев искусственных нейронов для таких задач, как распознавание речи и обработка естественного языка. Все нейронные сети учатся, регулируя силу связей между своими нейронами в ответ на обучающие данные. Отт и его сотрудники использовали менее затратный в вычислительном отношении метод обучения, называемый резервуарными вычислениями, который настраивает только несколько соединений в одном слое искусственных нейронов. Несмотря на свою простоту, резервуарные вычисления подходят для задачи предсказания хаотической эволюции.
Какими бы впечатляющими ни были результаты 2018 года, исследователи подозревали, что подход машинного обучения, основанный на данных, не сможет предсказать критические переходы в нестационарных системах или сделать вывод о том, как эти системы будут вести себя впоследствии. Нейронная сеть обучается на прошлых данных об развивающейся системе, но «то, что происходит в будущем, развивается по другим правилам», — сказал Отт. Это все равно, что пытаться предсказать исход бейсбольного матча, а потом обнаружить, что он превратился в матч по крикету.
И все же за последние два года группа Отта и несколько других показали, что резервуарные вычисления неожиданно хорошо работают и для этих систем.
In бумага 2021, Лай и его сотрудники дали своему алгоритму расчета резервуара доступ к медленно дрейфующему значению параметра, который в конечном итоге привел бы модельную систему к критической точке, но они не предоставили никакой другой информации об основных уравнениях системы. Эта ситуация относится к ряду реальных сценариев: мы знаем, например, как повышается концентрация углекислого газа в атмосфере, но мы не знаем всех способов, которыми эта переменная повлияет на климат. Команда обнаружила, что нейронная сеть, обученная на прошлых данных, может предсказать значение, при котором система в конечном итоге станет нестабильной. Группа Отта опубликовала связанные результаты в прошлом году.
В Новый документ, размещенный в сети в июле и сейчас проходящий рецензирование, Отт и его аспирант Друвит Патель исследовали предсказательную силу нейронных сетей, которые видят только поведение системы и ничего не знают о базовом параметре, ответственном за управление переломным моментом перехода. Они передали данные своей нейронной сети, записанные в смоделированной системе, в то время как скрытый параметр дрейфовал без ведома сети. Примечательно, что во многих случаях алгоритм может как предсказывать начало переломного момента, так и обеспечивать распределение вероятностей возможного поведения после переломного момента.
Удивительно, но сеть показала лучшие результаты при обучении на зашумленных данных. Шум вездесущ в реальных системах, но обычно он мешает предсказанию. Здесь это помогло, по-видимому, за счет того, что алгоритм подвергся более широкому диапазону возможного поведения системы. Чтобы воспользоваться этим нелогичным результатом, Патель и Отт изменили свою процедуру расчета резервуара, чтобы позволить нейронной сети распознавать шум, а также среднее поведение системы. «Это будет важно для любого подхода, который пытается экстраполировать» поведение нестационарных систем, сказал Майкл Грэм, специалист по гидродинамике из Висконсинского университета в Мэдисоне.
Патель и Отт также рассмотрели класс переломных моментов, которые отмечают особенно резкое изменение в поведении.
Предположим, что состояние системы изображено как точка, перемещающаяся в абстрактном пространстве всех ее возможных состояний. Системы, совершающие регулярные циклы, будут следовать по повторяющейся орбите в пространстве, а хаотическая эволюция будет выглядеть как запутанный беспорядок. Переломный момент может привести к тому, что орбита выйдет из-под контроля, но останется в той же части графика, или может привести к тому, что первоначально хаотичное движение распространится на более крупную область. В этих случаях нейронная сеть может найти подсказки о судьбе системы, закодированные в ее прошлом исследовании соответствующих областей пространства состояний.
Более сложными являются переходы, при которых система внезапно вытесняется из одной области, а ее дальнейшая эволюция разворачивается в отдаленной области. «Меняется не только динамика, но теперь вы забредаете на территорию, которую никогда раньше не видели», — объяснил Патель. Такие переходы обычно являются «гистерезисными», что означает, что их нелегко обратить вспять — даже если, скажем, медленно увеличивающийся параметр, вызвавший переход, снова уменьшается. Такой вид гистерезиса является обычным явлением: например, убейте слишком много высших хищников в экосистеме, и измененная динамика может привести к внезапному взрыву популяции добычи; снова добавьте хищника, и популяция жертв останется высокой.
При обучении на данных из системы, демонстрирующей гистерезисный переход, алгоритм Пателя и Отта для резервуарных вычислений смог предсказать неизбежный переломный момент, но неправильно рассчитал время и не смог предсказать последующее поведение системы. Затем исследователи попробовали гибридный подход, сочетающий машинное обучение и традиционное моделирование системы на основе знаний. Они обнаружили, что гибридный алгоритм превосходил сумму своих частей: он мог предсказывать статистические свойства будущего поведения, даже когда модель, основанная на знаниях, имела неверные значения параметров и, следовательно, сама по себе не срабатывала.
Сун Хо Лим, исследователь машинного обучения в Скандинавском институте теоретической физики в Стокгольме, который изучал краткосрочное поведение нестационарных систем, надеется, что недавняя работа «послужит катализатором для дальнейших исследований», включая сравнение производительности резервуарных вычислений и что из глубокое обучение алгоритмы. Если резервуарные вычисления смогут противостоять более ресурсоемким методам, это станет хорошим предзнаменованием для изучения переломных моментов в больших сложных системах, таких как экосистемы и климат Земли.
«В этой области предстоит многое сделать, — сказал Отт. «Он действительно широко открыт».
