Передбачити такі складні системи, як погода, як відомо, важко. Але принаймні рівняння погоди не змінюються з дня на день. Навпаки, певні складні системи можуть зазнавати переходів «переломної точки», раптово змінюючи свою поведінку різко і, можливо, незворотно, з невеликим попередженням і потенційно катастрофічними наслідками.
У досить тривалих часових масштабах більшість систем реального світу є такими. Розглянемо Гольфстрім у Північній Атлантиці, який транспортує теплу екваторіальну воду на північ як частину океанічного конвеєра, який допомагає регулювати клімат Землі. Рівняння, які описують ці циркулюючі течії, повільно змінюються через приплив прісної води від танення крижаних покривів. Поки що обіг поступово сповільнювався, але через десятиліття він може раптово зупинитися.
«Припустимо, що тепер усе гаразд», — сказав Ін-Чен Лай, фізик в Університеті штату Арізона. «Як зрозуміти, що в майбутньому все буде не так?»
У серії останніх робіт дослідники показали, що алгоритми машинного навчання можуть передбачати переломні переходи в архетипних прикладах таких «нестаціонарних» систем, а також особливості їхньої поведінки після того, як вони перекинулися. Напрочуд потужні нові методи одного разу можуть знайти застосування в науці про клімат, екологія, епідеміологія та багато інших галузей.
Сплеск інтересу до проблеми почався чотири роки тому с новаторські результати з групи Едвард Отт, провідний дослідник хаосу в Університеті Меріленда. Команда Отта виявила, що тип алгоритму машинного навчання під назвою рекурентна нейронна мережа може передбачити еволюцію стаціонарних хаотичних систем (у яких немає переломних точок) у приголомшливо далекому майбутньому. Мережа покладалася лише на записи минулої поведінки хаотичної системи — у неї не було інформації про базові рівняння.
Підхід до навчання цієї мережі відрізнявся від підходу глибоких нейронних мереж, які передають дані через високий стек шарів штучних нейронів для таких завдань, як розпізнавання мовлення та обробка природної мови. Усі нейронні мережі навчаються, регулюючи силу зв’язків між їхніми нейронами у відповідь на навчальні дані. Отт і його співробітники використовували менш дорогий метод навчання, який називається резервуарним обчисленням, який регулює лише кілька з’єднань в одному шарі штучних нейронів. Незважаючи на свою простоту, обчислення пластів, здається, підходить для завдання прогнозування хаотичної еволюції.
Незважаючи на вражаючі результати 2018 року, дослідники підозрювали, що керований даними підхід машинного навчання не зможе передбачити переломні переходи в нестаціонарних системах або зробити висновок, як ці системи поводитимуться після цього. Нейронна мережа тренується на минулих даних про систему, що розвивається, але «те, що відбувається в майбутньому, розвивається за іншими правилами», — сказав Отт. Це все одно, що намагатися передбачити результат бейсбольної гри та виявити, що вона перетворилася на матч з крикету.
І все ж за останні два роки група Отта та кілька інших показали, що резервуарні обчислення працюють несподівано добре і для цих систем.
In папір 2021, Лай і його співробітники надали своєму алгоритму обчислення резервуару доступ до повільно дрейфуючих значень параметра, який врешті-решт перешле модельну систему на переломну точку, але вони не надали іншої інформації про керівні рівняння системи. Ця ситуація стосується низки реальних сценаріїв: ми знаємо, наприклад, як концентрація вуглекислого газу в атмосфері зростає, але ми не знаємо, як ця змінна впливатиме на клімат. Команда виявила, що нейронна мережа, навчена на минулих даних, може передбачити значення, при якому система зрештою стане нестабільною. Група Отта опублікована відповідні результати минулого року.
В новий папір, опублікований в Інтернеті в липні і зараз проходить рецензію, Отт і його аспірант Друвіт Пател досліджував прогностичну здатність нейронних мереж, які бачать лише поведінку системи і нічого не знають про основний параметр, відповідальний за переломний перехід. Вони передали свої дані нейронної мережі, записані в змодельовану систему, поки прихований параметр дрейфував, не знаючи мережі. Примітно, що в багатьох випадках алгоритм міг як передбачити початок перелому, так і надати розподіл ймовірностей можливої поведінки після моменту перелому.
Дивно, але мережа працювала найкраще, коли навчалася на шумових даних. Шум всюдисущий у системах реального світу, але зазвичай він перешкоджає прогнозуванню. Тут це допомогло, мабуть, піддавши алгоритму ширший діапазон можливої поведінки системи. Щоб скористатися перевагами цього суперечливого результату, Патель і Отт налаштували свою процедуру обчислення резервуару, щоб дозволити нейронній мережі розпізнавати шум, а також середню поведінку системи. «Це буде важливо для будь-якого підходу, який намагається екстраполювати» поведінку нестаціонарних систем, сказав Майкл Грем, динамік рідини в Університеті Вісконсіна, Медісон.
Патель і Отт також розглянули клас переломних моментів, які відзначають особливо різкі зміни в поведінці.
Припустимо, що стан системи зображено як точка, що рухається в абстрактному просторі всіх її можливих станів. Системи, які проходять регулярні цикли, відстежували б орбіту, що повторюється, у космосі, тоді як хаотична еволюція виглядала б як заплутаний безлад. Переломний момент може спричинити вихід орбіти з-під контролю, але залишитися в тій самій частині сюжету, або це може призвести до розповсюдження спочатку хаотичного руху на більшу область. У цих випадках нейронна мережа може знайти натяки на долю системи, закодовані в її минулому дослідженні відповідних регіонів простору станів.
Більш складними є переходи, під час яких система раптово виганяється з одного регіону, а її подальша еволюція розгортається у віддаленому регіоні. «Змінюється не тільки динаміка, але й тепер ви блукаєте на території, яку ніколи не бачили», — пояснив Патель. Такі переходи, як правило, є «гістеретичними», тобто їх нелегко повернути назад — навіть якщо, скажімо, повільно зростаючий параметр, який спричинив перехід, знову знижується. Такий тип гістерезису є поширеним: наприклад, убити забагато головних хижаків в екосистемі, і змінена динаміка може призвести до раптового вибуху популяції здобичі; знову додайте хижака, і популяція жертви залишиться високою.
Під час навчання на даних із системи, що демонструє гістерезисний перехід, алгоритм резервуарних обчислень Пателя та Отта зміг передбачити неминучу переломну точку, але він неправильно вказав час і не зміг передбачити подальшу поведінку системи. Потім дослідники спробували гібридний підхід, який поєднує машинне навчання та звичайне моделювання системи на основі знань. Вони виявили, що гібридний алгоритм перевищує суму своїх частин: він може передбачити статистичні властивості майбутньої поведінки, навіть якщо модель, заснована на знаннях, мала неправильні значення параметрів і, отже, вийшла з ладу сама по собі.
Незабаром Хо Лім, дослідник машинного навчання в Північному інституті теоретичної фізики в Стокгольмі, який вивчав короткострокову поведінку нестаціонарних систем, сподівається, що нещодавня робота «послужить каталізатором для подальших досліджень», включаючи порівняння продуктивності обчислень пластів і що з глибоке навчання алгоритми. Якщо обчислення резервуарів зможе протистояти більш ресурсомістким методам, це буде хорошим передвісником для перспективи вивчення переломних точок у великих, складних системах, таких як екосистеми та клімат Землі.
«У цій сфері потрібно багато зробити, — сказав Отт. «Це дійсно широко відкрите».
