날씨와 같은 복잡한 시스템을 예측하는 것은 매우 어렵습니다. 그러나 적어도 날씨의 지배 방정식은 하루가 다르게 바뀌지 않습니다. 대조적으로, 특정 복잡한 시스템은 "티핑 포인트" 전환을 겪을 수 있으며, 경고가 거의 없고 잠재적으로 치명적인 결과와 함께 갑자기 동작이 극적으로 그리고 아마도 돌이킬 수 없게 변경될 수 있습니다.
충분히 긴 시간 척도에서 대부분의 실제 시스템은 이와 같습니다. 지구의 기후를 조절하는 데 도움이 되는 해양 컨베이어 벨트의 일부로 따뜻한 적도 물을 북쪽으로 운반하는 북대서양의 걸프 흐름을 생각해 보십시오. 이러한 순환 흐름을 설명하는 방정식은 녹는 빙상에서 유입되는 담수의 유입으로 인해 천천히 변화하고 있습니다. 지금까지는 순환이 점진적으로 느려졌지만 수십 년 후에는 갑자기 중단될 수 있습니다.
"지금 모든 것이 괜찮다고 가정해 보세요." 잉청 라이, 애리조나 주립 대학의 물리학자. "앞으로 안 좋을 거라고 어떻게 장담해요?"
일련의 최근 논문에서 연구원들은 머신 러닝 알고리즘이 이러한 "비정상" 시스템의 전형적인 예에서 티핑 포인트 전환과 팁 후 행동의 특징을 예측할 수 있음을 보여주었습니다. 놀랍도록 강력한 새로운 기술은 언젠가 기후 과학에서 응용 프로그램을 찾을 수 있습니다. 생태, 역학 및 기타 여러 분야.
이 문제에 대한 관심의 급증은 XNUMX년 전 다음과 같이 시작되었습니다. 획기적인 결과 그룹에서 에드워드 오트, 메릴랜드 대학의 선도적인 혼돈 연구원. Ott의 팀은 순환 신경망이라고 하는 일종의 기계 학습 알고리즘이 정지된 혼돈 시스템(티핑 포인트가 없는)의 진화를 놀랍도록 먼 미래까지 예측할 수 있다는 것을 발견했습니다. 네트워크는 혼돈 시스템의 과거 행동에 대한 기록에만 의존했으며 기본 방정식에 대한 정보는 없었습니다.
네트워크의 학습 접근 방식은 음성 인식 및 자연어 처리와 같은 작업을 위해 인공 뉴런의 높은 스택 스택을 통해 데이터를 공급하는 심층 신경망의 접근 방식과 다릅니다. 모든 신경망은 훈련 데이터에 대한 응답으로 뉴런 간의 연결 강도를 조정하여 학습합니다. Ott와 그의 동료들은 인공 뉴런의 단일 레이어에서 몇 개의 연결만 조정하는 저수지 컴퓨팅이라는 계산 비용이 덜 드는 훈련 방법을 사용했습니다. 단순함에도 불구하고 저수지 컴퓨팅은 혼란스러운 진화를 예측하는 작업에 적합한 것으로 보입니다.
2018년 결과가 인상적이었던 것처럼 연구원들은 머신 러닝의 데이터 중심 접근 방식이 비정상 시스템의 티핑 포인트 전환을 예측하거나 이러한 시스템이 이후에 어떻게 동작할지 추론할 수 없을 것이라고 의심했습니다. 신경망은 진화하는 시스템에 대한 과거 데이터를 학습하지만 "미래에 일어나는 일은 다른 규칙에 의해 진화하고 있습니다"라고 Ott는 말했습니다. 그것은 야구 경기의 결과를 예측하려고 애쓰다가 그것이 크리켓 경기로 변형되었다는 것을 발견하는 것과 같습니다.
그러나 지난 XNUMX년 동안 Ott의 그룹과 몇몇 다른 사람들은 저수지 컴퓨팅이 이러한 시스템에서도 예기치 않게 잘 작동한다는 것을 보여주었습니다.
In 2021 논문, Lai와 공동 작업자는 저수지 컴퓨팅 알고리즘에 천천히 변하는 매개변수 값에 액세스할 수 있도록 하여 결국에는 모델 시스템을 전환점으로 보낼 수 있도록 했지만 시스템의 지배 방정식에 대한 다른 정보는 제공하지 않았습니다. 이 상황은 여러 실제 시나리오와 관련이 있습니다. 예를 들어 대기 중 이산화탄소 농도가 어떻게 증가하는지 알고 있지만 이 변수가 기후에 영향을 미치는 모든 방법을 알지는 못합니다. 팀은 과거 데이터로 훈련된 신경망이 시스템이 결국 불안정해지는 값을 예측할 수 있다는 것을 발견했습니다. Ott의 그룹이 게시되었습니다. 관련 결과 작년에.
안에 새 용지, XNUMX월에 온라인에 게시되었으며 현재 피어 리뷰를 받고 있는 Ott와 그의 대학원생 드루빗 파텔 시스템의 동작만 보고 티핑 포인트 전환을 주도하는 기본 매개변수에 대해서는 아무것도 모르는 신경망의 예측 능력을 탐구했습니다. 그들은 숨겨진 매개변수가 네트워크에 알려지지 않은 채 표류하는 동안 시뮬레이션된 시스템에 기록된 신경망 데이터를 제공했습니다. 놀랍게도, 많은 경우 알고리즘은 티핑의 시작을 예측하고 티핑 포인트 이후 행동의 확률 분포를 제공할 수 있습니다.
놀랍게도 네트워크는 잡음이 많은 데이터에 대해 훈련할 때 가장 잘 수행되었습니다. 노이즈는 실제 시스템에서 도처에 있지만 일반적으로 예측을 방해합니다. 여기에서는 알고리즘을 시스템의 가능한 동작의 더 넓은 범위에 노출함으로써 분명히 도움이 되었습니다. 이 반직관적인 결과를 이용하기 위해 Patel과 Ott는 신경망이 시스템의 평균 동작뿐만 아니라 노이즈도 인식할 수 있도록 저수지 컴퓨팅 절차를 수정했습니다. "그것은 외삽을 시도하는 모든 접근 방식에 중요할 것"이라고 비정상 시스템의 동작이 말했습니다. 마이클 그레이엄, 매디슨 위스콘신 대학의 유체 역학.
Patel과 Ott는 행동의 특히 급격한 변화를 나타내는 일종의 전환점도 고려했습니다.
시스템의 상태가 가능한 모든 상태의 추상 공간에서 움직이는 점으로 표시된다고 가정합니다. 규칙적인 주기를 거치는 시스템은 공간에서 반복되는 궤도를 추적하는 반면, 혼란스러운 진화는 얽힌 혼란처럼 보일 것입니다. 티핑 포인트로 인해 궤도가 통제 불능 상태로 소용돌이치지만 플롯의 동일한 부분에 남아 있거나 초기에 혼란스러운 움직임이 더 큰 영역으로 유출될 수 있습니다. 이러한 경우 신경망은 상태 공간의 관련 영역에 대한 과거 탐색에서 인코딩된 시스템의 운명에 대한 힌트를 찾을 수 있습니다.
더 어려운 것은 한 시스템이 갑자기 한 지역에서 추방되고 그 이후의 진화가 먼 지역에서 전개되는 전환입니다. Patel은 "역학이 변할 뿐만 아니라 지금까지 한 번도 본 적 없는 영역으로 방황하고 있습니다."라고 설명했습니다. 이러한 전환은 일반적으로 "히스테리시스"입니다. 즉, 전환을 유발한 천천히 증가하는 매개변수가 다시 감소하더라도 쉽게 되돌릴 수 없습니다. 이러한 종류의 히스테리시스는 일반적입니다. 예를 들어 생태계에서 너무 많은 최상위 포식자를 죽이면 변경된 역학으로 인해 먹이 개체군이 갑자기 폭발할 수 있습니다. 포식자를 다시 추가하면 먹이 개체수가 계속 증가합니다.
히스테리시스 전환을 나타내는 시스템의 데이터에 대해 교육을 받았을 때 Patel과 Ott의 저수지 컴퓨팅 알고리즘은 임박한 티핑 포인트를 예측할 수 있었지만 타이밍이 잘못되어 시스템의 후속 동작을 예측하지 못했습니다. 그런 다음 연구원들은 기계 학습과 시스템의 기존 지식 기반 모델링을 결합한 하이브리드 접근 방식을 시도했습니다. 그들은 하이브리드 알고리즘이 부분의 합을 초과한다는 것을 발견했습니다. 지식 기반 모델이 잘못된 매개변수 값을 가지고 있어 자체적으로 실패하더라도 미래 행동의 통계적 속성을 예측할 수 있습니다.
임순회, 스톡홀름에 있는 Nordic Institute for Theoretical Physics의 기계 학습 연구원은 비정상 시스템의 단기 동작을 연구했으며 최근 연구가 저수지 컴퓨팅 성능과 ~의 깊은 학습 알고리즘. 저수지 컴퓨팅이 더 많은 자원 집약적 방법에 대항할 수 있다면 생태계 및 지구의 기후와 같은 크고 복잡한 시스템의 전환점을 연구할 가능성이 있습니다.
Ott는 “이 분야에서 해야 할 일이 많습니다. “정말 활짝 열려있습니다.”
