חיזוי מערכות מורכבות כמו מזג האוויר הוא מפורסם קשה. אבל לפחות המשוואות השולטות במזג האוויר אינן משתנות מיום ליום. לעומת זאת, מערכות מורכבות מסוימות יכולות לעבור מעברים של "נקודת מפנה", ולפתע משנות את התנהגותן באופן דרמטי ואולי בלתי הפיך, עם מעט אזהרה והשלכות הרות פוטנציאל.
בטווחי זמן ארוכים מספיק, רוב המערכות בעולם האמיתי הן כאלה. קחו בחשבון את זרם הגולף בצפון האוקיינוס האטלנטי, המעביר מים משווניים חמים צפונה כחלק ממסוע אוקיאני המסייע לווסת את האקלים של כדור הארץ. המשוואות המתארות את הזרמים המסתובבים הללו משתנות באיטיות עקב זרימת מים מתוקים מגליונות קרח נמסים. עד כה מחזור הדם הואט בהדרגה, אך בעוד עשרות שנים היא עשויה להיפסק בפתאומיות.
"נניח שהכל בסדר עכשיו," אמר יינג-צ'נג לאי, פיזיקאי באוניברסיטת אריזונה סטייט. "איך אתה יודע שזה לא יהיה בסדר בעתיד?"
בסדרה של מאמרים עדכניים, חוקרים הראו שאלגוריתמים של למידת מכונה יכולים לחזות מעברי נקודת מפנה בדוגמאות ארכיטיפיות של מערכות "לא נייחות" כאלה, כמו גם תכונות של התנהגותן לאחר שהן הפכו. הטכניקות החדשות והעוצמתיות להפליא יכולות למצוא יום אחד יישומים במדעי האקלים, אקולוגיה, אפידמיולוגיה ותחומים רבים אחרים.
גל של עניין בבעיה החל לפני ארבע שנים עם תוצאות פורצות דרך מקבוצת אדוארד אוט, חוקר כאוס מוביל באוניברסיטת מרילנד. הצוות של Ott מצא שסוג של אלגוריתם למידת מכונה הנקרא רשת עצבית חוזרת יכול לחזות את האבולוציה של מערכות כאוטיות נייחות (שאין להן נקודות מפנה) הרחק אל העתיד בצורה מדהימה. הרשת הסתמכה רק על תיעוד של התנהגות המערכת הכאוטית בעבר - לא היה לה מידע על המשוואות הבסיסיות.
גישת הלמידה של הרשת הייתה שונה מזו של רשתות עצביות עמוקות, המזינות נתונים דרך ערימה גבוהה של שכבות של נוירונים מלאכותיים עבור משימות כמו זיהוי דיבור ועיבוד שפה טבעית. כל הרשתות העצביות לומדות על ידי התאמת עוצמת הקשרים בין הנוירונים שלהן בתגובה לנתוני אימון. אוט ושותפיו השתמשו בשיטת אימון פחות יקרה מבחינה חישובית בשם מחשוב מאגר, אשר מתאימה רק כמה חיבורים בשכבה אחת של נוירונים מלאכותיים. למרות פשטותו, נראה שמחשוב המאגר מתאים למשימה של חיזוי אבולוציה כאוטית.
ככל שהתוצאות של 2018 היו מרשימות, חוקרים חשדו שהגישה מונעת הנתונים של למידת מכונה לא תוכל לחזות מעברי נקודת מפנה במערכות לא נייחות או להסיק כיצד יתנהגו מערכות אלו לאחר מכן. רשת עצבית מתאמנת על נתוני עבר על מערכת מתפתחת, אבל "מה שקורה בעתיד מתפתח לפי כללים שונים", אמר אוט. זה כמו לנסות לחזות את התוצאה של משחק בייסבול רק כדי לגלות שזה הפך למשחק קריקט.
ובכל זאת, בשנתיים האחרונות, הקבוצה של אוט ועוד כמה הראו שמחשוב מאגרים עובד בצורה בלתי צפויה גם עבור מערכות אלו.
In נייר 2021, Lai ומשתפי הפעולה העניקו לאלגוריתם המחשוב של המאגר שלהם גישה לערך הנסחף באיטיות של פרמטר שבסופו של דבר ישלח מערכת מודל על נקודת מפנה - אך הם לא סיפקו מידע אחר על המשוואות השולטות במערכת. מצב זה נוגע למספר תרחישים בעולם האמיתי: אנו יודעים כיצד ריכוז הפחמן הדו-חמצני באטמוספרה עולה, למשל, אך איננו יודעים את כל הדרכים שבהן משתנה זה ישפיע על האקלים. הצוות מצא שרשת עצבית מאומנת על נתוני עבר יכולה לחזות את הערך שבו המערכת תהפוך בסופו של דבר לבלתי יציבה. הקבוצה של אוט פורסמה תוצאות קשורות שנה שעברה.
ב מאמר חדש, שפורסם באינטרנט ביולי וכעת עובר ביקורת עמיתים, Ott ותלמידו לתואר שני דרובית פאטל חקר את כוח הניבוי של רשתות עצביות שרואות רק התנהגות של מערכת ואינן יודעות דבר על הפרמטר הבסיסי שאחראי להנעת מעבר של נקודת מפנה. הם הזינו את נתוני הרשת העצבית שלהם שתועדו במערכת מדומה בזמן שהפרמטר הנסתר נסחף, ללא ידיעת הרשת. למרבה הפלא, במקרים רבים האלגוריתם יכול גם לחזות את תחילת הטיפ וגם לספק התפלגות הסתברות של התנהגויות אפשריות שלאחר נקודת הטיפה.
באופן מפתיע, הרשת תפקדה הכי טוב כשהיא מאומנת על נתונים רועשים. רעש נמצא בכל מקום במערכות בעולם האמיתי, אבל בדרך כלל הוא מעכב חיזוי. כאן זה עזר, ככל הנראה על ידי חשיפת האלגוריתם למגוון רחב יותר של התנהגות אפשרית של המערכת. כדי לנצל את התוצאה המנוגדת לאינטואיציה הזו, פאטל ואוט שינו את הליך מחשוב המאגר שלהם כדי לאפשר לרשת העצבית לזהות רעש כמו גם את ההתנהגות הממוצעת של המערכת. "זה יהיה חשוב עבור כל גישה שמנסה לחדד" את ההתנהגות של מערכות לא נייחות, אמר מייקל גרהם, דינמיקאי נוזלי באוניברסיטת ויסקונסין, מדיסון.
פאטל ואוט נחשבו גם למעמד של נקודות מפנה שמסמנות שינוי בולט במיוחד בהתנהגות.
נניח שמצבה של מערכת משורטט כנקודה הנעה במרחב מופשט של כל המצבים האפשריים שלה. מערכות שעוברות מחזורים קבועים יתחקו אחר מסלול חוזר בחלל, בעוד שהאבולוציה הכאוטית תיראה כמו בלגן סבוך. נקודת מפנה עלולה לגרום למסלול לצאת משליטה אך להישאר באותו חלק של העלילה, או שהיא עלולה לגרום לתנועה כאוטית בתחילה להישפך החוצה לאזור גדול יותר. במקרים אלה רשת עצבית עשויה למצוא רמזים לגורל המערכת המקודדים בחקר העבר שלה של אזורים רלוונטיים במרחב המדינה.
מאתגרים יותר הם מעברים שבהם מערכת גורשת לפתע מאזור אחד וההתפתחות המאוחרת שלה מתפתחת באזור מרוחק. "לא רק שהדינמיקה משתנה, אלא שעכשיו אתה נודד לתוך טריטוריה שמעולם לא ראית", הסביר פאטל. מעברים כאלה הם בדרך כלל "היסטריים", כלומר הם לא ניתנים להיפוך בקלות - גם אם, נניח, פרמטר שגדל לאט שגרם למעבר נדחק שוב למטה. סוג זה של היסטרזיס נפוץ: הרוג טורף מוביל אחד יותר מדי במערכת אקולוגית, למשל, והדינמיקה המשתנה עלולה לגרום לאוכלוסיית הטרף להתפוצץ לפתע; הוסף שוב טורף ואוכלוסיית הטרף נשארת מוגבהת.
כשאומן על נתונים ממערכת שמציגה מעבר היסטרי, אלגוריתם מחשוב המאגר של Patel ו-Ot הצליח לחזות נקודת מפנה קרובה, אבל הוא טעה בתזמון ולא הצליח לחזות את התנהגות המערכת שלאחר מכן. לאחר מכן ניסו החוקרים גישה היברידית המשלבת למידת מכונה ומידול מבוסס ידע קונבנציונלי של המערכת. הם מצאו שהאלגוריתם ההיברידי חרג מסכום חלקיו: הוא יכול לחזות מאפיינים סטטיסטיים של התנהגות עתידית גם כאשר למודל מבוסס הידע היו ערכי פרמטרים שגויים ולכן נכשל בעצמו.
בקרוב הו לים, חוקר למידת מכונה במכון הנורדי לפיזיקה תיאורטית בשטוקהולם, שחקר את ההתנהגות לטווח קצר של מערכות לא נייחות, מקווה שהעבודה האחרונה "תשמש כזרז למחקרים נוספים", כולל השוואות בין הביצועים של מחשוב מאגר זה של למידה עמוקה אלגוריתמים. אם מחשוב מאגרים יכול להחזיק את עצמו מול שיטות עתירות משאבים יותר, זה יבשר טובות על הסיכוי לחקור נקודות מפנה במערכות גדולות ומורכבות כמו מערכות אקולוגיות ואקלים כדור הארץ.
"יש הרבה מה לעשות בתחום הזה," אמר אוט. "זה ממש פתוח לרווחה."
