בינה מלאכותית חדשה "בהשראת הפיזיקה" עולה על הציפיות | מגזין קוונטה

הכלים של בינה מלאכותית - רשתות עצביות בפרט - היו טובים לפיזיקאים. במשך שנים, טכנולוגיה זו סייעה לחוקרים לשחזר מסלולי חלקיקים בניסויי מאיצים, לחפש עדויות לחלקיקים חדשים ולזהות גלי כבידה וכוכבי לכת חיצוניים. בעוד שכלי בינה מלאכותית יכולים לעשות הרבה עבור פיזיקאים, השאלה כעת, לפי מקס טגמרק, פיזיקאי במכון הטכנולוגי של מסצ'וסטס, היא: "האם נוכל להחזיר משהו?"

טגמרק מאמין שעמיתיו הפיזיקאים יכולים לתרום תרומה משמעותית למדע הבינה המלאכותית, והוא הפך את זה לעדיפות המחקר העליונה שלו. אחת הדרכים שבהן הפיזיקאים יוכלו לעזור לקדם את טכנולוגיית הבינה המלאכותית, הוא אמר, היא להחליף את האלגוריתמים של "הקופסה השחורה" של רשתות עצביות, שעבודותיהן ברובן בלתי ניתנות לבירור, במשוואות מובנות היטב של תהליכים פיזיקליים.

הרעיון אינו חדש לגמרי. דגמי AI גנרטיביים מבוסס על דיפוזיה - התהליך שגורם, למשל, לחלב שנמזג לכוס קפה להתפשט בצורה אחידה - הופיע לראשונה ב-2015, ואיכות התמונות שהם יוצרים השתפרה משמעותית מאז. טכנולוגיה זו מניעה תוכנות פופולריות להפקת תמונות כגון DALL·E 2 ו-Midjourney. כעת, Tegmark ועמיתיו לומדים האם מודלים גנרטיביים אחרים בהשראת הפיזיקה עשויים לעבוד כמו מודלים מבוססי דיפוזיה, או אפילו טוב יותר.

בסוף השנה שעברה, הצוות של Tegmark הציג שיטה חדשה ומבטיחה להפקת תמונות בשם מודל מחולל זרימת Poisson (PFGM). הנתונים מיוצגים בו על ידי חלקיקים טעונים, אשר יחד יוצרים שדה חשמלי שתכונותיו תלויות בהתפלגות המטענים בכל רגע נתון. זה נקרא מודל זרימת Poisson מכיוון שתנועת המטענים נשלטת על ידי משוואת Poisson, הנובעת מהעיקרון הקובע שהכוח האלקטרוסטטי בין שני מטענים משתנה הפוך לריבוע המרחק ביניהם (בדומה לניסוח הכבידה הניוטונית) .

התהליך הפיזי הזה הוא לב ליבה של PFGM. "ניתן לאפיין את המודל שלנו כמעט לחלוטין על ידי העוצמה והכיוון של השדה החשמלי בכל נקודה בחלל", אמר ילון שו, סטודנט לתואר שני ב-MIT ומחבר שותף של המאמר. "מה שהרשת העצבית לומדת במהלך תהליך האימון הוא כיצד להעריך את השדה החשמלי הזה." ובכך, הוא יכול ללמוד ליצור דימויים מכיוון שניתן לתאר תמונה במודל זה בתמציתיות על ידי שדה חשמלי.

PFGM יכול ליצור תמונות באותה איכות כמו אלה המופקות על ידי גישות מבוססות דיפוזיה ולעשות זאת מהר פי 10 עד 20. "זה מנצל מבנה פיזי, השדה החשמלי, באופן שמעולם לא ראינו", אמר חננאל חזן, מדען מחשבים באוניברסיטת טאפטס. "זה פותח את הדלת לאפשרות שתופעות פיזיות אחרות יירתמו לשיפור הרשתות העצביות שלנו."

למודלים של דיפוזיה וזרימת Poisson יש הרבה מן המשותף, מלבד היותם מבוססים על משוואות מיובאות מהפיסיקה. במהלך האימון, מודל דיפוזיה המיועד ליצירת תמונה מתחיל בדרך כלל בתמונה - כלב, נניח - ולאחר מכן מוסיף רעש חזותי, משנה כל פיקסל באופן אקראי עד שתכונותיו מתעטפות היטב (אם כי לא בוטלו לחלוטין). לאחר מכן המודל מנסה להפוך את התהליך וליצור כלב שקרוב למקור. לאחר הכשרה, הדוגמנית יכולה ליצור בהצלחה כלבים - ודימויים אחרים - החל מקנבס ריק לכאורה.

מודלים של זרימת Poisson פועלים באותו אופן. במהלך האימון, יש תהליך קדימה, הכולל הוספת רעש, בהדרגה, לתמונה חדה פעם אחת, ותהליך הפוך שבו הדגם מנסה להסיר את הרעש הזה, צעד אחר צעד, עד שהגרסה הראשונית משוחזרת לרוב. כמו בדור מבוסס דיפוזיה, המערכת לומדת בסופו של דבר ליצור תמונות שהיא מעולם לא ראתה באימון.

אבל הפיזיקה העומדת בבסיס מודלים של פויסון שונה לחלוטין. הדיפוזיה מונעת על ידי כוחות תרמודינמיים, ואילו זרימת פואסון מונעת על ידי כוחות אלקטרוסטטיים. האחרון מייצג תמונה מפורטת באמצעות סידור מטענים שיכול ליצור שדה חשמלי מסובך מאוד. אולם תחום זה גורם להתפשטות המטענים באופן שווה יותר לאורך זמן - בדיוק כפי שחלב מתפזר באופן טבעי בכוס קפה. התוצאה היא שהתחום עצמו הופך לפשוט ואחיד יותר. אבל השדה האחיד עתיר הרעש הזה אינו לוח ריק לחלוטין; הוא עדיין מכיל את זרעי המידע שמהם ניתן להרכיב תמונות בקלות.

בתחילת 2023, הצוות שדרג את דגם ה-Poisson שלהם, מרחיב אותו להקיף משפחה שלמה של דוגמניות. הגרסה המוגדלת, PFGM++, כוללת פרמטר חדש, D, המאפשר לחוקרים להתאים את הממדיות של המערכת. זה יכול לעשות הבדל גדול: במרחב תלת מימדי מוכר, עוצמת השדה החשמלי המופק ממטען קשורה ביחס הפוך לריבוע המרחק מאותו מטען. אבל בארבעה מימדים, חוזק השדה עוקב אחר חוק קובייה הפוך. ולכל מימד של חלל, ולכל ערך של D, היחס הזה שונה במקצת.

החידוש היחיד הזה העניק למודלים של זרימת Poisson שונות הרבה יותר, כאשר המקרים הקיצוניים מציעים יתרונות שונים. מתי D הוא נמוך, למשל, הדגם חזק יותר, כלומר הוא סובלני יותר לטעויות שנעשו בהערכת השדה החשמלי. "המודל לא יכול לחזות את השדה החשמלי בצורה מושלמת," אמר צימינג ליו, סטודנט נוסף לתואר שני ב-MIT ומחבר שותף של שני המאמרים. "תמיד יש סטייה כלשהי. אבל חוסן אומר שגם אם שגיאת האומדן שלך גבוהה, אתה עדיין יכול ליצור תמונות טובות." אז אולי לא תגיעו עם כלב חלומותיכם, אבל בכל זאת תקבלו משהו שדומה לכלב.

בקצה השני, מתי D הוא גבוה, הרשת העצבית הופכת קלה יותר לאימון, ודורשת פחות נתונים כדי לשלוט במיומנויות האמנותיות שלה. הסיבה המדויקת לא קלה להסבר, אבל היא נובעת מהעובדה שכאשר יש יותר ממדים, למודל יש פחות שדות חשמליים לעקוב אחריהם - ומכאן פחות נתונים להטמיע.

המודל המשופר, PFGM++, "נותן לך את הגמישות לבצע אינטרפולציה בין שני הקצוות הללו", אמר רוז יו, מדען מחשבים באוניברסיטת קליפורניה, סן דייגו.

ואיפשהו בטווח הזה טמון ערך אידיאלי עבור D שיוצר את האיזון הנכון בין חוסן וקלות האימון, אמר שו. "מטרה אחת של עבודה עתידית תהיה למצוא דרך שיטתית למצוא את המקום המתוק הזה, כדי שנוכל לבחור את הטוב ביותר האפשרי D למצב נתון מבלי להזדקק לניסוי וטעייה".

מטרה נוספת עבור חוקרי ה-MIT כרוכה במציאת תהליכים פיזיקליים נוספים שיכולים לספק בסיס למשפחות חדשות של מודלים גנרטיביים. דרך פרויקט שנקרא GenPhys, הצוות כבר זיהה מועמד אחד מבטיח: פוטנציאל יוקאווה, המתייחס לכוח הגרעיני החלש. "זה שונה ממודלים של זרימה ודיפוזיה של Poisson, שבהם מספר החלקיקים נשמר תמיד," אמר ליו. "פוטנציאל יוקאווה מאפשר לך להשמיד חלקיקים או לפצל חלקיק לשניים. מודל כזה עשוי, למשל, לדמות מערכות ביולוגיות שבהן מספר התאים אינו חייב להישאר זהה".

זה עשוי להיות קו חקירה פורה, אמר יו. "זה יכול להוביל לאלגוריתמים חדשים ולמודלים גנרטיביים חדשים עם יישומים פוטנציאליים המשתרעים מעבר ליצירת תמונות."

ו-PFGM++ לבדה כבר עלתה על הציפיות המקוריות של ממציאיו. הם לא הבינו בהתחלה כי מתי D מוגדר לאינסוף, מודל זרימת ה- Poisson המוגבר שלהם הופך לבלתי ניתן להבחין ממודל דיפוזיה. ליו גילה זאת בחישובים שביצע מוקדם יותר השנה.

מרט פילנצ'י, מדען מחשבים באוניברסיטת סטנפורד, רואה ב"איחוד" זה את התוצאה החשובה ביותר הנובעת מהעבודה של קבוצת MIT. "המאמר של PFGM++", הוא אמר, "חושף ששני המודלים הללו הם חלק ממעמד רחב יותר, [מה] מעלה שאלה מסקרנת: האם יש מודלים פיזיים אחרים לבינה מלאכותית יצירתית הממתינים לגילוי, המרמזים על איחוד גדול עוד יותר? ”