מבוא
אלגוריתמי בינה מלאכותית אינם יכולים להמשיך לצמוח בקצב הנוכחי שלהם. אלגוריתמים כמו רשתות עצביות עמוקות - אשר שואבות השראה רופפת מהמוח, עם שכבות מרובות של נוירונים מלאכותיים המקושרים זה לזה באמצעות ערכים מספריים הנקראים משקלים - הולכים וגדלים מדי שנה. אבל בימינו, שיפורי החומרה כבר לא עומדים בקצב הזיכרון העצום ויכולת העיבוד הנדרשת להפעלת האלגוריתמים האדירים הללו. בקרוב, הגודל של אלגוריתמי בינה מלאכותית עשוי לפגוע בקיר.
וגם אם נוכל להמשיך ולהגדיל את החומרה כדי לעמוד בדרישות של AI, יש בעיה נוספת: הפעלתם על מחשבים מסורתיים מבזבזת כמות עצומה של אנרגיה. פליטת הפחמן הגבוהה שנוצרת מהפעלת אלגוריתמים גדולים של בינה מלאכותית כבר מזיקה לסביבה, והיא רק תלך ותחמיר ככל שהאלגוריתמים יגדלו יותר ויותר ענקיים.
פתרון אחד, הנקרא מחשוב נוירומורפי, לוקח השראה ממוח ביולוגי כדי ליצור עיצובים חסכוניים באנרגיה. למרבה הצער, בעוד שבבים אלה יכולים לעלות על מחשבים דיגיטליים בשימור אנרגיה, חסר להם כוח החישוב הדרוש להפעלת רשת עצבית עמוקה. זה הקל על חוקרי בינה מלאכותית להתעלם מהם.
זה השתנה לבסוף באוגוסט, אז וייר וואן, ח.-ש. פיליפ וונג, גרט קובנברג ועמיתיהם חשף שבב נוירומורפי חדש נקרא NeuRRAM הכולל 3 מיליון תאי זיכרון ואלפי נוירונים המובנים בחומרה שלו כדי להפעיל אלגוריתמים. הוא משתמש בסוג חדש יחסית של זיכרון שנקרא RAM התנגדות, או RRAM. שלא כמו שבבי RRAM קודמים, NeuRRAM מתוכנת לפעול בצורה אנלוגית כדי לחסוך יותר אנרגיה ומקום. בעוד שהזיכרון הדיגיטלי הוא בינארי - אחסון של 1 או 0 - תאי זיכרון אנלוגיים בשבב NeuRRAM יכולים לאחסן כל אחד ערכים מרובים לאורך טווח רציף מלא. זה מאפשר לשבב לאחסן יותר מידע מאלגוריתמי AI מסיביים באותה כמות של שטח שבב.
כתוצאה מכך, השבב החדש יכול לבצע כמו מחשבים דיגיטליים במשימות AI מורכבות כמו זיהוי תמונה ודיבור, והמחברים טוענים שהוא חסכוני באנרגיה עד פי 1,000, מה שפותח את האפשרות לשבבים זעירים להפעיל אלגוריתמים מסובכים יותר ויותר. בתוך מכשירים קטנים שבעבר לא מתאימים לבינה מלאכותית כמו שעונים חכמים וטלפונים.
חוקרים שלא היו מעורבים בעבודה התרשמו עמוקות מהתוצאות. "העיתון הזה די ייחודי", אמר ז'ונגרוי וואנג, חוקר RRAM ותיק באוניברסיטת הונג קונג. "זה תורם ברמות שונות - ברמת המכשיר, ברמת ארכיטקטורת המעגלים וברמת האלגוריתם."
יצירת זיכרונות חדשים
במחשבים דיגיטליים, כמויות האנרגיה העצומות שמתבזבזות בזמן שהם מריצים אלגוריתמי AI נגרמות מפגם עיצובי פשוט ונמצא בכל מקום שהופך כל חישוב לבלתי יעיל. בדרך כלל, הזיכרון של המחשב - שמכיל את הנתונים והערכים המספריים שהוא יוצר במהלך החישוב - ממוקם על לוח האם הרחק מהמעבד, שם מתבצע החישוב.
לגבי המידע שעובר דרך המעבד, "זה כאילו אתה מבלה שמונה שעות בנסיעה, אבל אתה עושה שעתיים של עבודה", אמר וואן, מדען מחשבים לשעבר באוניברסיטת סטנפורד שעבר לאחרונה לסטארט-אפ AI Aizip.
מבוא
תיקון בעיה זו עם שבבי All-in-One חדשים שממקמים זיכרון וחישוב באותו מקום נראה פשוט. זה גם קרוב יותר לאופן שבו המוח שלנו כנראה מעבד מידע, שכן מדעני מוח רבים מאמינים שחישוב מתרחש בתוך אוכלוסיות של נוירונים, בעוד שזיכרונות נוצרים כאשר הסינפסות בין נוירונים מחזקות או מחלישות את הקשרים ביניהם. אבל יצירת מכשירים כאלה הוכיחה את עצמה כקשה, מכיוון שצורות זיכרון נוכחיות אינן תואמות את הטכנולוגיה במעבדים.
מדעני מחשבים פיתחו לפני עשרות שנים את החומרים ליצירת שבבים חדשים המבצעים חישובים שבהם מאוחסן זיכרון - טכנולוגיה המכונה מחשוב-בזיכרון. אבל עם ביצועים כה טובים של מחשבים דיגיטליים מסורתיים, הרעיונות האלה התעלמו במשך עשרות שנים.
"העבודה הזו, בדיוק כמו רוב העבודה המדעית, די נשכחה", אמר וונג, פרופסור בסטנפורד.
ואכן, מכשיר כזה ראשון תחילתה לפחות ב-1964, כאשר מהנדסי חשמל בסטנפורד גילו שהם יכולים לתמרן חומרים מסוימים, הנקראים תחמוצות מתכת, כדי להפעיל ולכבות את היכולת שלהם להוביל חשמל. זה משמעותי מכיוון שהיכולת של חומר לעבור בין שני מצבים מספקת את עמוד השדרה לאחסון זיכרון מסורתי. בדרך כלל, בזיכרון דיגיטלי, מצב של מתח גבוה מתאים ל-1, ומתח נמוך ל-0.
כדי לגרום למכשיר RRAM להחליף מצבים, אתה מפעיל מתח על אלקטרודות מתכת המחוברות לשני קצוות של תחמוצת המתכת. בדרך כלל, תחמוצות מתכת הן מבודדות, מה שאומר שהן אינן מוליכות חשמל. אבל עם מספיק מתח, הזרם מצטבר, בסופו של דבר דוחף דרך הנקודות החלשות של החומר ויוצר נתיב אל האלקטרודה בצד השני. ברגע שהזרם פרץ, הוא יכול לזרום בחופשיות לאורך הנתיב הזה.
וונג משווה תהליך זה לברק: כאשר מספיק מטען מצטבר בתוך ענן, הוא מוצא במהירות נתיב בעל התנגדות נמוכה וברק מכה. אבל בניגוד לברק, שדרכו נעלמת, הנתיב דרך תחמוצת המתכת נשאר, כלומר הוא נשאר מוליך ללא הגבלת זמן. ואפשר למחוק את הנתיב המוליך על ידי הפעלת מתח נוסף על החומר. אז חוקרים יכולים להחליף RRAM בין שני מצבים ולהשתמש בהם כדי לאחסן זיכרון דיגיטלי.
חוקרים מאמצע המאה לא זיהו את הפוטנציאל של מחשוב חסכוני באנרגיה, וגם לא היו צריכים אותו עדיין עם האלגוריתמים הקטנים יותר איתם הם עבדו. לקח עד תחילת שנות ה-2000, עם גילוי תחמוצות מתכות חדשות, עד שהחוקרים הבינו את האפשרויות.
וונג, שעבד ב-IBM באותה תקופה, נזכר שעמית עטור פרסים שעבד על RRAM הודה שהוא לא הבין לגמרי את הפיזיקה המעורבת. "אם הוא לא מבין את זה," נזכר וונג שחשב, "אולי אני לא צריך לנסות להבין את זה."
אבל בשנת 2004, חוקרים בסמסונג אלקטרוניקה הודיעו שכן זיכרון RRAM משולב בהצלחה בנוי על גבי שבב מחשוב מסורתי, מה שמצביע על כך שסוף סוף שבב מחשוב בזיכרון יהיה אפשרי. וונג החליט לפחות לנסות.
שבבי מחשוב בזיכרון עבור AI
במשך יותר מעשור, חוקרים כמו וונג עבדו על בניית טכנולוגיית RRAM עד לנקודה שבה היא תוכל להתמודד בצורה מהימנה עם משימות מחשוב בעלות עוצמה גבוהה. בסביבות 2015, מדעני מחשבים החלו לזהות את הפוטנציאל העצום של התקנים חסכוניים באנרגיה הללו עבור אלגוריתמי AI גדולים, שהחלו להמריא. באותה שנה, מדענים מאוניברסיטת קליפורניה, סנטה ברברה הראה שהתקני RRAM יכולים לעשות יותר מאשר רק לאחסן זיכרון בצורה חדשה. הם יכלו לבצע משימות מחשוב בסיסיות בעצמם - כולל הרוב המכריע של החישובים המתרחשים בתוך נוירונים מלאכותיים של רשת עצבית, שהם משימות כפל מטריצות פשוטות.
בשבב NeuRRAM, נוירוני סיליקון מובנים בחומרה, ותאי הזיכרון של ה-RRAM מאחסנים את המשקולות - הערכים המייצגים את חוזק הקשרים בין נוירונים. ומכיוון שתאי הזיכרון של NeuRRAM הם אנלוגיים, המשקולות שהם מאחסנים מייצגים את כל טווח מצבי ההתנגדות המתרחשים בזמן שהמכשיר עובר בין התנגדות נמוכה למצב התנגדות גבוהה. זה מאפשר אפילו יעילות אנרגטית גבוהה יותר ממה שזיכרון RRAM דיגיטלי יכול להשיג מכיוון שהשבב יכול להריץ חישובי מטריצה רבים במקביל - ולא בשלב נעילה בזה אחר זה, כמו בגרסאות העיבוד הדיגיטלי.
אבל מכיוון שהעיבוד האנלוגי עדיין נמצא עשרות שנים מאחורי העיבוד הדיגיטלי, עדיין ישנן בעיות רבות לברור. האחת היא ששבבי RRAM אנלוגיים חייבים להיות מדויקים בצורה יוצאת דופן מכיוון שפגמים בשבב הפיזי עלולים להכניס שונות ורעש. (עבור שבבים מסורתיים, עם שני מצבים בלבד, הליקויים הללו אינם חשובים כמעט באותה מידה.) זה מקשה משמעותית על התקני RRAM אנלוגיים להפעיל אלגוריתמי AI, בהתחשב בכך שהדיוק של, למשל, זיהוי תמונה ייפגע אם המצב המוליך של מכשיר ה-RRAM אינו זהה לחלוטין בכל פעם.
"כשאנחנו מסתכלים על נתיב תאורה, כל פעם זה שונה," אמר וונג. "אז כתוצאה מכך, ה-RRAM מפגין מידה מסוימת של סטוכסטיות - כל פעם שאתה מתכנת אותם שונה במקצת." וונג ועמיתיו הוכיחו שמכשירי RRAM יכולים לאחסן משקלי AI רציפים ועדיין להיות מדויקים כמו מחשבים דיגיטליים אם האלגוריתמים מאומנים להתרגל לרעש שהם נתקלים בהם בשבב, התקדמות שאפשרה להם לייצר את שבב NeuRRAM.
מבוא
בעיה מרכזית נוספת שהם נאלצו לפתור כללה את הגמישות הדרושה לתמיכה ברשתות עצביות מגוונות. בעבר, מעצבי שבבים נאלצו לסדר את מכשירי ה-RRAM הזעירים באזור אחד ליד נוירוני סיליקון גדולים יותר. מכשירי ה-RRAM והנוירונים היו מחוברים בצורה קשיחה ללא יכולת תכנות, כך שניתן היה לבצע את החישוב רק בכיוון אחד. כדי לתמוך ברשתות עצביות בחישוב דו-כיווני, נדרשו חוטים ומעגלים נוספים, שניפחו את צרכי האנרגיה והחלל.
אז הצוות של וונג עיצב ארכיטקטורת שבבים חדשה שבה התערבבו יחד התקני זיכרון RRAM ונוירוני סיליקון. שינוי קטן זה בעיצוב הפחית את השטח הכולל וחסך באנרגיה.
"חשבתי [הסידור] היה ממש יפה", אמר מליקה פייוונד, חוקר נוירומורפי במכון הפדרלי השוויצרי לטכנולוגיה בציריך. "אני בהחלט רואה בזה עבודה פורצת דרך."
במשך מספר שנים, הצוות של וונג עבד עם משתפי פעולה כדי לתכנן, לייצר, לבדוק, לכייל ולהפעיל אלגוריתמי AI על שבב NeuRRAM. הם אמנם שקלו להשתמש בסוגי זיכרון מתפתחים אחרים שיכולים לשמש גם בשבב מחשוב בזיכרון, אבל ל-RRAM היה יתרון בגלל היתרונות שלו בתכנות אנלוגי, ומכיוון שהיה קל יחסית לשילוב עם חומרי מחשוב מסורתיים.
התוצאות האחרונות שלהם מייצגות את שבב ה-RRAM הראשון שיכול להריץ אלגוריתמי AI כל כך גדולים ומורכבים - הישג שהיה אפשרי בעבר רק בסימולציות תיאורטיות. "כשזה מגיע לסיליקון אמיתי, היכולת הזו הייתה חסרה", אמר אנופ דאס, מדען מחשבים באוניברסיטת דרקסל. "העבודה הזו היא ההדגמה הראשונה".
"מערכות בינה מלאכותית דיגיטליות הן גמישות ומדויקות, אבל בסדרי גודל פחות יעילות", אמר קווונברג. כעת, אמר Cauwenbergs, שבב ה-RRAM האנלוגי הגמיש, המדויק והחסכוני באנרגיה שלהם "גשר על הפער בפעם הראשונה".
הגדלה
העיצוב של הצוות שומר על שבב NeuRRAM זעיר - בדיוק בגודל של ציפורן - תוך כדי סחיטת 3 מיליון התקני זיכרון RRAM שיכולים לשמש כמעבדים אנלוגיים. ולמרות שהוא יכול להריץ רשתות עצביות לפחות כמו מחשבים דיגיטליים, השבב גם (ובפעם הראשונה) יכול להריץ אלגוריתמים שמבצעים חישובים בכיוונים שונים. השבב שלהם יכול להזין מתח לשורות מערך ה-RRAM ולקרוא יציאות מהעמודות כסטנדרט עבור שבבי RRAM, אבל הוא יכול גם לעשות זאת אחורה מהעמודות לשורות, כך שניתן להשתמש בו ברשתות עצביות שפועלות עם נתונים זורמים בכיוונים שונים.
כמו בטכנולוגיית RRAM עצמה, זה כבר מזמן אפשרי, אבל אף אחד לא חשב לעשות את זה. "למה לא חשבנו על זה קודם?" שאל פייוואנד. "בדיעבד, אני לא יודע."
"זה למעשה פותח הרבה הזדמנויות אחרות", אמר דאס. כדוגמאות, הוא הזכיר את היכולת של מערכת פשוטה להפעיל את האלגוריתמים העצומים הדרושים לסימולציות פיזיקה רב-ממדיות או מכוניות בנהיגה עצמית.
אבל הגודל הוא בעיה. הרשתות העצביות הגדולות ביותר מכילות כעת מיליארדי משקלים, לא את המיליונים הכלולים בשבבים החדשים. וונג מתכננת להגדיל את הגודל על ידי ערימת שבבי NeuRRAM מרובים זה על גבי זה.
חשוב לא פחות לשמור על עלויות האנרגיה נמוכות במכשירים עתידיים, או להקטין אותם עוד יותר. דרך אחת להגיע לשם היא על ידי העתקת המוח אפילו יותר מקרוב כדי לאמץ את אות התקשורת המשמש בין נוירונים אמיתיים: הספייק החשמלי. זהו אות הנורה מנוירון אחד לאחר כאשר ההבדל במתח בין הפנים והחוץ של התא מגיע לסף קריטי.
"יש שם אתגרים גדולים", אמר טוני קניון, חוקר ננוטכנולוגיה באוניברסיטת קולג' בלונדון. "אבל עדיין אולי נרצה להתקדם בכיוון הזה, כי... רוב הסיכויים שתהיה לך יעילות אנרגטית גבוהה יותר אם אתה משתמש בקוצים דלים מאוד." כדי להפעיל אלגוריתמים שמקפיצים בשבב NeuRRAM הנוכחי, סביר להניח שתדרוש ארכיטקטורה שונה לחלוטין, עם זאת, ציין קניון.
לעת עתה, היעילות האנרגטית שהצוות השיג תוך כדי הפעלת אלגוריתמי AI גדולים על שבב NeuRRAM יצרה תקווה חדשה שטכנולוגיות זיכרון עשויות לייצג את העתיד של מחשוב עם AI. אולי יום אחד אפילו נצליח להשוות בין 86 מיליארד הנוירונים של המוח האנושי לבין טריליוני הסינפסות שמחברים ביניהם מבלי שייגמר הכוח.
