השבב האנלוגי בהשראת המוח של יבמ שואף להפוך את הבינה המלאכותית לבת קיימא יותר

ChatGPT, DALL-E, דיפוזיה יציבה, ו-AI גנרטיביים אחרים כבשו את העולם בסערה. הם יוצרים שירה ודימויים מדהימים. הם מחלחלים לכל פינה בעולמנו, משיווק ועד כתיבת תקצירים משפטיים וגילוי סמים. הם נראים כמו ילד הפוסטר לסיפור הצלחה של אדם-מכונה.

אבל מתחת למכסה המנוע, הדברים נראים פחות אפרסקים. מערכות אלו הן חזירי אנרגיה מסיביים, הדורשים מרכזי נתונים שיורקים אלפי טונות של פליטת פחמן - מה שמדגיש עוד יותר את האקלים הפכפך ממילא - ושואבים מיליארדי דולרים. ככל שהרשתות העצביות הופכות מתוחכמות יותר ושימוש נרחב יותר, צריכת האנרגיה צפויה להרקיע שחקים עוד יותר.

שפע של דיו נשפך על בינה מלאכותית טביעת רגל פחמנית. הביקוש לאנרגיה שלו עשוי להיות נפילתו, ולעכב את הפיתוח ככל שהוא גדל עוד יותר. באמצעות החומרה הנוכחית, בינה מלאכותית גנרטיבית "צפויה להיעצר בקרוב אם היא תמשיך להסתמך על חומרת מחשוב סטנדרטית." אמר ד"ר הכן וואנג במעבדות אינטל.

הגיע הזמן שנבנה AI בר קיימא.

השבוע מחקר מ-IBM עשתה צעד מעשי בכיוון הזה. הם יצרו שבב אנלוגי של 14 ננומטר עמוס ב-35 מיליון יחידות זיכרון. בניגוד לשבבים הנוכחיים, החישוב מתרחש ישירות בתוך אותן יחידות, ומבטל את הצורך להעביר נתונים הלוך ושוב - בתורו חוסך באנרגיה.

העברת נתונים יכולה להגדיל את צריכת האנרגיה בכל מקום בין פי 3 ל-10,000 מעל מה שנדרש לחישוב בפועל, אמר וואנג.

השבב היה יעיל ביותר כאשר מאותגר עם שתי משימות זיהוי דיבור. האחת, פקודות דיבור של Google, היא קטנה אך מעשית. כאן, מהירות היא המפתח. השנייה, Librispeech, היא מערכת ענקית המסייעת לתמלל דיבור לטקסט, ומטילה מס על יכולת השבב לעבד כמויות אדירות של נתונים.

כשהשבב עמד מול מחשבים קונבנציונליים, השבב ביצע בדיוק באותה מידה, אך סיים את העבודה מהר יותר ועם הרבה פחות אנרגיה, תוך שימוש בפחות מעשירית ממה שנדרש בדרך כלל למשימות מסוימות.

"אלו, למיטב ידיעתנו, ההדגמות הראשונות של רמות דיוק רלוונטיות מסחרית במודל רלוונטי מסחרית... עם יעילות ומקביליות מסיבית" עבור שבב אנלוגי, אמר הצוות.

Brainy Bytes

זה בקושי השבב האנלוגי הראשון. עם זאת, זה דוחף את הרעיון של מחשוב נוירומורפי לתחום המעשיות - שבב שיכול יום אחד להפעיל את הטלפון, הבית החכם ומכשירים אחרים שלך ביעילות קרובה לזו של המוח.

אממ, מה? בואו נגבה.

המחשבים הנוכחיים בנויים על אדריכלות פון נוימן. תחשוב על זה כבית עם מספר חדרים. האחת, יחידת העיבוד המרכזית (CPU), מנתחת נתונים. אחר מאחסן זיכרון.

עבור כל חישוב, המחשב צריך להעביר נתונים הלוך ושוב בין שני החדרים, וזה לוקח זמן ואנרגיה ומפחית את היעילות.

המוח, לעומת זאת, משלב גם חישוב וגם זיכרון לדירת סטודיו. הצמתים דמויי הפטריות שלו, הנקראים סינפסות, יוצרים רשתות עצביות ומאחסנים זיכרונות באותו מקום. הסינפסות הן גמישות ביותר, ומכוונות את מידת החיבור שלהן עם נוירונים אחרים על סמך זיכרון מאוחסן ולומדות חדשות - תכונה הנקראת "משקלות". המוח שלנו מסתגל במהירות לסביבה המשתנה ללא הרף על ידי התאמת המשקולות הסינפטיות הללו.

IBM הייתה בחזית העיצוב שבבים אנלוגיים המחקה חישוב מוח. פריצת דרך הגיע בשנת 2016, כשהציגו שבב המבוסס על חומר מרתק שנמצא בדרך כלל בתקליטורים הניתנים לכתיבה. החומר משנה את מצבו הפיזי ומשנה את הצורה ממרק דביל למבנים דמויי קריסטל כשהוא מושך בחשמל - בדומה ל-0 ו-1 דיגיטלי.

הנה המפתח: השבב יכול להתקיים גם במצב היברידי. במילים אחרות, בדומה לסינפסה ביולוגית, המלאכותית יכולה לקודד מספר עצום של משקלים שונים - לא רק בינאריים - מה שמאפשר לה לצבור חישובים מרובים מבלי להזיז פיסת נתונים אחת.

ג'ייקל והייד

המחקר החדש התבסס על עבודה קודמת על ידי שימוש גם בחומרים לשינוי שלב. המרכיבים הבסיסיים הם "אריחי זיכרון". כל אחד מהם עמוס באלפי חומרים לשינוי פאזה במבנה רשת. האריחים מתקשרים זה עם זה בקלות.

כל אריח נשלט על ידי בקר מקומי הניתן לתכנות, המאפשר לצוות לצבוט את הרכיב - בדומה לנוירון - בדיוק. השבב עוד מאחסן מאות פקודות ברצף, יוצר קופסה שחורה מסוגה המאפשרת להם לחפור בחזרה ולנתח את הביצועים שלו.

בסך הכל, השבב הכיל 35 מיליון מבני זיכרון לשינוי שלב. הקשרים הסתכמו ב-45 מיליון סינפסות - רחוק מאוד מהמוח האנושי, אבל מרשים מאוד בשבב של 14 ננומטר.

המספרים המרתקים האלה מהווים בעיה באתחול שבב הבינה המלאכותית: פשוט יש יותר מדי פרמטרים לחיפוש דרכם. הצוות התמודד עם הבעיה עם מה שמסתכם בגן ילדים בינה מלאכותית, תכנות מראש משקלים סינפטיים לפני תחילת החישובים. (זה קצת כמו לתבל מחבת חדשה מברזל יצוק לפני שמבשלים איתה.)

הם "התאימו את טכניקות האימון ברשת שלהם מתוך מחשבה על היתרונות והמגבלות של החומרה", ולאחר מכן קבעו את המשקולות לתוצאות האופטימליות ביותר, הסביר וואנג, שלא היה מעורב במחקר.

זה הסתדר. בבדיקה ראשונית אחת, השבב עבר בקלות 12.4 טריליון פעולות בשנייה עבור כל וואט כוח. צריכת האנרגיה היא "גבוהה בעשרות או אפילו מאות מונים מאשר עבור המעבדים וה-GPUs החזקים ביותר", אמר וואנג.

השבב סידר תהליך חישובי ליבה שעומד בבסיס רשתות עצביות עמוקות עם רק כמה רכיבי חומרה קלאסיים באריחי הזיכרון. לעומת זאת, מחשבים מסורתיים זקוקים למאות או אלפי טרנזיסטורים (יחידה בסיסית המבצעת חישובים).

דיבור על העיר

לאחר מכן, הצוות אתגר את השבב לשתי משימות זיהוי דיבור. כל אחד הדגיש פן אחר של השבב.

המבחן הראשון היה מהירות כאשר מאותגר עם מסד נתונים קטן יחסית. משתמש ב פקודות דיבור של גוגל מסד הנתונים, המשימה חייבה את שבב הבינה המלאכותית לזהות 12 מילות מפתח בסט של כ-65,000 קליפים של אלפי אנשים המדברים 30 מילים קצרות ("קטן" הוא יחסי ביקום למידה עמוקה). בעת שימוש במדד מקובל-MLPerf- השבב פעל מהר יותר שבעתיים מאשר בעבודה הקודמת.

השבב גם זרח כשאותגר עם מסד נתונים גדול, דיבור ליבריז. הקורפוס מכיל למעלה מ-1,000 שעות של דיבור באנגלית קריאה הנפוצה לאימון AI לניתוח דיבור ותעתוק דיבור לטקסט אוטומטי.

בסך הכל, הצוות השתמש בחמישה שבבים כדי לקודד בסופו של דבר יותר מ-45 מיליון משקלים תוך שימוש בנתונים מ-140 מיליון מכשירי שינוי פאזה. בהתמודדות מול חומרה קונבנציונלית, השבב היה חסכוני באנרגיה בערך פי 14 - עיבוד של כמעט 550 דגימות בכל שנייה לוואט של צריכת אנרגיה - עם שיעור שגיאה של קצת יותר מ-9 אחוזים.

למרות שהם מרשימים, שבבים אנלוגיים עדיין בחיתוליו. הם מראים "הבטחה עצומה למאבק בבעיות הקיימות הקשורות לבינה מלאכותית", אמר וואנג, אבל הדרך קדימה דורשת לפנות עוד כמה מכשולים.

גורם אחד הוא עידוד העיצוב של טכנולוגיית הזיכרון עצמה והרכיבים הסובבים אותה - כלומר, איך השבב פרוש. השבב החדש של יבמ עדיין לא מכיל את כל האלמנטים הדרושים. השלב הקריטי הבא הוא שילוב הכל על גבי שבב בודד תוך שמירה על יעילותו.

בצד התוכנה, נצטרך גם אלגוריתמים המותאמים במיוחד לשבבים אנלוגיים, ותוכנה שמתרגמת בקלות קוד לשפה שמכונות יכולות להבין. ככל שהשבבים הללו הופכים ליותר ויותר כדאיים מבחינה מסחרית, פיתוח יישומים ייעודיים ישאיר את החלום של עתיד שבב אנלוגי בחיים.

"לקח עשרות שנים לעצב את המערכות האקולוגיות החישוביות שבהן מעבדים ומעבדים גרפיים פועלים בצורה כה מוצלחת", אמר וואנג. "וכנראה ייקח שנים להקים את אותו סוג של סביבה עבור AI אנלוגי."

תמונת אשראי: ריאן לאווין עבור IBM

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• ChartPrime. הרם את משחק המסחר שלך עם ChartPrime. גישה כאן.
• BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
• מקור: https://singularityhub.com/2023/08/25/ibms-brain-inspired-analog-chip-aims-to-make-ai-more-sustainable/