הטענות של גוגל על ​​פריסת שבב AI על-אנושי בחזרה מתחת למיקרוסקופ

דיווח מיוחד מאמר מחקר בהנהגת גוגל שפורסם ב-Nature, הטוען שתוכנת למידת מכונה יכולה לעצב שבבים טובים יותר מהר יותר מבני אדם, הוטל בספק לאחר שמחקר חדש ערער על תוצאותיו.

ביוני 2021 יצרה גוגל כותרות לפיתוח מערכת מבוססת למידה חיזוק המסוגלת ליצור אוטומטית תכניות רצפות אופטימליות של שבבים. תוכניות אלה קובעות את סידור בלוקים של מעגלים אלקטרוניים בתוך השבב: היכן דברים כמו ליבות המעבד וה-GPU, ובקרי זיכרון ובקרי היקפי, למעשה יושבים על קוביית הסיליקון הפיזית.

גוגל אמרה שהיא משתמשת בתוכנת בינה מלאכותית זו כדי לעצב את שבבי ה-TPU תוצרת הבית שלה שמאיצים את עומסי העבודה של בינה מלאכותית: היא משתמשת בלמידת מכונה כדי לגרום למערכות למידת המכונה האחרות שלה לפעול מהר יותר. 

תוכנית הקומה של שבב חשובה מכיוון שהיא מכתיבה את ביצועי המעבד. תרצו לסדר בלוקים של המעגלים של השבב בקפידה, כך, למשל, אותות ונתונים יתפשטו בין האזורים הללו בקצב רצוי. מהנדסים בדרך כלל מבלים שבועות או חודשים בחידוד העיצובים שלהם בניסיון למצוא את התצורה האופטימלית. יש למקם את כל תת המערכות השונות בצורה מסוימת כדי לייצר שבב חזק, חסכוני באנרגיה וקטן ככל האפשר. 

הפקת תכנית קומה כיום כוללת בדרך כלל שילוב של עבודה ידנית ואוטומציה באמצעות יישומי עיצוב שבבים. הצוות של גוגל ביקש להדגים שגישת לימוד החיזוק שלה תפיק עיצובים טובים יותר מאלה שנעשו רק על ידי מהנדסי אנוש המשתמשים בכלים בתעשייה. לא רק זה, גוגל אמרה שהמודל שלה השלים את עבודתו הרבה יותר מהר מאשר מהנדסים שחוזרים על פריסות.

"למרות חמישה עשורים של מחקר, תכנון רצפת שבבים התנגד לאוטומציה, ודורש חודשים של מאמץ אינטנסיבי של מהנדסי תכנון פיזי כדי לייצר פריסה ניתנת לייצור... תוך פחות משש שעות, השיטה שלנו מייצרת אוטומטית תכניות רצפת שבבים עדיפות או דומות לאלו המיוצרות על ידי בני אדם בכלל מדדי מפתח", הגוגלרים כתב בנייר הטבע שלהם.

המחקר קיבל את תשומת הלב של קהילת אוטומציית העיצוב האלקטרוני, שכבר התקדמה לקראת שילוב אלגוריתמים של למידת מכונה בחבילות התוכנה שלה. כעת הטענות של גוגל לגבי המודל הטוב מבני אדם שלה אותגרו על ידי צוות מאוניברסיטת קליפורניה, סן דייגו (UCSD).

יתרון לא הוגן?

בראשותו של אנדרו קאהנג, פרופסור למדעי המחשב והנדסה, הקבוצה הזו בילתה חודשים בהנדסה הפוכה של צינור תכנון הרצפה שגוגל תיארה ב-Nature. ענקית האינטרנט הסתירה כמה פרטים על פעולתו הפנימית של הדגם שלה, תוך שהיא מציינת רגישות מסחרית, כך שה-UCSD נאלץ להבין כיצד ליצור גרסה מלאה משלהם כדי לאמת את ממצאי הגוגלרים. פרופ' קאהנג, נציין, שימש כסוקר של Nature במהלך תהליך הביקורת עמיתים של המאמר של גוגל.

אקדמאים באוניברסיטה מצאו בסופו של דבר שחזור משלהם של הקוד המקורי של גוגל, המכונה אימון מעגל (CT) ב המחקר שלהם, למעשה הביצועים גרועים יותר מבני אדם באמצעות שיטות וכלים מסורתיים בתעשייה.

מה יכול היה לגרום לפער הזה? אפשר לומר שהבילוי לא היה שלם, אם כי אולי יש הסבר אחר. עם הזמן, צוות UCSD למד שגוגל השתמשה בתוכנה מסחרית שפותחה על ידי Synopsys, יצרנית גדולה של חבילות אוטומציה של תכנון אלקטרוני (EDA), כדי ליצור סידור התחלתי של שערי הלוגיקה של השבב שמערכת למידת החיזוק של ענקית האינטרנט עשתה אז אופטימיזציה.

ניסויים מראים שמידע על מיקום ראשוני יכול לשפר משמעותית את תוצאות ה-CT

המאמר של גוגל אכן הזכיר שנעשה שימוש בכלי תוכנה סטנדרטיים בתעשייה ובהתאמה ידנית לאחר המודל יצר פריסה, בעיקר כדי להבטיח שהמעבד יעבוד כמתוכנן ויסיים אותו לייצור. הגוגלרים טענו שזהו שלב הכרחי בין אם תכנית הקומה נוצרה על ידי אלגוריתם למידת מכונה או על ידי בני אדם עם כלים סטנדרטיים, ולפיכך המודל שלה ראוי לקרדיט על המוצר הסופי המאופטימלי.

עם זאת, צוות UCSD אמר כי אין אזכור בעיתון Nature של שימוש בכלי EDA מראש להכין פריסה עבור המודל לחזור עליו. נטען כי ייתכן שהכלים הללו של Synopsys נתנו לדגם התחלה ראויה מספיק כדי להטיל ספק ביכולות האמיתיות של מערכת הבינה המלאכותית.

"זה לא היה ברור במהלך סקירת הנייר", כתב צוות האוניברסיטה על השימוש בסוויטה של ​​Synopsys כדי להכין פריסה למודל, "ולא מוזכר ב-Nature. ניסויים מראים שמידע על מיקום ראשוני יכול לשפר משמעותית את תוצאות ה-CT."

הטבע חוקר את המחקר של גוגל

כמה אקדמאים דחקו מאז בטבע לסקור את המאמר של גוגל לאור המחקר של UCSD. במיילים ליומן שנצפה על ידי הקופה, החוקרים הדגישו את החששות שהעלו פרופ' קאהנג ועמיתיו, ושאלו אם המאמר של גוגל מטעה.

ביל שוורץ, מרצה בכיר המלמד הנדסת חשמל באוניברסיטת טקסס בדאלאס, אמר כי מאמר Nature "השאיר הרבה [חוקרים] בחושך" מכיוון שהתוצאות כללו את ה-TPUs הקנייניים של ה-Internet Titan, ולכן, בלתי אפשרי לאימות.

יש לחקור את השימוש בתוכנה של Synopsys כדי לקדם את התוכנה של גוגל, אמר. "כולנו רק רוצים לדעת את האלגוריתם האמיתי כדי שנוכל לשחזר אותו. אם הטענות של [Google] נכונות, אז אנחנו רוצים ליישם את זה. צריך להיות מדע, הכל צריך להיות אובייקטיבי; אם זה עובד, זה עובד", אמר.

הטבע סיפר הקופה היא בוחנת את העיתון של גוגל, אם כי היא לא אמרה בדיוק מה היא חוקרת וגם לא למה.

"איננו יכולים להגיב על הפרטים של מקרים בודדים מטעמי סודיות", אמר לנו דובר של נייצ'ר. "עם זאת, באופן כללי, כאשר מועלות חששות לגבי מאמר כלשהו המתפרסם בכתב העת, אנו בודקים אותם בקפידה בעקבות תהליך מבוסס.

"תהליך זה כרוך בהתייעצות עם המחברים ובמידת הצורך פנייה לייעוץ מבודקי עמיתים ומומחים חיצוניים אחרים. ברגע שיש לנו מספיק מידע כדי לקבל החלטה, אנחנו עוקבים אחר התגובה המתאימה ביותר ושמספקת לקוראינו בהירות לגבי התוצאה."

זו לא הפעם הראשונה שכתב העת מבצע בדיקה לאחר פרסום המחקר, שעומד בפני בדיקה מחודשת. העיתון של אנשי גוגל נשאר מקוון עם תיקון מחבר שהתווסף במרץ 2022, שכלל א קישור לחלק מקוד ה-CT הפתוח של גוגל למי שמנסה לעקוב אחר שיטות המחקר.

אין אימון מקדים ואין מספיק מחשוב?

המחברים הראשיים של המאמר של גוגל, אזליה מירוסייני ואנה גולדי, אמרו שהעבודה של צוות UCSD אינה יישום מדויק של השיטה שלהם. הם ציינו שהקבוצה של פרופ' קאהנג השיגה תוצאות גרועות יותר מכיוון שלא אימנו מראש את המודל שלהם על נתונים כלל.

"שיטה מבוססת למידה תתפקד כמובן גרוע יותר אם אסור ללמוד מניסיון קודם. במאמר Nature שלנו, אנו מתאמנים מראש על 20 בלוקים לפני הערכה על מקרי בדיקה ממושכים", אמרו השניים בהצהרה [PDF].

הצוות של פרופ' קאהנג גם לא אימן את המערכת שלהם תוך שימוש באותה כמות של כוח מחשוב כפי שגוגל השתמשה, והציע שהשלב הזה לא בוצע כראוי, מה שפגע בביצועי המודל. Mirhoseini ו-Goldie אמרו גם ששלב העיבוד המקדים באמצעות יישומי EDA שלא תוארו במפורש בנייר Nature שלהם לא היה חשוב מספיק כדי להזכיר. 

"המאמר [UCSD] מתמקד בשימוש במיקום הראשוני מסינתזה פיזית לאשכול תאים סטנדרטיים, אבל זה לא מעורר דאגה מעשית. יש לבצע סינתזה פיזית לפני הפעלת שיטת מיקום כלשהי", אמרו. "זהו הנוהג המקובל בתכנון שבבים."

קבוצת UCSD, לעומת זאת, אמר הם לא הכשירו את המודל שלהם מראש כי לא הייתה להם גישה לנתונים הקנייניים של Google. הם טענו, עם זאת, התוכנה שלהם אומתה על ידי שני מהנדסים אחרים בענקית האינטרנט, שגם הם היו רשומים כמחברים משותפים של העיתון Nature. פרופ' קאהנג מציג את מחקר הצוות שלו בסימפוזיון הבינלאומי על עיצוב פיזי השנה כנס יוֹם שְׁלִישִׁי.

בינתיים, גוגל ממשיכה להשתמש בטכניקות המבוססות על למידה של חיזוקים כדי לשפר את ה-TPUs שלה, שנמצאים בשימוש פעיל במרכזי הנתונים שלה.

גוגלר שפוטר טוען שהמחקר זכה לעסקת ענן משתלמת

בנפרד, הטענות של עיתון Nature של גוגל בדבר ביצועים על אנושיים היו במחלוקת פנימית במסגרת הגוליית האינטרנטית. במאי בשנה שעברה, Satrajit Chatterjee, חוקר בינה מלאכותית, פוטר מגוגל בשל סיבה; הוא טען שהוא שוחרר בגלל שהוא מתח ביקורת על מחקר Nature וערער על ממצאי העיתון. לצ'אטרג'י נאמר גם שגוגל לא תפרסם את המאמר שלו המבקר את המחקר הראשון.

הוא גם הואשם על ידי גוגלרים אחרים בהרחקת הביקורת שלו - כמו, למשל, תיאור מילולי של העבודה לכאורה כ"תאונת רכבת" ו"שריפה בצמיג" - והוכנס לחקירת משאבי אנוש בגין התנהגותו לכאורה.

צ'אטרג'י תבעה מאז את גוגל בבית המשפט העליון של קליפורניה בסנטה קלרה בטענה לסיום שלא כדין. צ'אטרג'י סירב להגיב לסיפור הזה, והוא מכחיש כל עבירה. מירוסייני וגולדי עזבו את גוגל באמצע 2022 לאחר שצ'אטרג'י הודח.

בתלונתו נגד גוגל, אשר תוקנה [PDF] בחודש שעבר, עורכי הדין של Chatterjee טענו שענקית האינטרנט חשבה למסחר את התוכנה שלה ליצירת תוכנית קומה מבוססת בינה מלאכותית עם "Company S" בזמן שהיא ניהלה משא ומתן על עסקת Google Cloud בשווי של 120 מיליון דולר עם S באותה עת. צ'אטרג'י טען שגוגל דוגלת בנייר תכנון הרצפה כדי לעזור לשכנע את חברת S להיכנס לאמנה המסחרית המשמעותית הזו.

"המחקר נעשה בחלקו כצעד ראשון לקראת מסחור פוטנציאלי עם [חברה S] (ונערך עם משאבים של [חברה S]). מכיוון שזה נעשה בהקשר של עסקת ענן פוטנציאלית גדולה, זה לא היה מוסרי לרמוז שיש לנו טכנולוגיה מהפכנית כאשר הבדיקות שלנו הראו אחרת", כתב צ'אטרג'י באימייל למנכ"ל גוגל סונדאר פיצ'אי, סגן נשיא ועמית ההנדסה ג'יי. Yagnik, וסמנכ"ל Google Research Rahul Sukthankar, אשר נחשפה במסגרת התביעה.

כתבי בית המשפט שלו האשימו את גוגל ב"הגזמת" בתוצאות המחקר שלה, ו"הסתרת מידע מהותי בכוונה מחברה S כדי לגרום לה לחתום על עסקת מחשוב ענן", למעשה חיזר אחרי העסק האחר באמצעות מה שהוא ראה כטכנולוגיה מפוקפקת.

חברת S מתוארת כ"חברה לאוטומציה בתכנון אלקטרוני" במסמכי בית המשפט. אנשים שמכירים את העניין סיפרו הקופה חברה S היא Synopsys.

סינופסיס וגוגל סירבו להגיב. ®

האם יש סיפור בתוך עולם הבינה המלאכותית שאתה רוצה לשתף? דבר איתנו בביטחון.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/