עבור חנות הבינה המלאכותית הממוצעת, דגמים דלילים וזיכרון זול ינצחו

עד כמה שהמודלים המובילים של שפה בקנה מידה גדול יהיו משכנעים, העובדה נשארת שרק לחברות הגדולות ביותר יש את המשאבים לפרוס ולהכשיר אותם בפועל בקנה מידה משמעותי.

עבור ארגונים להוטים למנף בינה מלאכותית ליתרון תחרותי, אלטרנטיבה זולה יותר ומצטמצמת עשויה להתאים יותר, במיוחד אם ניתן להתאים אותה לתעשיות או תחומים מסוימים.

זה המקום שבו קבוצה מתפתחת של סטארט-אפים בינה מלאכותית שמקווה ליצור נישה: על ידי בניית דגמים דלילים ומותאמים שאולי לא חזקים כמו GPT-3, טובים מספיק עבור מקרי שימוש ארגוניים ומופעלים על חומרה שמוציאה זיכרון יקר ברוחב פס גבוה (HBM) עבור DDR סחורות.

סטארטאפ AI הגרמני Aleph Alpha הוא דוגמה כזו. נוסדה בשנת 2019, החברה של היידלברג, שבסיסה בגרמניה זורח מודל שפה טבעית מתהדר ברבות מאותן תכונות תופסות כותרות כמו GPT-3 של OpenAI: קופירייטינג, סיווג, סיכום ותרגום, אם להזכיר כמה.

סטארט-אפ המודל חבר ל-Graphcore כדי לחקור ולפתח מודלים של שפה דלילה על הבריטים החומרה של יצרנית השבבים.

"ה-IPUs של Graphcore מציגים הזדמנות להעריך את הגישות הטכנולוגיות המתקדמות כמו דלילות מותנית", אמר מנכ"ל Aleph Alpha, ג'ונאס אנדרוליוס. הצהרה. "ארכיטקטורות אלה ללא ספק ישחקו תפקיד במחקר העתידי של אלף אלפא."

ההימור הגדול של גראפקור על דלילות

מודלים דלילים באופן מותנה - הנקראים לפעמים תערובת של מומחים או מודלים מנותבים - מעבדים רק נתונים כנגד הפרמטרים הרלוונטיים, דבר שיכול להפחית משמעותית את משאבי המחשוב הדרושים להפעלתם.

לדוגמה, אם מודל שפה הוכשר בכל השפות באינטרנט, ואז נשאל שאלה ברוסית, לא יהיה הגיוני להריץ את הנתונים הללו דרך המודל כולו, רק הפרמטרים הקשורים לשפה הרוסית, הסביר CTO Graphcore, סיימון נואלס, בראיון עם הקופה.

"זה ברור לגמרי. כך המוח שלך עובד, וכך גם AI אמור לעבוד", אמר. "אמרתי את זה הרבה פעמים, אבל אם AI יכול לעשות הרבה דברים, הוא לא צריך לגשת לכל הידע שלו כדי לעשות דבר אחד."

נואלס, שהחברה של מי בונה מאיצים המותאמים לסוגים אלה של דגמים, מאמין באופן לא מפתיע שהם העתיד של AI. "אהיה מופתע אם, עד השנה הבאה, מישהו יבנה דגמים בשפה צפופה", הוסיף.

HBM-2 יקר? שמור במטמון ב-DDR במקום זאת

מודלים של שפה דלילה אינם חפים מהאתגרים שלהם. אחד הדוחקים ביותר, לפי נואלס, קשור לזיכרון. ה-HBM המשמש ב-GPUs מתקדמים כדי להשיג את רוחב הפס והיכולות הדרושים לדגמים אלה הוא יקר ומחובר למאיץ יקר עוד יותר.

זה לא בעיה עבור מודלים בשפה צפופה שבהם אתה עשוי להזדקק לכל המחשוב והזיכרון הזה, אבל זה מהווה בעיה עבור מודלים דלילים, שמעדיפים זיכרון על פני מחשוב, הוא הסביר.

ניתן להשתמש בטכנולוגיית Interconnect, כמו NVLink של Nvidia, כדי לאזור זיכרון על פני מספר GPUs, אך אם הדגם אינו דורש את כל המחשוב הזה, ה-GPUs עלולים להישאר בחוסר מעש. "זו דרך מאוד יקרה לקנות זיכרון," אמר נואלס.

המאיצים של Graphcore מנסים לעקוף את האתגר הזה על ידי השאלת טכניקה ישנה כמו המחשוב עצמו: מטמון. כל IPU כולל מטמון SRAM גדול יחסית - 1GB - כדי לספק את דרישות רוחב הפס של הדגמים הללו, בעוד קיבולת גולמית מושגת באמצעות מאגרים גדולים של זיכרון DDR4 זול.

"ככל שיש לך יותר SRAM, כך אתה צריך פחות רוחב פס של DRAM, וזה מה שמאפשר לנו לא להשתמש ב-HBM", אמר נואלס.

על ידי ניתוק הזיכרון מהמאיץ, זה הרבה פחות יקר - העלות של כמה מודולי DDR סחורות - עבור ארגונים לתמוך בדגמי AI גדולים יותר.

בנוסף לתמיכה בזיכרון זול יותר, נואלס טוענת כי ל- IPUs של החברה יש גם יתרון ארכיטקטוני על פני GPUs, לפחות בכל הנוגע לדגמים דלילים.

במקום לרוץ על מספר קטן של מכפילי מטריצה ​​גדולים - כמו שאתה מוצא ביחידת עיבוד טנזור - השבבים של Graphcore כוללים מספר רב של יחידות מתמטיות מטריצות קטנות יותר שיכולות לתת מענה לזיכרון באופן עצמאי.

זה מספק פירוט רב יותר עבור דגמים דלילים, שבהם "אתה צריך את החופש להביא קבוצות משנה רלוונטיות, וככל שהיחידה שאתה חייב להביא קטנה יותר, כך יש לך יותר חופש", הסביר.

פסק הדין עדיין בחוץ

ביחד, נואלס טוענת שגישה זו מאפשרת ל- IPUs שלה לאמן דגמי AI/ML גדולים עם מאות מיליארדים או אפילו טריליונים של פרמטרים, בעלות נמוכה משמעותית בהשוואה למעבדי GPU.

עם זאת, שוק הבינה המלאכותית הארגונית עדיין בחיתוליו, ו-Graphcore מתמודדת עם תחרות קשה בתחום זה מצד יריבים גדולים ומבוססים יותר.

אז בעוד שפיתוח על מודלים דלילים במיוחד של שפה מופחתת עבור AI לא צפוי לרדת בקרוב, נותר לראות אם זה יהיו ה-IPUs של Graphcore או המאיץ של מישהו אחר שבסופו של דבר יניע את עומסי העבודה של AI בארגונים. ®