ראיון אישי ועידת טכנולוגיית ה-GPU של Nvidia הסתיימה בשבוע שעבר, והביאה בשורה על שבבי Blackwell של החברה ועל נפלאות הבינה המלאכותית, עם כל חומרת ה-GPU שנרכשה ביוקר שמשתמע מכך.
כזה הוא הבאזז סביב החברה שמחיר המניה שלה מפלרטט עם שיא שיא, בהתבסס על התפיסה שאפשר לעשות מאמצים יצירתיים רבים יותר מהר אם לא טוב יותר עם האוטומציה שמתאפשרת על ידי מודלים של למידת מכונה.
זה עדיין נבדק בשוק.
פעם ג'ורג' סנטיאנה כתב: "מי שאינו יכול לזכור את העבר נידון לחזור עליו". זה ביטוי שחוזר על עצמו לעתים קרובות. עם זאת, זיכרון של דברים מהעבר לא באמת הבדיל בין דגמי AI. הם יכולים לזכור את העבר אבל הם עדיין נידונים לחזור עליו לפי דרישה, לפעמים בצורה שגויה.
למרות זאת, רבים נשבעים ב-AI הכל יכול, במיוחד אלה שמוכרים חומרת AI או שירותי ענן. Nvidia, בין היתר, מהמרת עליו בגדול. כך הקופה ערך ביקור קצר בכנס GPU כדי לראות על מה כל המהומה. זה בהחלט לא היה על ברים לימון שהוגשו באולם התצוגה ביום חמישי, שרבים מהם סיימו את ההנפקה הציבורית הראשונית שלהם ללא גמר בפחי רצפת התצוגה.
שיחה מרתקת הרבה יותר הקופה היה עם קארי בריסקי, סגן נשיא לניהול מוצר עבור ערכות פיתוח תוכנה בינה מלאכותית ו-HPC ב-Nvidia. היא עומדת בראש ניהול מוצרי תוכנה עבור דגמי היסוד של החברה, הספריות, ה-SDKs וכעת מיקרו-שירותים העוסקים בהדרכה והסקה, כמו ההודעה החדשה שהוכרזה אוֹתוֹ שירותי מיקרו והמבוססים יותר נמו מסגרת פריסה.
הקופה: איך חברות הולכות לצרוך את המיקרו-שירותים האלה - בענן, בשטח?
בריסקי: זה בעצם היופי שבסיבה שבנו את ה-NIM. זה די מצחיק להגיד "ה-NIMs." אבל התחלנו את המסע הזה מזמן. אנחנו עובדים בהסקת מסקנות מאז שהתחלתי - אני חושב שזה היה TensorRT 1.0 כשהתחלתי את 2016.
במהלך השנים הגדלנו את ערימת ההסקות שלנו, למדנו יותר על כל סוג אחר של עומס עבודה, החל בראייה ממוחשבת ומערכות ממליצים עמוקים ודיבור, זיהוי דיבור אוטומטי וסינתזה של דיבור וכעת מודלים גדולים של שפות. זה היה מחסנית ממש ממוקדת מפתחים. ועכשיו, כשארגונים [ראו] את OpenAI ו-ChatGPT, הם מבינים את הצורך שדגמי השפה הגדולים האלה יפעלו ליד הנתונים הארגוניים שלהם או באפליקציות הארגוניות שלהם.
ספק שירותי הענן הממוצע, עבור השירותים המנוהלים שלהם, היו להם מאות מהנדסים שעבדו על טכניקות הסקה ואופטימיזציה. חברות לא יכולות לעשות את זה. הם צריכים לקבל את הזמן לערך מיד. זו הסיבה שהכנסנו את כל מה שלמדנו במהלך השנים עם TensorRT, מודלים של שפות גדולות, שרת ה-Triton Inference שלנו, API סטנדרטי ובדיקות תקינות. [הרעיון הוא להיות] מסוגל לקלוט את כל זה כדי שתוכל להגיע מאפס לנקודת קצה של מודל שפה גדול תוך פחות מחמש דקות.
[בקשר למרכז נתונים מקומי לעומת ענן], הרבה מהלקוחות שלנו הם ענן היברידי. הם העדיפו מחשוב. אז במקום לשלוח את הנתונים לשירות מנוהל, הם יכולים להפעיל את המיקרו-שירות קרוב לנתונים שלהם והם יכולים להפעיל אותו היכן שהם רוצים.
הקופה: איך נראית ערימת התוכנה של Nvidia עבור AI מבחינת שפות תכנות? האם זה עדיין במידה רבה CUDA, Python, C ו-C++? האם אתה מחפש במקומות אחרים מהירות ויעילות רבה יותר?
בריסקי: אנחנו תמיד חוקרים היכן שמפתחים משתמשים. זה תמיד היה המפתח שלנו. אז מאז שהתחלתי ב-Nvidia, עבדתי על ספריות מתמטיקה מואצות. ראשית, היית צריך לתכנת ב-CUDA כדי לקבל מקביליות. ואז היו לנו ממשקי API של C. והיה לנו Python API. אז זה על לקחת את הפלטפורמה לאן שהמפתחים נמצאים. כרגע, מפתחים רק רוצים להגיע לנקודת קצה ממש פשוטה של ממשק API, כמו עם פקודת curl או פקודת Python או משהו דומה. אז זה צריך להיות סופר פשוט, כי זה בערך המקום שבו אנחנו פוגשים את המפתחים היום.
הקופה: CUDA כמובן משחק תפקיד עצום בהפיכת חישוב GPU ליעיל. מה Nvidia עושה כדי לקדם CUDA?
בריסקי: CUDA הוא הבסיס לכל ה-GPUs שלנו. זהו GPU התומך ב-CUDA וניתן לתכנות ב-CUDA. לפני כמה שנים, קראנו לזה CUDA-X, כי היו לך שפות ספציפיות לתחום. אז אם יש לך הדמיה רפואית [אפליקציה], יש לך cuCIM. אם יש לך זיהוי דיבור אוטומטי, יש לך מפענח חיפוש אלומה מואץ של CUDA בסוף שלו. אז יש את כל הדברים הספציפיים האלה עבור כל סוג אחר של עומס עבודה שהואצה על ידי CUDA. בנינו את כל הספריות המיוחדות הללו במהלך השנים כמו cuDF ו cuML,וכן-זה-ו-זה. כל ספריות ה-CUDA הללו הן הבסיס למה שבנינו במהלך השנים ועכשיו אנחנו קצת בונים על זה.
הקופה: איך Nvidia מסתכלת על שיקולי עלות מבחינת האופן שבו היא מעצבת את התוכנה והחומרה שלה? עם משהו כמו Nvidia AI Enterprise, זה 4,500 $ ל-GPU בכל שנה, וזה לא מבוטל.
בריסקי: ראשית, עבור חברות קטנות יותר, תמיד יש לנו את ההקמה תכנית. אנחנו תמיד עובדים עם לקוחות - ניסיון חינם של 90 יום, האם זה באמת בעל ערך עבורך? האם זה באמת שווה את זה? לאחר מכן, כדי להפחית את העלויות שלך כשאתה קונה את זה, אנחנו תמיד מייעלים את התוכנה שלנו. אז אם היית קונה 4,500$ ל-GPU לשנה לכל רישיון, ואתה רץ על A100, ואתה רץ על H100 מחר, זה אותו מחיר - העלות שלך ירדה [ביחס לתפוקה שלך]. אז אנחנו תמיד בונים את האופטימיזציות האלה ואת העלות הכוללת של הבעלות והביצועים בחזרה לתוכנה.
כשאנחנו חושבים גם על אימון וגם על מסקנות, האימון אמנם לוקח קצת יותר, אבל יש לנו את הקופיגורטורים האוטומטיים האלה כדי להיות מסוגלים לומר, "כמה נתונים יש לך? כמה מחשוב אתה צריך? כמה זמן אתה רוצה שזה ייקח?" אז אתה יכול לקבל טביעת רגל קטנה יותר של מחשוב, אבל זה יכול לקחת יותר זמן לאמן את המודל שלך ... האם תרצה לאמן אותו תוך שבוע? או שתרצה לאמן אותו ביום? וכך אתה יכול לעשות את ההחלפות האלה.
הקופה: מבחינת הבעיות הנוכחיות, האם יש משהו מסוים שתרצה לפתור או האם יש אתגר טכני שאתה רוצה להתגבר עליו?
בריסקי: כרגע, זה מונחה אירועים סְחָבוֹת [שזו דרך להגדיל מודלים של בינה מלאכותית עם נתונים שנאספו ממקור חיצוני]. הרבה ארגונים רק חושבים על הנחיה הקלאסית ליצור תשובה. אבל באמת, מה שאנחנו רוצים לעשות זה [לשרשר] את כל המערכות הגנרטיביות המוגברות באחזור ביחד. כי אם אתה חושב עליך, ועל משימה שאולי תרצה לעשות: "אה, אני חייב ללכת לדבר עם צוות מסד הנתונים. וצוות מסד הנתונים הזה צריך ללכת לדבר עם צוות ה-Tableau. הם חייבים לעשות לי לוח מחוונים", וכל הדברים האלה צריכים לקרות לפני שאתה באמת יכול להשלים את המשימה. אז זה סוג של RAG מונע מאירועים. לא הייתי אומר ש-RAG מדברים עם RAG, אבל זה בעצם זה - סוכנים שיוצאים לדרך ומבצעים הרבה עבודה וחוזרים. ואנחנו על סף זה. אז אני חושב שזה משהו שאני ממש נרגש לראות ב-2024.
הקופה: האם Nvidia מייצרת ניסוי בינה מלאכותית משלה? האם מצאתם AI שימושי פנימי?
בריסקי: למעשה, יצאנו לדרך ובשנה שעברה, מאז שנת 2023 הייתה שנת החקירה, היו 150 צוותים בתוך Nvidia שמצאתי - היו יכולים להיות יותר - וניסינו לומר, איך אתה משתמש בכלים שלנו, איזה סוג של מקרי שימוש והתחלנו לשלב את כל הלמידה, בערך מתוך כאלף פרחים שפורחים, ושילבנו את כל הלמידה שלהם לשיטות מומלצות לריפו אחד. זה בעצם מה שפרסמנו בתור מה שאנחנו מכנים דוגמאות AI גנרטיבי ב-GitHub, כי רק רצינו לקבל את כל השיטות המומלצות במקום אחד.
זה בערך מה שעשינו מבחינה מבנית. אבל כדוגמה מפורשת, אני חושב שכתבנו את המאמר הנהדר הזה שנקרא ChipNeMo, ולמעשה הכל קשור לצוות העיצוב של EDA, VLSI שלנו, וכיצד הם לקחו את מודל הבסיס והם אימנו אותו על הנתונים הקנייניים שלנו. יש לנו שפות קידוד משלנו עבור VLSI. אז הם קידמו טייסי משנה [מודלים של יצירת קוד פתוח] כדי שיוכלו ליצור את השפה הקניינית שלנו ולעזור לפרודוקטיביות של מהנדסים חדשים שהגיעו, שלא כל כך מכירים את קוד כתיבת שבב עיצוב ה-VLSI שלנו.
וזה הדהד אצל כל לקוח. אז אם אתה מדבר עם SAP, יש להם ABAP (Advanced Business Application Programming), שזה כמו SQL קנייני למסד הנתונים שלהם. ודיברתי עם שלושה לקוחות אחרים שהיו להם שפות קנייניות שונות - אפילו ל-SQL יש מאות דיאלקטים. כך שהיכולת ליצור קוד אינה מקרה שימוש שניתן לפתרון מיידי על ידי RAG. כן, RAG עוזר לאחזר תיעוד וכמה קטעי קוד, אבל אלא אם כן הוא מאומן ליצור את האסימונים בשפה זו, הוא לא יכול להמציא רק קוד.
הקופה: כשאתה מסתכל על מודלים של שפות גדולות והאופן שבו הם משורשרים יחד עם יישומים, האם אתה חושב על ההשהיה שעלולה להופיע וכיצד להתמודד עם זה? האם יש מקרים שבהם פשוט קוד קשיח של עץ החלטות נראה כאילו זה הגיוני יותר?
בריסקי: אתה צודק, כשאתה שואל שאלה מסוימת, או הנחיה מסוימת, יכול להיות שיש, אפילו עבור שאלה אחת, יכולים להיות חמישה או שבעה דגמים שכבר יצאו לדרך כדי שתוכל לקבל שכתוב מהיר ומעקות בטיחות ורטריבר ודירוג מחדש ואחר כך הגנרטור. זו הסיבה שה-NIM כל כך חשוב, כי ביצענו אופטימיזציה לזמן השהייה.
זו גם הסיבה שאנו מציעים גרסאות שונות של דגמי היסוד מכיוון שאולי יש לך SLM, מודל שפה קטן שהוא די טוב יותר עבור קבוצה מסוימת של משימות, ואז אתה רוצה את הדגם הגדול יותר עם דיוק רב יותר בסוף. אבל אז שרשרת הכל כך שתתאים לחלון ההשהיה שלך היא בעיה שפתרנו במשך השנים עבור שירותים מנוהלים רבים. יש להם את חלונות ההשהיה האלה והרבה פעמים כשאתה שואל שאלה או מבצע חיפוש, הם למעשה יוצאים לדרך ומוציאים את השאלה מספר פעמים. אז יש להם הרבה תנאי מרוץ של "מהו חלון ההשהיה שלי לכל חלק קטן מהתגובה הכוללת?" אז כן, אנחנו תמיד מסתכלים על זה.
לנקודה שלך לגבי קידוד קשיח, בדיוק דיברתי עם לקוח על זה היום. אנחנו הרבה מעבר לקידוד קשיח... אתה יכול להשתמש במנהל דיאלוג ויש לך אם-אז-אחר. [אבל] ניהול אלפי הכללים הוא ממש ממש בלתי אפשרי. ובגלל זה אנחנו אוהבים דברים כמו מעקות בטיחות, כי מעקות מייצגים מעין תחליף למנהל דיאלוג קלאסי. במקום לומר, "אל תדבר על בייסבול, אל תדבר על סופטבול, אל תדבר על כדורגל," ולפרט אותם, אתה יכול פשוט לומר, "אל תדבר על ספורט". ואז ה-LLM יודע מה זה ספורט. החיסכון בזמן, והיכולת לנהל את הקוד הזה מאוחר יותר, הרבה יותר טוב. ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/03/26/nvdiai_kari_briski_interview/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 150
- 2016
- 2023
- 2024
- 500
- 7
- a
- יכול
- אודות
- מוּאָץ
- דיוק
- למעשה
- לקדם
- מתקדם
- סוכנים
- לִפנֵי
- AI
- דגמי AI
- תעשיות
- כְּבָר
- גם
- תמיד
- בין
- an
- ו
- הודיע
- לענות
- דבר
- בנפרד
- API
- ממשקי API
- בקשה
- יישומים
- ARE
- סביב
- AS
- לשאול
- At
- המכונית
- מכני עם סלילה אוטומטית
- אוטומציה
- מְמוּצָע
- רָחוֹק
- בחזרה
- סורגים
- בייסבול
- מבוסס
- BE
- קרן
- יופי
- כי
- היה
- לפני
- להיות
- הטוב ביותר
- שיטות עבודה מומלצות
- מוטב
- התערבות
- מעבר
- גָדוֹל
- פחים
- קצת
- שניהם
- מביאים
- בִּניָן
- נבנה
- עסקים
- אבל
- לִקְנוֹת
- קנייה
- by
- C + +
- שיחה
- נקרא
- CAN
- יכול לקבל
- לא יכול
- מקרה
- מקרים
- בהחלט
- שרשרת
- כבול
- לאתגר
- ChatGPT
- בדיקות
- שבב
- שבבי
- סְגוֹר
- ענן
- שירותי ענן
- CO
- קוד
- סִמוּל
- לשלב
- משולב
- מגיע
- חברות
- חברה
- להשלים
- חישוב
- לחשב
- המחשב
- ראייה ממוחשבת
- הגיע למסקנה
- נידון
- תנאים
- כנס
- רב
- שיקולים
- לצרוך
- שיחה
- עלות
- עלויות
- יכול
- יְצִירָתִי
- נוֹכְחִי
- Cusp
- לקוח
- לקוחות
- לוח מחוונים
- נתונים
- מסד נתונים
- Datacenter
- יְוֹם
- עסקה
- החלטה
- עמוק
- דרישה
- פריסה
- עיצוב
- עיצובים
- מפתחים
- צעצועי התפתחות
- דיאלוג
- DID
- אחר
- do
- תיעוד
- עושה
- עושה
- דון
- עשה
- מטה
- כל אחד
- אפקטיבי
- יְעִילוּת
- במקום אחר
- מופעל
- כמוס
- סוף
- מאמצים
- הסתיים
- נקודת קצה
- מרתק
- מהנדסים
- מִפְעָל
- חברות
- למעשה
- נוסד
- אֲפִילוּ
- אי פעם
- כל
- הכל
- דוגמה
- נרגש
- תערוכה
- חקירה
- היכרות
- חיצוני
- חקלאות
- מהר יותר
- הושג
- מעטים
- ראשון
- מתאים
- חמש
- קוֹמָה
- כדורגל
- עָקֵב
- בעד
- מצא
- קרן
- מסגרת
- חופשי
- החל מ-
- מצחיק
- ליצור
- דור
- גנרטטיבית
- גנרטור
- לקבל
- GitHub
- Go
- הולך
- נעלם
- קבל
- GPU
- GPUs
- גדול
- יותר
- גדל
- גוטנברג
- היה
- הול
- לקרות
- חומרה
- יש
- ראשי
- בְּרִיאוּת
- לעזור
- עוזר
- עליות
- מכה
- איך
- איך
- hpc
- תוכנת HPC
- HTTPS
- עצום
- מאות
- היברידי
- i
- רעיון
- if
- הדמיה
- מיד
- חשוב
- בלתי אפשרי
- in
- לא נכון
- בתחילה
- במקום
- כלפי פנים
- ראיון אישי
- אל תוך
- מבוא
- IT
- שֶׁלָה
- מסע
- jpg
- רק
- מפתח
- סוג
- לדעת
- יודע
- תווית
- שפה
- שפות
- גָדוֹל
- במידה רבה
- גדול יותר
- אחרון
- שנה שעברה
- חֶבִיוֹן
- מאוחר יותר
- למד
- למידה
- ספריות
- רישיון
- כמו
- רישום
- קְצָת
- LLM
- ארוך
- הרבה זמן
- עוד
- נראה
- נראה כמו
- הסתכלות
- מגרש
- מכונה
- למידת מכונה
- עשוי
- לעשות
- עשייה
- לנהל
- הצליח
- ניהול
- מנהל
- ניהול
- רב
- שוק
- מתמטיקה
- מאי..
- me
- רפואי
- מפגש
- שירות מיקרו
- מיקרו
- יכול
- דקות
- מודל
- מודלים
- יותר
- הרבה
- מספר
- my
- צורך
- חדש
- חדש
- הבא
- רעיון
- עַכשָׁיו
- Nvidia
- of
- כבוי
- הַצָעָה
- הצעה
- לעתים קרובות
- oh
- on
- פעם
- ONE
- לפתוח
- קוד פתוח
- OpenAI
- אופטימיזציה
- אופטימיזציות
- אופטימיזציה
- מיטוב
- or
- אחר
- אחרים
- שלנו
- הַחוּצָה
- יותר
- להתגבר על
- שֶׁלוֹ
- בעלות
- מאמר
- חלק
- מסוים
- במיוחד
- עבר
- עבור
- ביצועים
- ביצוע
- מקום
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- נקודה
- פרקטיקות
- מועדף
- נשיא
- מחיר
- בעיה
- בעיות
- המוצר
- ניהול מוצר
- פִּריוֹן
- תָכְנִית
- תכנות
- שפות תכנות
- קניינית
- ספק
- ציבורי
- נרכש
- פיתון
- שאלה
- דַי
- גזע
- סמרטוט
- RE
- בֶּאֱמֶת
- הכרה
- שיא
- הפחתה
- להתייחס
- קרוב משפחה
- שוחרר
- לזכור
- לחזור על
- חזר
- תַחֲלִיף
- לייצג
- הדהד
- תגובה
- שִׁכתוּב
- תקין
- תפקיד
- כללי
- הפעלה
- ריצה
- s
- אותו
- מוהל
- חיסכון
- לומר
- אמר
- sdks
- חיפוש
- לִרְאוֹת
- ראות
- נראה
- לראות
- מכירת
- שליחה
- תחושה
- שירת
- שרת
- שרות
- ספק שירות
- שירותים
- סט
- שבע
- היא
- לְהַצִיג
- קומה ראווה
- דומה
- פָּשׁוּט
- בפשטות
- since
- קטן
- קטן יותר
- So
- תוכנה
- פיתוח תוכנה
- לפתור
- פותר
- כמה
- משהו
- מָקוֹר
- קוד מקור
- מיוחד
- ספציפי
- נאום
- זיהוי דיבור
- מְהִירוּת
- ספורט
- ספורט
- לערום
- תֶקֶן
- החל
- החל
- עוד
- מניות
- סוּפֶּר
- סינתזה
- מערכות
- תמונת חיה
- לקחת
- נטילת
- לדבר
- מדבר
- המשימות
- משימות
- נבחרת
- צוותי
- טכני
- טכניקות
- טכנולוגיה
- מונחים
- נבדק
- זֶה
- השמיים
- הבאז
- שֶׁלָהֶם
- אותם
- אז
- שם.
- אלה
- הֵם
- דברים
- לחשוב
- חושב
- זֶה
- אלה
- אלף
- אלפים
- שְׁלוֹשָׁה
- תפוקה
- יום חמישי
- זמן
- פִּי
- ל
- היום
- יַחַד
- מטבעות
- מחר
- לקח
- כלים
- חלק עליון
- סה"כ
- סחר
- רכבת
- מְאוּמָן
- הדרכה
- עץ
- מִשׁפָּט
- טריטון
- מנסה
- סוג
- תחת
- להבין
- אלא אם כן
- להשתמש
- במקרה להשתמש
- מועיל
- באמצעות
- בעל ערך
- Ve
- גירסאות
- נגד
- סְגָן
- סגן הנשיא
- חזון
- לְבַקֵר
- רוצה
- רציתי
- היה
- דֶרֶך..
- we
- שבוע
- הלכתי
- היו
- מה
- מה
- מתי
- בַּאֲשֶׁר
- אשר
- מי
- למה
- חלון
- חלונות
- עם
- בתוך
- Word
- תיק עבודות
- עבד
- עובד
- ראוי
- היה
- לא
- כתיבה
- כתב
- שנה
- שנים
- כן
- עוד
- אתה
- זפירנט
- אפס