בניית מודלים של יסודות (FMs) דורשת בנייה, תחזוקה ואופטימיזציה של אשכולות גדולים כדי להכשיר מודלים עם עשרות עד מאות מיליארדי פרמטרים על כמויות אדירות של נתונים. יצירת סביבה עמידה שיכולה להתמודד עם כשלים ושינויים סביבתיים מבלי לאבד ימים או שבועות של התקדמות אימוני מודלים היא אתגר תפעולי הדורש ממך ליישם קנה מידה של אשכולות, ניטור בריאות פרואקטיבי, בדיקת מקומות עבודה ויכולות לחידוש אוטומטי של ההדרכה במקרה של כשלים או בעיות. .
אנו שמחים לשתף זאת Amazon SageMaker HyperPod זמין כעת בדרך כלל כדי לאפשר מודלים של בסיס אימון עם אלפי מאיצים במהירות של עד 40% על ידי מתן סביבת אימון עמידה ביותר תוך ביטול ההרמה הכבדה הבלתי מובנת הכרוכה בהפעלת אשכולות אימונים בקנה מידה גדול. עם SageMaker HyperPod, מתרגלי למידת מכונה (ML) יכולים לאמן FMs במשך שבועות וחודשים ללא הפרעות, וללא צורך להתמודד עם בעיות כשל חומרה.
לקוחות כגון Stability AI משתמשים ב- SageMaker HyperPod כדי להכשיר את דגמי היסוד שלהם, כולל Stable Diffusion.
"כחברת הבינה המלאכותית היצירתית המובילה בקוד פתוח, המטרה שלנו היא למקסם את הנגישות של בינה מלאכותית מודרנית. אנו בונים מודלים של בסיס עם עשרות מיליארדי פרמטרים, שדורשים את התשתית כדי להתאים את ביצועי האימון בצורה מיטבית. עם התשתית המנוהלת וספריות האופטימיזציה של SageMaker HyperPod, אנו יכולים להפחית את זמן ההדרכה והעלויות בלמעלה מ-50%. זה הופך את אימון המודלים שלנו לגמיש יותר וביצועי יותר כדי לבנות מודלים חדישים יותר מהר יותר."
– Emad Mostaque, מייסד ומנכ"ל Stability AI.
כדי להפוך את המחזור המלא של פיתוח FMs עמיד בפני כשלי חומרה, SageMaker HyperPod עוזר לך ליצור אשכולות, לנטר את תקינות האשכולות, לתקן ולהחליף צמתים פגומים תוך כדי תנועה, לשמור נקודות ביקורת תכופות ולחדש באופן אוטומטי את האימון מבלי לאבד התקדמות. בנוסף, SageMaker HyperPod מוגדר מראש עם אמזון SageMaker ספריות הדרכה מבוזרות, כולל ה ספריית מקביליות נתונים של SageMaker (SMDDP) ו ספריית מודל מקביליות של SageMaker (SMP), כדי לשפר את ביצועי אימון FM על ידי הפיכתו פשוט לפצל נתוני אימון ומודלים לנתחים קטנים יותר ועיבודם במקביל על פני צמתי האשכולות, תוך ניצול מלא של תשתית המחשוב והרשת של האשכול. SageMaker HyperPod משלב את ה-Slurm Workload Manager לתזמור משרות באשכולות והדרכה.
סקירה כללית של מנהל עומס העבודה של Slurm
הרעיה, הידוע בעבר בשם Simple Linux Utility לניהול משאבים, הוא מתזמן משימות להפעלת עבודות באשכול מחשוב מבוזר. זה גם מספק מסגרת להפעלת עבודות מקבילות באמצעות ספריית התקשורת הקולקטיבית של NVIDIA (NCCL) or ממשק העברת הודעות (MPI) תקנים. Slurm היא מערכת פופולרית לניהול משאבי אשכולות בקוד פתוח בשימוש נרחב על ידי מחשוב ביצועים גבוהים (HPC) ועומסי עבודה יצירתיים של AI ו-FM. SageMaker HyperPod מספק דרך פשוטה להתחיל לעבוד עם אשכול Slurm תוך דקות ספורות.
להלן תרשים ארכיטקטוני ברמה גבוהה של האופן שבו משתמשים מקיימים אינטראקציה עם SageMaker HyperPod וכיצד רכיבי האשכול השונים מתקשרים זה עם זה ועם שירותי AWS אחרים, כגון אמזון FSx עבור ברק ו שירות אחסון פשוט של אמזון (אמזון S3).
עבודות Slurm מוגשות על ידי פקודות בשורת הפקודה. הפקודות להפעלת עבודות Slurm הן srun
ו sbatch
. ה srun
הפקודה מפעילה את עבודת ההדרכה במצב אינטראקטיבי וחסימה, ו sbatch
פועל בעיבוד אצווה ובמצב לא חסימה. srun
משמש בעיקר להפעלת עבודות מיידיות, בעוד sbatch
יכול לשמש עבור ריצות מאוחרות יותר של עבודות.
למידע על פקודות ותצורה נוספות של Slurm, עיין ב- תיעוד של Slurm Workload Manager.
חידוש אוטומטי ויכולות ריפוי
אחת התכונות החדשות עם SageMaker HyperPod היא היכולת לבצע חידוש אוטומטי בעבודות שלך. בעבר, כאשר צומת עובד נכשל במהלך ריצת עבודה אימון או כוונון עדין, זה היה תלוי במשתמש לבדוק את מצב העבודה, להפעיל מחדש את העבודה מנקודת הבידוק האחרונה ולהמשיך לנטר את העבודה לאורך כל הריצה. עם עבודות הדרכה או עבודות כוונון עדין שצריכות לפעול במשך ימים, שבועות או אפילו חודשים בכל פעם, הדבר הופך ליקר עקב התקורה האדמיניסטרטיבית הנוספת של המשתמש שצריך להשקיע מחזורים כדי לנטר ולתחזק את העבודה במקרה ש קריסות של צומת, כמו גם עלות זמן סרק של מופעי מחשוב מואץ יקרים.
SageMaker HyperPod מטפל בחוסן בעבודה על ידי שימוש בבדיקות תקינות אוטומטיות, החלפת צמתים ושחזור עבודה. עבודות Slurm ב- SageMaker HyperPod מנוטרות באמצעות תוסף Slurm מותאם אישית של SageMaker באמצעות מסגרת SPANK. כאשר עבודת הכשרה נכשלת, SageMaker HyperPod יבדוק את תקינות האשכול באמצעות חבילה של בדיקות תקינות. אם נמצא צומת פגום באשכול, ה-SageMaker HyperPod יסיר אוטומטית את הצומת מהאשכול, יחליף אותו בצומת בריא ויתחיל מחדש את עבודת האימון. בעת שימוש במחסום בעבודות הדרכה, כל עבודה שנקטעה או נכשלה יכולה להתחדש מהמחסום האחרון.
סקירת פתרונות
כדי לפרוס את SageMaker HyperPod שלך, תחילה אתה מכין את הסביבה שלך על ידי הגדרת התצורה שלך ענן וירטואלי פרטי של אמזון (Amazon VPC) קבוצות רשת ואבטחה, פריסת שירותים תומכים כגון FSx for Luster ב-VPC שלך, ופרסום סקריפטים של מחזור החיים של Slurm בדלי S3. לאחר מכן אתה פורס ומגדיר את SageMaker HyperPod שלך ומתחבר לצומת הראש כדי להתחיל בעבודות ההדרכה שלך.
תנאים מוקדמים
לפני שתיצור את SageMaker HyperPod שלך, תחילה עליך להגדיר את ה-VPC שלך, ליצור מערכת קבצים FSx for Luster, ולהקים דלי S3 עם סקריפטים של מחזור החיים של האשכולות הרצויים. אתה גם צריך את הגרסה העדכנית ביותר של ממשק שורת הפקודה של AWS (AWS CLI) והפלאגין CLI מותקן עבור מנהל הפעלות של AWS, יכולת של מנהל מערכות AWS.
SageMaker HyperPod משולב במלואו עם ה-VPC שלך. למידע על יצירת VPC חדש, ראה צור VPC ברירת מחדל or צור VPC. כדי לאפשר חיבור חלק עם הביצועים הגבוהים ביותר בין משאבים, עליך ליצור את כל המשאבים שלך באותו אזור ואזור זמינות, כמו גם לוודא שכללי קבוצת האבטחה המשויכים מאפשרים חיבור בין משאבי אשכול.
הבא, אתה צור מערכת קבצים FSx עבור Luster. זה ישמש כמערכת הקבצים בעלת הביצועים הגבוהים לשימוש לאורך כל הדרכת המודלים שלנו. ודא שקבוצות האבטחה FSx for Luster ו-Cluster מאפשרות תקשורת נכנסת ויוצאת בין משאבי אשכול ומערכת הקבצים FSx for Luster.
כדי להגדיר את סקריפטי מחזור החיים של האשכולות, המופעלים כאשר מתרחשים אירועים כגון מופע אשכול חדש, אתה יוצר דלי S3 ולאחר מכן מעתיק ואופציונלי מותאם אישית את סקריפטי מחזור החיים המוגדרים כברירת מחדל. עבור דוגמה זו, אנו מאחסנים את כל הסקריפטים של מחזור החיים בקידומת דלי של lifecycle-scripts
.
ראשית, אתה מוריד את סקריפטי מחזור החיים לדוגמה מה- GitHub ריפו. עליך להתאים אישית את אלה כך שיתאימו להתנהגויות האשכולות הרצויות שלך.
לאחר מכן, צור דלי S3 לאחסון תסריטי מחזור החיים המותאמים אישית.
לאחר מכן, העתק את סקריפטי מחזור החיים המוגדרים כברירת מחדל מהספרייה המקומית שלך לדלי ולקידומת הרצויים שלך באמצעות aws s3 sync
:
לבסוף, כדי להגדיר את הלקוח לחיבור פשוט לצומת הראש של האשכול, עליך להתקין או לעדכן את AWS CLI ולהתקין את תוסף CLI של AWS Session Manager כדי לאפשר חיבורי מסוף אינטראקטיביים לנהל את האשכול ולהפעיל עבודות הדרכה.
אתה יכול ליצור אשכול SageMaker HyperPod עם משאבים זמינים לפי דרישה או על ידי בקשת הזמנת קיבולת עם SageMaker. כדי ליצור הזמנת קיבולת, אתה יוצר בקשת הגדלת מכסה כדי לשמור סוגי מופעי מחשוב ספציפיים והקצאת קיבולת בלוח המחוונים של מכסות שירות.
הגדר את אשכול האימונים שלך
כדי ליצור אשכול SageMaker HyperPod שלך, בצע את השלבים הבאים:
- במסוף SageMaker בחר ניהול אשכולות תחת אשכולות HyperPod בחלונית הניווט.
- בחרו צור אשכול.
- ספק שם אשכול ואופציונלי כל תגים להחלה על משאבי אשכול, ולאחר מכן בחר הַבָּא.
- בחר צור קבוצת מופעים וציין את שם קבוצת המופעים, סוג המופע הדרוש, כמות המופעים הרצויה, ואת נתיב ה-S3 bucket ונתיב הקידומת שבהם העתקת את סקריפטי מחזור החיים של האשכול שלך בעבר.
מומלץ שיהיו קבוצות מופעים שונות עבור צמתי הבקר המשמשים לניהול האשכול והגשת עבודות ואת צמתי העובד המשמשים להפעלת עבודות הדרכה באמצעות מופעי מחשוב מואצים. אתה יכול לחלופין להגדיר קבוצת מופעים נוספת עבור צמתי כניסה.
- תחילה אתה יוצר את קבוצת המופעים של הבקר, שתכלול את צומת ראש האשכול.
- למשל של הקבוצה AWS זהות וניהול גישה (IAM) תפקיד, בחר צור תפקיד חדש וציין כל דלי S3 שתרצה שלמופעי האשכול בקבוצת המופעים תהיה גישה אליהם.
התפקיד שנוצר יקבל גישת קריאה בלבד לדליים שצוינו כברירת מחדל.
- בחרו צור תפקיד.
- הזן את שם הסקריפט שיופעל בכל יצירת מופע בהנחיית הסקריפט בעת היצירה. בדוגמה זו, נקרא הסקריפט ב-Create
on_create.sh
. - בחרו שמור.
- בחרו צור קבוצת מופעים כדי ליצור את קבוצת מופעי העובד שלך.
- ספק את כל הפרטים המבוקשים, כולל סוג המופע והכמות הרצויה.
דוגמה זו משתמשת בארבעה מופעים מואצים של ml.trn1.32xl כדי לבצע את עבודת ההדרכה שלנו. אתה יכול להשתמש באותו תפקיד IAM כמו קודם או להתאים אישית את התפקיד עבור מופעי העובד. באופן דומה, אתה יכול להשתמש בסקריפטים שונים של מחזור חיים בעת יצירה עבור קבוצת מופעי עובד זו מאשר קבוצת המופעים הקודמים.
- בחרו הַבָּא להמשיך.
- בחר את ה-VPC, רשת המשנה וקבוצות האבטחה הרצויות עבור מופעי האשכול שלך.
אנו מארחים את מופעי האשכול באזור זמינות יחיד וברשת משנה כדי להבטיח זמן אחזור נמוך.
שים לב שאם תיגש לנתוני S3 לעתים קרובות, מומלץ ליצור נקודת קצה VPC המשויכת לטבלת הניתוב של רשת המשנה הפרטית כדי להפחית את עלויות העברת הנתונים הפוטנציאליות.
- בחרו הַבָּא.
- עיין בסיכום פרטי האשכול ולאחר מכן בחר חפש.
לחלופין, כדי ליצור את SageMaker HyperPod שלך באמצעות AWS CLI, תחילה התאם אישית את פרמטרי ה-JSON המשמשים ליצירת האשכול:
לאחר מכן השתמש בפקודה הבאה כדי ליצור את האשכול באמצעות הקלט שסופק:
הפעל את עבודת ההדרכה הראשונה שלך עם לאמה 2
שימו לב שהשימוש בדגם Llama 2 כפוף לרישיון Meta. כדי להוריד את המשקולות והאסימון של הדגם, בקר באתר אתר אינטרנט וקבל את הרישיון לפני בקשת גישה אתר החיבוק של Meta.
לאחר שהאשכול פועל, התחבר עם Session Manager באמצעות מזהה האשכול, שם קבוצת המופע ומזהה המופע. השתמש בפקודה הבאה כדי להציג את פרטי האשכול שלך:
רשום את מזהה האשכול הכלול בתוך האשכול ARN בתגובה.
השתמש בפקודה הבאה כדי לאחזר את שם קבוצת המופע ומזהה המופע הדרושים לכניסה לאשכול.
שים לב ל InstanceGroupName
ו InstanceId
בתגובה שכן אלה ישמשו לחיבור למופע עם Session Manager.
כעת אתה משתמש ב-Session Manager כדי להיכנס לצומת הראש, או לאחד מצמתי הכניסה, ולהפעיל את עבודת ההדרכה שלך:
בשלב הבא, אנחנו הולכים להכין את הסביבה ולהוריד את Llama 2 ואת מערך הנתונים של RedPajama. לקבלת קוד מלא והסבר שלב אחר שלב לכך, עקוב אחר ההוראות ב- AWSome הדרכה מבוזרת ריפו GitHub.
בצע את השלבים המפורטים ב- 2.test_cases/8.neuronx-nemo-megatron/README.md
קוֹבֶץ. לאחר ביצוע השלבים להכנת הסביבה, הכנת המודל, הורדה ואסימון של מערך הנתונים, והידור מראש של המודל, עליך לערוך את 6.pretrain-model.sh
התסריט וה- sbatch
פקודת הגשת עבודה לכלול פרמטר שיאפשר לך לנצל את תכונת החידוש האוטומטי של SageMaker HyperPod.
ערוך sbatch
שורה כדי להיראות כך:
לאחר הגשת העבודה, תקבל א JobID
שבו אתה יכול להשתמש כדי לבדוק את מצב העבודה באמצעות הקוד הבא:
בנוסף, אתה יכול לפקח על העבודה על ידי מעקב אחר יומן הפלט של העבודה באמצעות הקוד הבא:
לנקות את
כדי למחוק את אשכול SageMaker HyperPod שלך, השתמש במסוף SageMaker או בפקודה הבאה של AWS CLI:
סיכום
פוסט זה הראה לך כיצד להכין את סביבת ה-AWS שלך, לפרוס את אשכול SageMaker HyperPod הראשון שלך, ולאמן דגם של 7 מיליארד פרמטרים של לאמה 2. SageMaker HyperPod זמין היום בדרך כלל באזורי אמריקה (מדינת וירג'יניה, אוהיו ואורגון), אסיה פסיפיק (סינגפור, סידני וטוקיו), ואירופה (פרנקפורט, אירלנד ושטוקהולם). ניתן לפרוס אותם דרך מסוף SageMaker, AWS CLI ו-AWS SDK, והם תומכים במשפחות המופעים p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5 ו-t3.
למידע נוסף על SageMaker HyperPod, בקר Amazon SageMaker HyperPod.
על המחברים
בראד דורן הוא מנהל חשבונות טכניים בכיר בשירותי האינטרנט של אמזון, המתמקד בבינה מלאכותית גנרטיבית. הוא אחראי על פתרון אתגרים הנדסיים עבור לקוחות בינה מלאכותית מחוללת בפלח השוק העסקי המקומי הדיגיטלי. הוא מגיע מרקע של פיתוח תשתיות ותוכנה וכיום הוא עוסק בלימודי דוקטורט ומחקר בבינה מלאכותית ולמידת מכונה.
קייטה ווטנבה הוא ארכיטקט פתרונות מומחה GenAI בכיר ב- Amazon Web Services, שם הוא עוזר בפיתוח פתרונות למידת מכונה באמצעות פרויקטי OSS כגון Slurm ו- Kubernetes. הרקע שלו הוא במחקר ופיתוח של למידת מכונה. לפני שהצטרף ל-AWS, קייטה עבדה בתעשיית המסחר האלקטרוני כמדען מחקר בפיתוח מערכות אחזור תמונות לחיפוש מוצרים. קייטה היא בעלת תואר דוקטור במדעים מאוניברסיטת טוקיו.
ג'סטין פירטל הוא אדריכל פתרונות ראשי בשירותי האינטרנט של אמזון. הוא מייעץ באופן קבוע ללקוחות בינה מלאכותית בתכנון, פריסה והגדלה של התשתית שלהם. הוא נואם קבוע בכנסים של AWS, כולל re:Invent, כמו גם אירועי AWS אחרים. ג'סטין הוא בעל תואר ראשון במערכות מידע ניהוליות מאוניברסיטת טקסס באוסטין ותואר שני בהנדסת תוכנה מאוניברסיטת סיאטל.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :הוא
- :איפה
- $ למעלה
- 1
- 100
- 12
- 14
- 24
- 7
- a
- יכולת
- אודות
- מוּאָץ
- מאיצים
- לְקַבֵּל
- גישה
- נגישות
- גישה
- חֶשְׁבּוֹן
- לרוחב
- תוספת
- נוסף
- כתובות
- לְנַהֵל
- מנהלי
- יתרון
- לאחר
- AI
- תעשיות
- הַקצָאָה
- להתיר
- מאפשר
- גם
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- אמריקה
- כמויות
- an
- ו
- כל
- החל
- אדריכלי
- ARE
- לְהִתְעוֹרֵר
- מלאכותי
- בינה מלאכותית
- בינה מלאכותית ולמידה מכונה
- AS
- אסיה
- אסיה פסיפיק
- המשויך
- At
- אוסטין
- אוטומטי
- באופן אוטומטי
- זמינות
- זמין
- AWS
- רקע
- BE
- הופך להיות
- לפני
- התנהגויות
- בֵּין
- מיליארדים
- חסימה
- לִבנוֹת
- בִּניָן
- עסקים
- by
- נקרא
- CAN
- יכולות
- יכולת
- קיבולת
- מנכ"ל
- לאתגר
- האתגרים
- שינויים
- לבדוק
- בדיקות
- בחרו
- לקוחות
- אשכול
- קוד
- קבוצתי
- מגיע
- תקשורת
- תקשורת
- חברה
- להשלים
- רכיבים
- לחשב
- מחשוב
- כנסים
- תְצוּרָה
- תצורה
- לְחַבֵּר
- הקשר
- חיבורי
- קונסול
- להמשיך
- בקר
- עלות
- יקר
- עלויות
- לִיצוֹר
- יוצרים
- יצירה
- כיום
- מנהג
- לקוחות
- אישית
- אישית
- מחזור
- מחזורי
- לוח מחוונים
- נתונים
- ימים
- עסקה
- בְּרִירַת מֶחדָל
- תואר
- לפרוס
- פרס
- פריסה
- תכנון
- רצוי
- מְפוֹרָט
- פרטים
- לפתח
- מתפתח
- צעצועי התפתחות
- אחר
- שידור
- דיגיטלי
- התפוררות
- מופץ
- מחשוב מבוזר
- הכשרה מבוזרת
- להורדה
- ראוי
- בְּמַהֲלָך
- כל אחד
- מסחר אלקטרוני
- או
- חיסול
- לאפשר
- נקודת קצה
- הנדסה
- לְהַבטִיחַ
- שלם
- סביבה
- סביבתי
- להקים
- אירופה
- אֲפִילוּ
- אירוע
- אירועים
- דוגמה
- נרגש
- יקר
- נוסף
- פָּנִים
- נכשל
- נכשל
- כשלון
- כישלונות
- משפחות
- מהר יותר
- פגום
- מאפיין
- תכונות
- שלח
- ראשון
- מרוכז
- לעקוב
- הבא
- בעד
- לשעבר
- מצא
- קרן
- מייסד
- מייסד ומנכל
- ארבע
- מסגרת
- פרנקפורט
- תכוף
- בתדירות גבוהה
- החל מ-
- מלא
- לגמרי
- בדרך כלל
- נוצר
- גנרטטיבית
- AI Generative
- לקבל
- GitHub
- מטרה
- הולך
- נשלט
- כמובן מאליו
- קְבוּצָה
- קבוצה
- לטפל
- חומרה
- יש
- יש
- he
- ראש
- ריפוי
- בְּרִיאוּת
- בריא
- כבד
- הרמת כבד
- עוזר
- גָבוֹהַ
- ברמה גבוהה
- ביצועים גבוהים
- הגבוה ביותר
- מאוד
- שֶׁלוֹ
- מחזיק
- המארח
- איך
- איך
- hpc
- HTML
- http
- HTTPS
- מאות
- ID
- זהות
- להתבטל
- if
- תמונה
- מיידי
- ליישם
- לשפר
- in
- לכלול
- כלול
- כולל
- להגדיל
- תעשייה
- מידע
- מערכות מידע
- תשתית
- תשומות
- להתקין
- מותקן
- למשל
- הוראות
- משולב
- משלב
- מוֹדִיעִין
- אינטראקציה
- אינטראקטיבי
- מִמְשָׁק
- נקטע
- אל תוך
- החדרה
- מעורב
- אירלנד
- בעיות
- IT
- עבודה
- מקומות תעסוקה
- הצטרפות
- jpg
- ג'סון
- ג'סטין
- ידוע
- גָדוֹל
- בקנה מידה גדול
- חֶבִיוֹן
- מאוחר יותר
- האחרון
- מוביל
- לִלמוֹד
- למידה
- ספריות
- סִפְרִיָה
- רישיון
- מעגל החיים
- רמה
- כמו
- קו
- לינוקס
- לאמה
- מקומי
- היכנס
- התחבר
- נראה
- נראה כמו
- לאבד
- נמוך
- מכונה
- למידת מכונה
- לתחזק
- שמירה
- לעשות
- עושה
- עשייה
- הצליח
- ניהול
- מנהל
- שוק
- מאסטר
- דבר
- לְהַגדִיל
- meta
- דקות
- ML
- מצב
- מודל
- מודלים
- מודרני
- צג
- פיקוח
- ניטור
- חודשים
- יותר
- בעיקר
- שם
- יליד
- ניווט
- צורך
- נחוץ
- צורך
- רשת
- חדש
- תכונות חדשות
- צומת
- צמתים
- הערות
- עַכשָׁיו
- Nvidia
- of
- אוהיו
- on
- On-Demand
- ONE
- לפתוח
- קוד פתוח
- פועל
- מבצעי
- אופטימיזציה
- מיטוב
- or
- תזמור
- אורגון
- לנו
- אחר
- שלנו
- תפוקה
- יותר
- פסיפיק
- זגוגית
- מקביל
- פרמטר
- פרמטרים
- חולף
- נתיב
- לְבַצֵעַ
- ביצועים
- דוקטורט
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- חיבור
- פופולרי
- הודעה
- פוטנציאל
- להכין
- קודם
- קוֹדֶם
- מנהל
- קודם
- פְּרָטִי
- פרואקטיבי
- להמשיך
- תהליך
- המוצר
- התקדמות
- פרויקטים
- ובלבד
- מספק
- מתן
- הוצאה לאור
- כמות
- RE
- מוּמלָץ
- התאוששות
- להפחית
- להתייחס
- באזור
- אזורים
- רגיל
- באופן קבוע
- להסיר
- לתקן
- להחליף
- תַחֲלִיף
- לבקש
- לדרוש
- דורש
- מחקר
- מחקר ופיתוח
- הזמנה
- עתודה
- מִתאוֹשֵׁשׁ מַהֵר
- משאב
- משאבים
- תגובה
- אחראי
- קורות חיים
- תפקיד
- ניתוב
- כללי
- הפעלה
- ריצה
- פועל
- בעל חכמים
- אותו
- שמור
- סולם
- דרוג
- מדע
- מַדְעָן
- תסריט
- סקריפטים
- sdks
- בצורה חלקה
- חיפוש
- סיאטל
- אבטחה
- לִרְאוֹת
- קטע
- לחצני מצוקה לפנסיונרים
- לשרת
- שרות
- שירותים
- מושב
- סט
- שיתוף
- צריך
- הראה
- באופן דומה
- פָּשׁוּט
- פשוט
- סינגפור
- יחיד
- קטן יותר
- תוכנה
- פיתוח תוכנה
- הנדסת תוכנה
- פתרונות
- פותר
- מָקוֹר
- רַמקוֹל
- מומחה
- ספציפי
- מפורט
- לבלות
- לפצל
- יציבות
- יציב
- תקנים
- התחלה
- מדינה-of-the-art
- מצב
- צעדים
- אחסון
- חנות
- פשוט
- מחקרים
- כְּנִיעָה
- להגיש
- הוגש
- המשנה
- כזה
- כדלקמן
- מערכת
- סיכום
- תמיכה
- מסייע
- בטוח
- סידני
- סינכרון.
- מערכת
- מערכות
- שולחן
- לקחת
- טכני
- עשרות
- מסוף
- טקסס
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- אלה
- הֵם
- זֶה
- אלפים
- דרך
- בכל
- זמן
- ל
- היום
- tokenize
- טוקיו
- רכבת
- הדרכה
- להעביר
- סוג
- סוגים
- תחת
- אוניברסיטה
- אוניברסיטת טוקיו
- עדכון
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- שימושים
- באמצעות
- תועלת
- ניצול
- שונים
- Vast
- גרסה
- באמצעות
- לצפיה
- וירג'יניה
- וירטואלי
- לְבַקֵר
- בהדרכה
- היה
- דֶרֶך..
- we
- אינטרנט
- שירותי אינטרנט
- שבועות
- טוֹב
- מתי
- אשר
- בזמן
- באופן נרחב
- ויקיפדיה
- יצטרך
- עם
- בתוך
- לְלֹא
- עבד
- עובד
- היה
- אתה
- זפירנט