פוסט אורח זה נכתב על ידי Vihan Lakshman, Tharun Medini, ו-Anshumali Shrivastava מ-ThirdAI.
למידה עמוקה בקנה מידה גדול יצרה לאחרונה התקדמות מהפכנית במגוון עצום של תחומים. למרות שההתקדמות המדהימה הזו בתחום הבינה המלאכותית נותרה יוצאת דופן, העלויות הפיננסיות וצריכת האנרגיה הנדרשות לאימון הדגמים הללו התגלו כצוואר בקבוק קריטי בשל הצורך בחומרה מיוחדת כמו GPUs. באופן מסורתי, אפילו מודלים עצביים בגודל צנוע דרשו מאיצי חומרה יקרים להדרכה, מה שמגביל את מספר הארגונים בעלי האמצעים הפיננסיים לנצל את מלוא היתרונות של הטכנולוגיה הזו.
ThirdAI Corp., שנוסדה בשנת 2021, היא סטארט-אפ המוקדש למשימה של דמוקרטיזציה של טכנולוגיות בינה מלאכותית באמצעות חידושי אלגוריתמים ותוכנה שמשנים מהותית את הכלכלה של למידה עמוקה. פיתחנו מנוע למידה עמוקה דלילה, המכונה BOLT, שתוכנן במיוחד לאימון ופריסה של מודלים על חומרת CPU סטנדרטית, בניגוד למאיצים יקרים ועתירי אנרגיה כמו GPUs. לרבים מהלקוחות שלנו יש דיווח על שביעות רצון חזקה עם היכולת של ThirdAI לאמן ולפרוס מודלים של למידה עמוקה לבעיות עסקיות קריטיות בתשתית CPU חסכונית.
בפוסט זה, אנו חוקרים את הפוטנציאל של מעבד ה-AWS Graviton3 להאיץ אימון רשתות עצביות עבור מנוע הלמידה העמוק של ThirdAI הייחודי של ThirdAI.
היתרונות של מעבדים בעלי ביצועים גבוהים
ב-ThirdAI, אנו משיגים את פריצות הדרך הללו באימון רשתות עצביות יעילה במעבדים באמצעות אלגוריתמים דינמיים דינמיים דלילים המפעילים רק תת-קבוצה של נוירונים עבור קלט נתון (ראה את האיור הבא), ובכך מעקפים את הצורך בחישובים צפופים מלאים. בניגוד לגישות אחרות לאימון רשתות עצביות דלילה, ThirdAI משתמשת hashing רגיש ליישוב כדי לבחור באופן דינמי נוירונים עבור קלט נתון כפי שמוצג בשורות המודגשות למטה. במקרים מסוימים, אפילו ראינו את זה שלנו דגמים דלילים מבוססי מעבד להתאמן מהר יותר מהארכיטקטורה הצפופה המקבילה במעבדי GPU.
בהתחשב בכך שרבים מלקוחות היעד שלנו פועלים בענן - וביניהם, רובם משתמשים ב-AWS - היינו נרגשים לנסות את מעבד AWS Graviton3 כדי לראות אם השיפורים המרשימים במחיר-ביצועים של חדשנות הסיליקון של אמזון יתורגמו לעומס העבודה הייחודי שלנו של אימון רשתות עצביות דלילה ובכך לספק חיסכון נוסף ללקוחות. למרות שגם קהילת המחקר וגם צוות AWS Graviton סיפקו התקדמות מלהיבה בהאצה הסקת רשת עצבית במופעי CPU, אנחנו ב-ThirdAI הם, למיטב ידיעתנו, הראשונים שחקרו ברצינות כיצד לאמן מודלים עצביים על מעבדים ביעילות.
כפי שמוצג בתוצאות שלנו, צפינו בהאצת אימון משמעותית עם AWS Graviton3 על פני מופעי Intel ו-NVIDIA הדומים בכמה עומסי עבודה מייצגים של דוגמנות.
סוגי מופעים
להערכתנו, שקלנו שני מקרים דומים של מעבד AWS: מכונת c6i.8xlarge המופעלת על ידי מעבד Ice Lake של אינטל ו-c7g.8xlarge המופעלת על ידי AWS Graviton3. הטבלה הבאה מסכמת את הפרטים של כל מופע.
מופע | vCPU | RAM (GB) | מעבד | מחיר לפי דרישה (us-east-1) |
c7g.8xlarge | 32 | 64 | AWS Graviton3 | $ 1.1562 / hr |
c6i.8xlarge | 32 | 64 | אגם קרח אינטל | $ 1.36 / hr |
g5g.8xlarge (GPU) | 32 | 64 עם זיכרון GPU של 16 GB | מעבדי AWS Graviton2 עם 1 NVIDIA T4G GPU | $ 1.3720 / hr |
הערכה 1: סיווג קיצוני
להערכה הראשונה שלנו, אנו מתמקדים בבעיה של סיווג ריבוי תוויות קיצוני (XMC), פרדיגמת למידת מכונה (ML) פופולרית יותר ויותר עם מספר יישומים מעשיים בחיפוש והמלצות (כולל ב- אמזון בעברית). להערכתנו, אנו מתמקדים בציבור משימת המלצת מוצר של Amazon-670K, אשר בהינתן מוצר קלט, מזהה מוצרים דומים מאוסף של למעלה מ-670,000 פריטים.
בניסוי זה, אנו מסמנים את מנוע ה-BOLT של ThirdAI מול TensorFlow 2.11 ו-PyTorch 2.0 על אפשרויות החומרה שהוזכרו לעיל: Intel Ice Lake, AWS Graviton3 ו-NVIDIA T4G GPU. עבור הניסויים שלנו על אינטל ו-AWS Graviton, אנו משתמשים ב-AWS Deep Learning AMI (Ubuntu 18.04) גרסה 59.0. להערכת ה-GPU שלנו, אנו משתמשים ב- Arm64 AMI המותאם ל-NVIDIA GPU, זמין דרך AWS Marketplace. עבור הערכה זו, אנו משתמשים ב- ארכיטקטורת דגם SLIDE, שמשיג גם ביצועים תחרותיים במשימת הסיווג הקיצונית הזו וגם ביצועי אימון חזקים במעבדים. להשוואות TensorFlow ו-PyTorch שלנו, אנו מיישמים את הגרסה האנלוגית של ארכיטקטורת ה-SLIDE multi-layer perceptron (MLP) עם הכפלות מטריצות צפופות. אנו מאמנים כל דגם במשך חמש תקופות (עובר מלא במערך ההדרכה) עם גודל אצווה קבוע של 256 וקצב למידה של 0.001. ראינו שכל הדגמים השיגו את אותו דיוק הבדיקה של 33.6%.
הטבלה הבאה משווה את זמן האימון של ה-BOLT של ThirdAI ל-TensorFlow 2.11 ו-PyTorch 2.0 במדד הסיווג הקיצוני של Amazon670k. כל הדגמים משיגים את אותו דיוק בדיקה. אנו רואים ש-AWS Graviton3 מאיץ במידה ניכרת את הביצועים של BOLT מחוץ לקופסה ללא צורך בהתאמות אישיות - בכ-40%. ה-BOLT של ThirdAI ב-AWS Graviton3 גם משיג אימון מהיר בהרבה מדגמי TensorFlow או PyTorch המאומנים על ה-GPU. שים לב שאין תוצאה של ThirdAI במדד ה-NVIDIA GPU מכיוון ש-BOLT נועד לפעול על מעבדים. אנחנו לא כוללים מדדי TensorFlow ו-PyTorch CPU בגלל זמן ההכשרה הארוך ביותר.
הטבלה הבאה מסכמת את זמן האימון ואת דיוק הבדיקה עבור כל מעבד/מעבד מיוחד (GPU).
מעבד | מנוע | זמן אימון (ים) | בדיקת דיוק |
Intel Ice Lake (c6i.8xlarge) | BOLT | 1470 | 33.6 |
AWS Graviton3 (c7g.8xlarge) | BOLT | 935 | 33.6 |
NVIDIA T4G (g5g.8xlarge) | TensorFlow | 7550 | 33.6 |
NVIDIA T4G (g5g.8xlarge) | PyTorch | 5130 | 33.6 |
הערכה 2: ניתוח סנטימנט קוטביות Yelp
להערכה השנייה שלנו, אנו מתמקדים בפופולרי Yelp Polarity מדד ניתוח סנטימנטים, הכולל סיווג ביקורת כחיובית או שלילית. לצורך הערכה זו, אנו משווים את של ThirdAI רובוטריקים עמוקים אוניברסליים (UDT) דגם נגד מכוון DistilBERT רשת, מודל שפה דחוס מיומן מראש המשיג ביצועים כמעט מתקדמים עם חביון מסקנות מופחת. מכיוון שכוונון עדין של דגמי DistilBERT על מעבד ייקח הרבה זמן (לפחות מספר ימים), אנו מסמנים את הדגמים מבוססי ה-CPU של ThirdAI מול DistilBERT המכוונים עדין על GPU. אנו מאמנים את כל הדגמים בגודל אצווה של 256 למעבר בודד בנתונים (תקופה אחת). אנו מציינים שאנו יכולים להשיג דיוק מעט גבוה יותר עם BOLT עם מעברים נוספים בנתונים, אך אנו מגבילים את עצמנו למעבר בודד בהערכה זו לצורך עקביות.
כפי שמוצג באיור הבא, AWS Graviton3 שוב מאיץ באופן ניכר את אימון מודל ה-UDT של ThirdAI. יתר על כן, UDT מסוגל להשיג דיוק בדיקה דומה ל-DistilBERT עם שבריר מזמן האימון וללא צורך ב-GPU. אנו מציינים כי הייתה גם עבודה לאחרונה ב אופטימיזציה של הכוונון העדין של Yelp Polarity במעבדים. עם זאת, הדגמים שלנו עדיין משיגים רווחי יעילות גדולים יותר ונמנעים מהעלות של אימון מקדים, שהוא משמעותי ודורש שימוש במאיצי חומרה כמו GPUs.
הטבלה הבאה מסכמת את זמן האימון, דיוק הבדיקה וזמן ההסקה.
מעבד | מנוע | מספר סימוכין | זמן אימון (ים) | בדיקת דיוק | השהיית מסקנות (ms) |
Intel Icelake (c6i.8xlarge) | BOLT | UDT | 47 | 93.2 | <1 |
Graviton3 (c7g.8xlarge) | BOLT | UDT | 29 | 92.9 | <1 |
T4G GPU (g5g.8xlarge) | TensorFlow | DistilBERT | 4200 | 93.3 | 8.7 |
T4G GPU (g5g.8xlarge) | PyTorch | DistilBERT | 3780 | 93.4 | 8.3 |
הערכה 3: סיווג טקסט רב כיתתי (DBPedia)
להערכה הסופית שלנו, אנו מתמקדים בבעיה של סיווג טקסט מרובה מחלקות, הכוללת הקצאת תווית לטקסט קלט נתון מקבוצה של יותר משתי מחלקות פלט. אנו מתמקדים ב DBPedia benchmark, המורכב מ-14 מחלקות תפוקה אפשריות. שוב, אנו רואים ש-AWS Graviton3 מאיץ את ביצועי UDT לעומת המופע המקביל של אינטל בכ-40%. אנו רואים גם ש-BOLT משיג תוצאות דומות לדגם מבוסס שנאי DistilBERT המכוונן עדין על GPU תוך השגת זמן השהייה של תת-מילישניות.
הטבלה הבאה מסכמת את זמן האימון, דיוק הבדיקה וזמן ההסקה.
מעבד | מנוע | מספר סימוכין | זמן אימון (ים) | בדיקת דיוק | השהיית מסקנות (ms) |
Intel Icelake (c6i.8xlarge) | BOLT | UDT | 23 | 98.23 | <1 |
Graviton3 (c7g.8xlarge) | BOLT | UDT | 14 | 98.10 | <1 |
T4G GPU (g5g.8xlarge) | TensorFlow | DistilBERT | 4320 | 99.23 | 8.6 |
T4G GPU (g5g.8xlarge) | PyTorch | DistilBERT | 3480 | 99.29 | 8 |
התחל עם ThirdAI ב-AWS Graviton
תכננו את תוכנת ה-BOLT שלנו להתאמה לכל ארכיטקטורות המעבד העיקריות, כולל AWS Graviton3. למעשה, לא היינו צריכים לבצע התאמות אישיות כלשהן לקוד שלנו כדי לרוץ על AWS Graviton3. לכן, אתה יכול להשתמש ב-ThirdAI להדרכה ופריסה של מודלים ב-AWS Graviton3 ללא מאמץ נוסף. בנוסף, כפי שפורט לאחרונה מחקר לבן, פיתחנו קבוצה של טכניקות מתמטיות חדשות לכוונון אוטומטי של הפרמטרים הייחודיים הקשורים למודלים הדלילים שלנו, מה שמאפשר למודלים שלנו לעבוד היטב מיד מהקופסה.
כמו כן, אנו מציינים כי המודלים שלנו פועלים היטב בעיקר עבור משימות חיפוש, המלצות ועיבוד שפה טבעית, הכוללות בדרך כלל מרחבי פלט גדולים ובממדים גבוהים ודרישה של חביון הסקת הסקה נמוך במיוחד. אנו עובדים באופן פעיל על הרחבת השיטות שלנו לתחומים נוספים, כגון ראייה ממוחשבת, אך שים לב ששיפורי היעילות שלנו אינם מתורגמים לכל תחומי ה-ML בשלב זה.
סיכום
בפוסט זה, חקרנו את הפוטנציאל של מעבד ה-AWS Graviton3 להאיץ אימון ברשתות עצביות עבור מנוע הלמידה העמוק של ThirdAI הייחודי של ThirdAI. המדדים שלנו בנושאי חיפוש, סיווג טקסט והמלצות מצביעים על כך ש-AWS Graviton3 יכול להאיץ את עומסי העבודה של אימון המודלים של ThirdAI ב-30-40% בהשוואה למופעי x86 הדומים עם שיפור מחיר-ביצועים של כמעט 50%. יתר על כן, מכיוון שמופעי AWS Graviton3 זמינים בעלות נמוכה יותר מהמכונות המקבילות של אינטל ו-NVIDIA ומאפשרים זמני אימון והסקת מסקנות קצרים יותר, אתה יכול לשחרר עוד יותר את הערך של מודל השימוש של AWS בתשלום לפי נסיעה על ידי שימוש בעלות נמוכה יותר מכונות לפרקי זמן קצרים יותר.
אנו נרגשים מאוד מהחיסכון במחיר ובביצועים של AWS Graviton3 וננסה להעביר את השיפורים הללו ללקוחותינו כדי שיוכלו ליהנות מאימון ML מהיר יותר ומהסקת ביצועים משופרים במעבדים בעלות נמוכה. כלקוחות של AWS בעצמנו, אנו שמחים מהמהירות שבה AWS Graviton3 מאפשר לנו להתנסות בדגמים שלנו, ואנו מצפים להשתמש בחדשנות סיליקון חדשנית יותר מ-AWS בעתיד. מדריך טכני של Graviton הוא משאב טוב לשקול בעת הערכת עומסי העבודה שלך ב-ML להפעלה על Graviton. אתה יכול גם לנסות מופעים של Graviton t4g ניסיון ללא תשלום.
התוכן והדעות בפוסט זה הם של המחבר של הצד השלישי ו-AWS אינה אחראית לתוכן או לדיוק של פוסט זה. בזמן כתיבת הבלוג המופע העדכני ביותר היה c6i ומכאן שההשוואה נעשתה עם מופעי c6i.
על המחבר
ויהן לקשמן – Vihan Lakshman הוא מדען מחקר ב-ThirdAI Corp. המתמקד בפיתוח מערכות ללמידה עמוקה חסכונית במשאבים. לפני ThirdAI, הוא עבד כמדען יישומי באמזון וקיבל תואר ראשון ותואר שני מאוניברסיטת סטנפורד. Vihan הוא גם מקבל מלגת מחקר של הקרן הלאומית למדע.
ת'רון מדיני – ת'ארון מדיני הוא המייסד וה-CTO של ThirdAI Corp. הוא עשה את הדוקטורט שלו ב"אלגוריתמי גיבוב לחיפוש ואחזור מידע" באוניברסיטת רייס. לפני ThirdAI, Tharun עבד באמזון וב-Target. ת'רון זוכה בפרסים רבים על מחקריו, כולל מלגת BP של מכון קן קנדי, מלגת האגודה האמריקנית של מהנדסים הודים ומלגת בוגר אוניברסיטת רייס.
אנשומלי שריווסטבה – Anshumali Shrivastava הוא פרופסור חבר במחלקה למדעי המחשב באוניברסיטת רייס. הוא גם המייסד והמנכ"ל של ThirdAI Corp, חברה העוסקת בדמוקרטיזציה של AI לחומרת סחורות באמצעות חידושי תוכנה. תחומי המחקר הרחבים שלו כוללים אלגוריתמים הסתברותיים ללמידה עמוקה חסכנית במשאבים. בשנת 2018, Science News כינו אותו כאחד מ-10 המדענים המובילים מתחת לגיל 40 לצפייה. הוא זוכה בפרס הקריירה הלאומית למדע, פרס חוקר צעיר ממשרד חיל האוויר למחקר מדעי, פרס מחקר למידת מכונה מאמזון, ופרס מחקר מדעי הנתונים מ-Adobe. הוא זכה במספר פרסי נייר, כולל פרסי הנייר הטוב ביותר ב-NIPS 2014 ו-MLSys 2022, כמו גם פרס הנייר הניתן לשחזור ביותר ב-SIGMOD 2019. עבודתו על טכנולוגיות למידת מכונה יעילות במעבדים סוקרה על ידי עיתונות פופולרית כולל Wall Street Journal, ניו יורק טיימס, TechCrunch, NDTV וכו'.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/accelerating-large-scale-neural-network-training-on-cpus-with-thirdai-and-aws-graviton/
- :יש ל
- :הוא
- :לֹא
- 000
- 001
- 1
- 11
- 14
- 16
- 2014
- 2018
- 2019
- 2021
- 2022
- 33
- 385
- 40
- 7
- a
- יכולת
- יכול
- להאיץ
- מאיץ
- מאיצה
- מאיצים
- דיוק
- להשיג
- הושג
- משיגה
- השגתי
- להפעיל
- באופן פעיל
- תוספת
- נוסף
- Adobe
- התקדמות
- יתרון
- שוב
- נגד
- AI
- AIR
- חיל האוויר
- אלגוריתמי
- אלגוריתמים
- תעשיות
- מאפשר
- מאפשר
- גם
- למרות
- אמזון בעברית
- אמזון שירותי אינטרנט
- אֲמֶרִיקָאִי
- בין
- an
- אנליזה
- ו
- כל
- יישומים
- יישומית
- גישות
- בערך
- ארכיטקטורה
- ארכיטקטורות
- ARE
- מערך
- מלאכותי
- בינה מלאכותית
- AS
- עמית
- המשויך
- At
- מחבר
- באופן אוטומטי
- זמין
- לְהִמָנַע
- פרס
- פרסים
- מודע
- AWS
- AWS שוק
- בָּר
- BE
- כי
- היה
- להלן
- בנצ 'מרק
- מבחני ביצועים
- הטבות
- הטוב ביותר
- בלוג
- סיכה
- לברוח
- שניהם
- צַוַאר הַבַּקבּוּק
- אריזה מקורית
- BP
- פריצות דרך
- רחב
- עסקים
- אבל
- by
- CAN
- קריירה
- מקרים
- מנכ"ל
- מסוים
- שינוי
- תרשים
- בחירות
- כיתות
- מיון
- מייסד שותף
- קוד
- אוסף
- מצרך
- קהילה
- חברה
- השוואה
- לְהַשְׁווֹת
- השוואה
- השוואה
- השוואות
- תאימות
- תחרותי
- חישובים
- המחשב
- מדעי מחשב
- ראייה ממוחשבת
- לשקול
- נחשב
- מורכב
- צְרִיכָה
- תוכן
- גוף
- עלות
- עלות תועלת
- יקר
- עלויות
- מכוסה
- קריטי
- ראש אגף טכנולוגיה
- נוֹכְחִי
- לקוחות
- שיא הטכנולוגיה
- נתונים
- מדע נתונים
- ימים
- מוקדש
- עמוק
- למידה עמוקה
- שַׂמֵחַ
- נתן
- דמוקרטיזציה
- מַחלָקָה
- לפרוס
- פריסה
- פריסה
- מעוצב
- מְפוֹרָט
- פרטים
- מפותח
- מתפתח
- DID
- do
- תחומים
- עשה
- ראוי
- דינמי
- באופן דינמי
- כל אחד
- כלכלה
- יְעִילוּת
- יעיל
- יעילות
- מאמץ
- יצא
- לאפשר
- אנרגיה
- צריכת אנרגיה
- מנוע
- מהנדסים
- להנות
- תקופה
- תקופות
- וכו '
- הערכה
- הערכה
- אֲפִילוּ
- נרגש
- מרגש
- לְנַסוֹת
- ניסויים
- מאריך
- קיצוני
- מאוד
- עובדה
- מהר יותר
- מאפיין
- שדות
- תרשים
- סופי
- כספי
- ראשון
- חמש
- קבוע
- להתמקד
- מרוכז
- הבא
- בעד
- להכריח
- קדימה
- קרן
- מייסד
- מייסד ומנכל
- שבריר
- החל מ-
- מלא
- ביסודו
- נוסף
- יתר על כן
- רווחים
- gif
- נתן
- הולך
- טוב
- GPU
- GPUs
- בוגר
- יותר
- אוֹרֵחַ
- פוסט אורח
- חומרה
- יש
- he
- ומכאן
- ביצועים גבוהים
- גבוה יותר
- לו
- שֶׁלוֹ
- איך
- איך
- אולם
- http
- HTTPS
- קרח
- מזהה
- if
- מיד
- ליישם
- מרשים
- משופר
- השבחה
- שיפורים
- in
- לכלול
- כולל
- יותר ויותר
- הוֹדִי
- מידע
- תשתית
- חדשנות
- חידושים
- קלט
- למשל
- מכון
- אינטל
- מוֹדִיעִין
- אינטרסים
- לחקור
- כרוך
- פריטים
- כתב עת
- jpg
- ידע
- ידוע
- תווית
- אגם
- שפה
- גָדוֹל
- בקנה מידה גדול
- חֶבִיוֹן
- למידה
- הכי פחות
- כמו
- גבולות
- קווים
- ארוך
- הרבה זמן
- נראה
- נמוך
- בעלות נמוכה
- להוריד
- מכונה
- למידת מכונה
- מכונה
- גדול
- הרוב
- לעשות
- רב
- שוק
- מאסטר
- מתימטי
- מַטרִיצָה
- אומר
- שיטות
- משימה
- ML
- מודל
- דוגמנות
- מודלים
- יותר
- רוב
- MS
- הכפלות
- שם
- לאומי
- מדע לאומי
- טבעי
- עיבוד שפה טבעית
- כמעט
- צורך
- שלילי
- רשת
- עצבי
- רשת עצבית
- נוירונים
- חדש
- ניו יורק
- ניו יורק טיימס
- חדשות
- לא
- הערות
- רומן
- מספר
- רב
- Nvidia
- להתבונן
- of
- Office
- on
- ONE
- רק
- להפעיל
- דעות
- מִתנַגֵד
- or
- ארגונים
- אחר
- שלנו
- בעצמנו
- הַחוּצָה
- תפוקה
- יותר
- מאמר
- פרדיגמה
- לעבור
- מעברי
- ביצועים
- דוקטורט
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- פופולרי
- חיובי
- אפשרי
- הודעה
- פוטנציאל
- מופעל
- מעשי
- דיוק
- ללחוץ
- מחיר
- בראש ובראשונה
- קודם
- בעיה
- בעיות
- תהליך
- מעבד
- מעבדים
- מיוצר
- המוצר
- מוצרים
- פרופסור
- התקדמות
- קניינית
- לספק
- ציבורי
- פיטורך
- ציון
- לאחרונה
- לאחרונה
- המלצה
- המלצות
- מופחת
- שְׂרִידִים
- ראוי לציון
- נציג
- נדרש
- דרישה
- דורש
- מחקר
- משאב
- אחראי
- לְהַגבִּיל
- תוצאה
- תוצאות
- סקירה
- מהפכני
- אורז
- בערך
- הפעלה
- s
- אותו
- חיסכון
- מדע
- קרן המדע
- מדעי
- מַדְעָן
- מדענים
- חיפוש
- שְׁנִיָה
- לִרְאוֹת
- בחר
- נבחר
- רגש
- ברצינות
- שירותים
- סט
- כמה
- הצגה
- הראה
- משמעותי
- סיליקון
- דומה
- יחיד
- מידה
- בגודל
- להחליק
- So
- חֶברָה
- תוכנה
- רווחים
- מיוחד
- במיוחד
- מְהִירוּת
- תֶקֶן
- סטנפורד
- אוניברסיטת סטנפורד
- החל
- סטארט - אפ
- עוד
- רְחוֹב
- חזק
- לימוד
- מדהים
- ניכר
- כזה
- להציע
- מערכות
- שולחן
- לקחת
- יעד
- המשימות
- משימות
- נבחרת
- TechCrunch
- טכני
- טכניקות
- טכנולוגיות
- טכנולוגיה
- tensorflow
- מבחן
- טֶקסט
- סיווג טקסט
- מֵאֲשֶׁר
- זֶה
- השמיים
- שם.
- בכך
- לכן
- אלה
- הֵם
- צד שלישי
- זֶה
- אלה
- דרך
- זמן
- פִּי
- ל
- באופן מסורתי
- רכבת
- מְאוּמָן
- הדרכה
- רוֹבּוֹטרִיקִים
- לתרגם
- לנסות
- מנגינה
- שתיים
- בדרך כלל
- אובונטו
- תחת
- ייחודי
- אוניברסיטה
- בניגוד
- לפתוח
- us
- נוֹהָג
- להשתמש
- שימושים
- באמצעות
- ערך
- Vast
- גרסה
- מאוד
- באמצעות
- חזון
- vs
- קיר
- וול סטריט
- Wall Street Journal
- היה
- שעון
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- היו
- אשר
- בזמן
- ויקיפדיה
- יצטרך
- עם
- לְלֹא
- נצחנות
- תיק עבודות
- עבד
- עובד
- היה
- כתיבה
- כתוב
- york
- אתה
- צעיר
- זפירנט