היום, אנו נרגשים להכריז כי דגמי הבסיס של Mistral 7B, שפותחו על ידי Mistral AI, זמינים עבור לקוחות באמצעות אמזון SageMaker JumpStart לפרוס בלחיצה אחת להפעלת הסקה. עם 7 מיליארד פרמטרים, ניתן להתאים אישית בקלות את Mistral 7B ולפרוס אותו במהירות. אתה יכול לנסות את המודל הזה עם SageMaker JumpStart, רכזת למידת מכונה (ML) המספקת גישה לאלגוריתמים ומודלים כדי שתוכל להתחיל במהירות עם ML. בפוסט זה, אנו עוברים על איך לגלות ולפרוס את מודל Mistral 7B.
מה זה מיסטרל 7B
Mistral 7B הוא מודל יסוד שפותח על ידי Mistral AI, התומך ביכולות יצירת טקסט וקוד באנגלית. הוא תומך במגוון מקרי שימוש, כגון סיכום טקסט, סיווג, השלמת טקסט והשלמת קוד. כדי להדגים את יכולת ההתאמה האישית הקלה של המודל, Mistral AI פרסמה גם מודל Mistral 7B Instruct עבור מקרי שימוש בצ'אט, מכוונן עדין באמצעות מגוון מערכי נתונים של שיחות זמינים לציבור.
Mistral 7B הוא דגם שנאי ומשתמש בקשב בשאילתות מקובצות ובתשומת לב בחלון הזזה כדי להשיג הסקה מהירה יותר (השהיה נמוכה) ולטפל ברצפים ארוכים יותר. תשומת לב לשאילתות קבוצתיות היא ארכיטקטורה המשלבת תשומת לב מרובה שאילתות ותשומת לב מרובה ראשים כדי להשיג איכות פלט קרובה לתשומת לב מרובה ראשים ומהירות דומה לתשומת לב מרובה שאילתות. תשומת הלב של חלון הזזה משתמשת בשכבות המוערמות של שנאי כדי להשתתף בעבר מעבר לגודל החלון כדי להגדיל את אורך ההקשר. למיסטרל 7B יש אורך הקשר של 8,000 אסימון, מפגין זמן השהייה נמוך ותפוקה גבוהה, ובעל ביצועים חזקים בהשוואה לחלופות דגמים גדולים יותר, המספק דרישות זיכרון נמוכות בגודל דגם 7B. הדגם זמין תחת המתיר רישיון Apache 2.0, לשימוש ללא הגבלות.
מה זה SageMaker JumpStart
עם SageMaker JumpStart, מתרגלי ML יכולים לבחור מתוך רשימה הולכת וגדלה של דגמי יסוד עם הביצועים הטובים ביותר. מתרגלי ML יכולים לפרוס מודלים של בסיס למסורים אמזון SageMaker מופעים בתוך סביבה מבודדת רשת, ולהתאים אישית מודלים באמצעות SageMaker להדרכה ופריסה של מודלים.
כעת תוכל לגלות ולפרוס את Mistral 7B בכמה לחיצות פנימה סטודיו SageMaker של אמזון או באופן פרוגרמטי דרך SageMaker Python SDK, מה שמאפשר לך להפיק ביצועי מודל ובקרות MLOps עם תכונות SageMaker כגון צינורות SageMaker של אמזון, באגים של SageMaker באמזון, או יומני מיכל. המודל נפרס בסביבה מאובטחת של AWS ותחת בקרות ה-VPC שלך, ועוזר להבטיח אבטחת נתונים.
גלה דגמים
אתה יכול לגשת לדגמי הבסיס של Mistral 7B דרך SageMaker JumpStart בממשק המשתמש של SageMaker Studio ו- SageMaker Python SDK. בחלק זה נעבור על איך לגלות את הדגמים בסטודיו SageMaker.
SageMaker Studio הוא סביבת פיתוח משולבת (IDE) המספקת ממשק חזותי אחד מבוסס אינטרנט שבו אתה יכול לגשת לכלים ייעודיים לביצוע כל שלבי הפיתוח של ML, מהכנת נתונים ועד לבנייה, הדרכה ופריסה של מודלי ה-ML שלך. לפרטים נוספים כיצד להתחיל ולהגדיר את SageMaker Studio, עיין ב סטודיו SageMaker של אמזון.
ב-SageMaker Studio, תוכל לגשת ל-SageMaker JumpStart, המכיל דגמים מאומנים מראש, מחברות ופתרונות מובנים מראש, תחת פתרונות מובנים ואוטומטיים מראש.
מדף הנחיתה של SageMaker JumpStart, אתה יכול לחפש פתרונות, דגמים, מחברות ומשאבים אחרים. אתה יכול למצוא את Mistral 7B ב- מודלים של יסוד: יצירת טקסט קרוסלה.
אתה יכול גם למצוא גרסאות דגמים אחרות על ידי בחירה חקור את כל דגמי הטקסט או חיפוש "מיסטרל".
אתה יכול לבחור את כרטיס הדגם כדי להציג פרטים על הדגם כגון רישיון, נתונים המשמשים לאימון ואופן השימוש. תמצאו גם שני כפתורים, לפרוס ו פתח את המחברת, שיעזור לך להשתמש במודל (צילום המסך הבא מציג את לפרוס אוֹפְּצִיָה).
פרוס דגמים
הפריסה מתחילה כשאתה בוחר לפרוס. לחלופין, אתה יכול לפרוס דרך המחברת לדוגמה שמופיעה כשאתה בוחר פתח את המחברת. המחברת לדוגמה מספקת הדרכה מקצה לקצה כיצד לפרוס את המודל להסקת מסקנות וניקוי משאבים.
כדי לפרוס באמצעות מחברת, אנו מתחילים בבחירת דגם Mistral 7B, שצוין על ידי model_id
. אתה יכול לפרוס כל אחד מהדגמים שנבחרו ב- SageMaker עם הקוד הבא:
זה פורס את המודל ב- SageMaker עם תצורות ברירת מחדל, כולל סוג מופע ברירת מחדל (ml.g5.2xlarge) ותצורות ברירת מחדל של VPC. אתה יכול לשנות תצורות אלה על ידי ציון ערכים שאינם ברירת מחדל ב JumpStartModel. לאחר הפריסה, אתה יכול להפעיל הסקה נגד נקודת הקצה שנפרסה דרך מנבא SageMaker:
אופטימיזציה של תצורת הפריסה
מודלים של Mistral משתמשים בהגשת מודלים של Text Generation Inference (גרסה 1.1 של TGI). בעת פריסת מודלים עם מיכל TGI למידה עמוקה (DLC), אתה יכול להגדיר מגוון של טיעוני משגר באמצעות משתני סביבה בעת פריסת נקודת הקצה שלך. כדי לתמוך באורך ההקשר של 8,000 אסימונים של דגמי Mistral 7B, SageMaker JumpStart הגדיר כמה מהפרמטרים האלה כברירת מחדל: הגדרנו MAX_INPUT_LENGTH
ו MAX_TOTAL_TOKENS
ל-8191 ו-8192, בהתאמה. אתה יכול להציג את הרשימה המלאה על ידי בדיקת אובייקט הדגם שלך:
כברירת מחדל, SageMaker JumpStart אינו תופס משתמשים במקביל דרך משתנה הסביבה MAX_CONCURRENT_REQUESTS
קטן יותר מערך ברירת המחדל של TGI של 128. הסיבה היא כי לחלק מהמשתמשים עשויים להיות עומסי עבודה טיפוסיים עם אורכי הקשר קטנים של מטען ורוצים במקביליות גבוהה. שים לב ש- SageMaker TGI DLC תומך במספר משתמשים בו-זמנית באמצעות אצווה מתגלגלת. בעת פריסת נקודת הקצה שלך עבור היישום שלך, תוכל לשקול אם עליך להדק MAX_TOTAL_TOKENS
or MAX_CONCURRENT_REQUESTS
לפני הפריסה כדי לספק את הביצועים הטובים ביותר עבור עומס העבודה שלך:
כאן, אנו מראים כיצד ביצועי המודל עשויים להיות שונים עבור עומס העבודה הטיפוסי שלך בנקודת הקצה. בטבלאות הבאות, אתה יכול לראות ששאילתות בגודל קטן (128 מילות קלט ו-128 אסימוני פלט) הם בעלי ביצועים די תחת מספר רב של משתמשים בו-זמנית, ומגיעות לתפוקת אסימון בסדר גודל של 1,000 אסימונים לשנייה. עם זאת, ככל שמספר מילות הקלט גדל ל-512 מילות קלט, נקודת הקצה מרווה את קיבולת האצווה שלה - מספר הבקשות בו-זמנית המותרות לעיבוד בו-זמנית - וכתוצאה מכך רמת תפוקה והדרדרות משמעותית של זמן השהייה המתחילה בסביבות 16 משתמשים במקביל. לבסוף, כאשר מבצעים שאילתות על נקודת הקצה עם הקשרי קלט גדולים (לדוגמה, 6,400 מילים) בו-זמנית על ידי מספר משתמשים בו-זמנית, רמת התפוקה הזו מתרחשת מהר יחסית, עד לנקודה שבה חשבון SageMaker שלך יתחיל להיתקל במגבלות של זמן קצוב תגובה של 60 שניות עבור הבקשות העמוסות שלך. .
. | תפוקה (אסימונים/ים) | ||||||||||
משתמשים במקביל | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
מודל | סוג מופע | מילות קלט | אסימוני פלט | . | |||||||
mistral-7b-instruct | ml.g5.2xlarge | 128 | 128 | 30 | 54 | 89 | 166 | 287 | 499 | 793 | 1030 |
512 | 128 | 29 | 50 | 80 | 140 | 210 | 315 | 383 | 458 | ||
6400 | 128 | 17 | 25 | 30 | 35 | - | - | - | - |
. | זמן אחזור p50 (ms/אסימון) | ||||||||||
משתמשים במקביל | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
מודל | סוג מופע | מילות קלט | אסימוני פלט | . | |||||||
mistral-7b-instruct | ml.g5.2xlarge | 128 | 128 | 32 | 33 | 34 | 36 | 41 | 46 | 59 | 88 |
512 | 128 | 34 | 36 | 39 | 43 | 54 | 71 | 112 | 213 | ||
6400 | 128 | 57 | 71 | 98 | 154 | - | - | - | - |
מסקנות ודוגמאות
מיסטרל 7B
אתה יכול לקיים אינטראקציה עם מודל Mistral 7B בסיסי כמו כל מודל סטנדרטי של יצירת טקסט, שבו המודל מעבד רצף קלט ומוציא את המילים הבאות החזויות ברצף. להלן דוגמה פשוטה ללמידה מרובה יריות, שבה המודל מסופק עם מספר דוגמאות והתגובה הסופית לדוגמה נוצרת עם ידע הקשרי של דוגמאות קודמות אלה:
מיסטרל 7B מורה
הגרסה המכווננת להוראות של Mistral מקבלת הוראות מעוצבות שבהן תפקידי השיחה חייבים להתחיל בהנחיית משתמש ולהחליף בין משתמש לעוזר. בקשת משתמש פשוטה עשויה להיראות כך:
הנחיה מרובה פניות תיראה כך:
דפוס זה חוזר על עצמו בכל סיבובים רבים בשיחה.
בסעיפים הבאים, אנו בוחנים כמה דוגמאות באמצעות מודל Mistral 7B Instruct.
אחזור ידע
להלן דוגמה לאחזור ידע:
תשובה לשאלה בהקשר גדול
כדי להדגים כיצד להשתמש במודל זה כדי לתמוך באורכי הקשר גדולים של קלט, הדוגמה הבאה משלבת קטע, שכותרתו "עכברושים" מאת רוברט סאליבן (הפניה), ממבחן הבנת הנקרא באומנויות השפה האנגלית של MCAS כיתה 10 להוראה בהודעת הקלט ושואל את הדגם שאלה מכוונת לגבי הטקסט:
מתמטיקה והיגיון
המודלים של מיסטרל מדווחים גם על חוזקות ברמת הדיוק במתמטיקה. מיסטרל יכול לספק הבנה כגון ההיגיון המתמטי הבא:
סִמוּל
להלן דוגמה להנחיית קידוד:
לנקות את
לאחר שתסיים להפעיל את המחברת, הקפד למחוק את כל המשאבים שיצרת בתהליך כדי שהחיוב שלך יופסק. השתמש בקוד הבא:
סיכום
בפוסט הזה, הראינו לכם איך להתחיל עם Mistral 7B ב-SageMaker Studio ולפרוס את המודל להסקת מסקנות. מכיוון שדגמי היסודות הוכשרו מראש, הם יכולים לסייע בהורדת עלויות ההדרכה והתשתית ולאפשר התאמה אישית למקרה השימוש שלך. לְבַקֵר אמזון SageMaker JumpStart עכשיו כדי להתחיל.
משאבים
על הכותבים
ד"ר קייל אולריך הוא מדען יישומי בצוות אמזון SageMaker JumpStart. תחומי המחקר שלו כוללים אלגוריתמים של למידת מכונה ניתנים להרחבה, ראייה ממוחשבת, סדרות זמן, אי-פרמטריות בייסיאניות ותהליכי גאוס. הדוקטורט שלו הוא מאוניברסיטת דיוק והוא פרסם מאמרים ב-NeurIPS, Cell, and Neuron.
ד"ר אשיש חתן הוא מדען יישומי בכיר עם Amazon SageMaker JumpStart ומסייע בפיתוח אלגוריתמים של למידת מכונה. הוא קיבל את הדוקטורט שלו מאוניברסיטת אילינוי אורבנה-שמפיין. הוא חוקר פעיל בלמידת מכונה והסקה סטטיסטית, ופרסם מאמרים רבים בכנסים NeurIPS, ICML, ICLR, JMLR, ACL ו-EMNLP.
ויווק סינג הוא מנהל מוצר עם Amazon SageMaker JumpStart. הוא מתמקד במתן אפשרות ללקוחות להיכנס ל-SageMaker JumpStart כדי לפשט ולהאיץ את מסע ה-ML שלהם לבניית יישומי בינה מלאכותית.
רועי אללה הוא אדריכל בכיר לפתרונות AI/ML ב-AWS שבסיסו במינכן, גרמניה. רוי עוזר ללקוחות AWS - החל מסטארטאפים קטנים ועד ארגונים גדולים - לאמן ולפרוס מודלים של שפה גדולים ביעילות ב-AWS. רוי נלהב מבעיות אופטימיזציה חישובית ושיפור הביצועים של עומסי עבודה בינה מלאכותית.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 000
- 1
- 10
- 100
- 12
- 14
- 150
- 16
- 25
- 26%
- 30
- 400
- 50
- 7
- 8
- 9
- a
- יכולות
- אודות
- להאיץ
- מקבל
- גישה
- פי
- חֶשְׁבּוֹן
- דיוק
- להשיג
- פעיל
- תוספת
- מְבוּגָר
- לאחר
- נגד
- גיל
- AI
- AI / ML
- אלגוריתמים
- תעשיות
- מותר
- כמעט
- לאורך
- בַּצַד
- גם
- חלופות
- תמיד
- אמזון בעברית
- אמזון SageMaker
- אמזון SageMaker JumpStart
- אמזון שירותי אינטרנט
- אמריקה
- כמות
- כמויות
- an
- ו
- תשתיות
- אנג'לס
- להכריז
- אחר
- לענות
- כל
- כל אחד
- בְּכָל מָקוֹם
- בנפרד
- דירות
- בקשה
- יישומים
- יישומית
- בערך
- ארכיטקטורה
- ARE
- סביב
- מאמר
- אומנות
- AS
- עוזר
- המשויך
- At
- ניסיונות
- השתתף
- תשומת לב
- נמשך
- מושך
- מחבר
- אוטומטי
- זמין
- מְמוּצָע
- מודע
- רָחוֹק
- AWS
- בחזרה
- שקיות
- בסיס
- מבוסס
- לחבוט
- סוללות
- סוללה
- בייסיאנית
- BE
- כי
- היה
- לפני
- מאחור
- להיות
- תחת
- הטוב ביותר
- בֵּין
- מעבר
- הצעת חוק
- חיוב
- B
- שחור
- עלייה למטוס
- לברוח
- ספר
- שניהם
- קנה
- הפסקות
- לְגַשֵׁר
- ברוקלין
- חום
- לִבנוֹת
- בִּניָן
- אבל
- קנייה
- by
- נקרא
- הגיע
- CAN
- מכונית
- כרטיס
- קרוסלה
- מקרה
- מקרים
- גרם
- מסוים
- שינוי
- ערוצים
- בחרו
- בחירה
- ערים
- עִיר
- מַהְדֵק
- מיון
- קליק
- לטפס
- סְגוֹר
- חוף
- חוֹפִי
- קוד
- סִמוּל
- הִתמוֹטְטוּת
- משלב
- איך
- Common
- השוואה
- לעומת
- השלמה
- חישובית
- המחשב
- ראייה ממוחשבת
- במקביל
- כנסים
- מוגדר
- מבולבל
- לשקול
- מכולה
- מכיל
- הקשר
- הקשרים
- קשר
- לִשְׁלוֹט
- בקרות
- שיחה
- נְחוֹשֶׁת
- פינות
- עלות
- עלויות
- מדינה
- לכסות
- מכוסה
- לִיצוֹר
- נוצר
- נוֹכְחִי
- לקוחות
- התאמה אישית
- אישית
- אישית
- כהה
- נתונים
- אבטחת מידע
- מערכי נתונים
- יְוֹם
- ימים
- מוקדש
- עמוק
- למידה עמוקה
- צבי
- בְּרִירַת מֶחדָל
- להפגין
- מדגים
- לפרוס
- פרס
- פריסה
- פריסה
- פורס
- דכאון
- פרטים
- לפתח
- מפותח
- צעצועי התפתחות
- DID
- נבדלים
- אחר
- לחפור
- מְכוּוָן
- ספריות
- עפר
- לגלות
- שיבושים
- do
- איילה
- לא
- דולר
- עשה
- לא
- מטה
- ראוי
- דוכס
- אוניברסיטת דוכס
- כל אחד
- כדור הארץ
- בקלות
- קל
- לאכול
- יעילות
- או
- חירום
- להדגיש
- לאפשר
- מה שמאפשר
- פוגש
- מקצה לקצה
- נקודת קצה
- אַנְגלִיָה
- אנגלית
- לְהַבטִיחַ
- זן
- שלם
- סביבה
- מְצוּיָד
- במיוחד
- לְהַעֲרִיך
- אֲפִילוּ
- כל
- בכל מקום
- דוגמה
- דוגמאות
- מצוין
- נרגש
- לְמַעֵט
- יציאה
- מומחה
- להסביר
- לחקור
- הארכה
- עיניים
- עובדה
- מהר יותר
- תכונות
- האכלה
- רגליים
- מעטים
- תרשים
- קבצים
- סופי
- בסופו של דבר
- ראשון
- מתמקד
- הבא
- מזון
- כף רגל
- בעד
- יער
- מצא
- קרן
- ארבע
- החל מ-
- חזית
- מלא
- צבר
- גז
- נוצר
- דור
- גנרטטיבית
- AI Generative
- גרמניה
- לקבל
- Go
- קבל
- ציון
- אפור
- קְבוּצָה
- לגדול
- גדל
- גדל
- הדרכה
- היה
- לטפל
- יש
- he
- ראש
- לעזור
- עזרה
- עוזר
- ומכאן
- להלן
- גָבוֹהַ
- שֶׁלוֹ
- חור
- חורים
- בית
- איך
- איך
- אולם
- HTML
- HTTPS
- טבור
- בן אנוש
- חמישים ק"ג
- i
- קרח
- גלידה
- אידאל
- if
- אילינוי
- לייבא
- שיפור
- in
- לכלול
- כולל
- להגדיל
- עליות
- תשתית
- קלט
- תשומות
- למשל
- הוראות
- משולב
- אינטראקציה
- אינטרסים
- מִמְשָׁק
- אל תוך
- מְבוּדָד
- IT
- שֶׁלָה
- מלתעות
- מסע
- jpg
- הילדים
- לַהֲרוֹג
- סוג
- ידע
- ידוע
- קייל
- מעבדה
- אגמים
- נחיתה
- שפה
- גָדוֹל
- גדול יותר
- אחרון
- חֶבִיוֹן
- שכבות
- עוֹפֶרֶת
- מוביל
- לדלוף
- דליפות
- לִלמוֹד
- למידה
- אורך
- לתת
- רישיון
- אוֹר
- בקלילות
- ברק
- כמו
- סביר
- להגביל
- גבולות
- מרופד
- קשר
- רשימה
- קְצָת
- לחיות
- חי
- ll
- הגיון
- ארוך
- עוד
- נראה
- נראה כמו
- ה
- לוס אנג'לס
- נמוך
- להוריד
- מכונה
- למידת מכונה
- עשוי
- לעשות
- עושה
- מנהל
- מדריך ל
- רב
- מסה
- מתמטיקה
- מתימטיקה
- מאי..
- זכרון
- מוּזְכָּר
- יכול
- מִילִיוֹן
- קטין
- דקה
- ML
- MLOps
- מודל
- מודלים
- מודרני
- שונים
- כסף
- חוֹדֶשׁ
- יותר
- רוב
- הרבה
- מספר
- כלי נגינה
- צריך
- my
- שם
- שמות
- צר
- טבעי
- ליד
- שלילי
- קן
- קינון
- רשת
- רשתות
- נטרל
- חדש
- ניו יורק
- ניו יורק
- עיתונים
- הבא
- לילה
- לא
- ללא חתימה
- אף
- מחברה
- עַכשָׁיו
- מספר
- אובייקט
- להתבונן
- of
- לעתים קרובות
- זקן
- on
- על הסיפון
- פעם
- ONE
- רק
- עַל גַבֵּי
- נפתח
- אופטימיזציה
- אפשרות
- or
- להזמין
- מקור
- אחר
- אַחֶרֶת
- הַחוּצָה
- תפוקה
- פלטים
- יותר
- עמוד
- נפרע
- כף היד
- ניירות
- פרמטרים
- חלק
- מעבר
- לוהט
- עבר
- תבנית
- הכפות
- אֲנָשִׁים
- עבור
- נתפס
- אָחוּז
- לְבַצֵעַ
- ביצועים
- דוקטורט
- טלפון
- הרים
- מקומות
- צמחים
- פלסטי
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- נקודה
- רעל
- עני
- חיובי
- הודעה
- פאונד
- חזה
- חיזוי
- העריכה
- לחץ
- קודם
- קודם
- בעיות
- תהליך
- מעובד
- תהליכים
- המוצר
- מנהל מוצר
- לספק
- ובלבד
- מספק
- מתן
- בפומבי
- לאור
- אַך וְרַק
- למטרות
- דחף
- גם
- פיתון
- איכות
- שאילתות
- שאלה
- מהירות
- דַי
- מסלולים
- דרג
- ציון
- הגעה
- קריאה
- טעם
- להתייחס
- יחסית
- שוחרר
- לדווח
- דוחות לדוגמא
- בקשות
- דרישות
- מחקר
- חוקר
- משאבים
- בהתאמה
- תגובה
- מסעדות
- הגבלות
- לסגת
- תקין
- רוברט
- תפקיד
- תפקידים
- גִלגוּל
- רועי
- הפעלה
- ריצה
- s
- בבטחה
- בְּטִיחוּת
- בעל חכמים
- ראה
- להרחבה
- מַדְעָן
- מדענים
- Sdk
- חיפוש
- חיפוש
- שְׁנִיָה
- סעיף
- סעיפים
- לבטח
- אבטחה
- נראה
- נבחר
- בחירה
- לחצני מצוקה לפנסיונרים
- תחושה
- רגש
- רצף
- סדרה
- שירותים
- הגשה
- סט
- שבע
- כמה
- חד
- זורחת
- קניות
- צריך
- לְהַצִיג
- הראה
- הופעות
- צד
- משמעותי
- פָּשׁוּט
- לפשט
- בו זמנית
- since
- יחיד
- לשבת
- ישיבה
- מידה
- עור
- קטן
- קטן יותר
- צמד
- So
- רך
- אך ורק
- פתרונות
- כמה
- לפעמים
- דרומי
- מֶרחָב
- מומחה
- מפורט
- מְהִירוּת
- התפשטות
- אביב
- מרובע
- ריבועים
- לסחוט
- מְגוּבָּב
- תֶקֶן
- התחלה
- החל
- החל
- התחלות
- חברות סטארט
- אמור
- הברית
- תחנות
- סטטיסטי
- להשאר
- צעדים
- עוד
- נעצר
- חנויות
- זרמים
- רְחוֹב
- חוזק
- חזק
- חזק יותר
- מִבְנֶה
- מחקרים
- סטודיו
- לימוד
- נושא
- כזה
- סאליבן
- לספק
- תמיכה
- מסייע
- תומך
- בטוח
- לשרוד
- מערכת
- מפתחות
- נבחרת
- מונחים
- מבחן
- טֶקסט
- מֵאֲשֶׁר
- זֶה
- השמיים
- המערב
- העולם
- שֶׁלָהֶם
- אותם
- עצמם
- אז
- שם.
- לכן
- אלה
- הֵם
- לחשוב
- זֶה
- אלה
- אם כי?
- אלף
- אלפים
- שְׁלוֹשָׁה
- דרך
- תפוקה
- זמן
- סדרת זמן
- שכותרתו
- ל
- אסימון
- מטבעות
- כלים
- סה"כ
- עיר
- רכבת
- הדרכה
- רכבות
- שנאי
- מלכודות
- נוסע
- עצים
- לנסות
- מנהרה
- פונה
- ציוץ
- שתיים
- סוג
- טיפוסי
- בדרך כלל
- ui
- תחת
- אוניברסיטה
- לא ידוע
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- שימושים
- באמצעות
- תועלת
- ערך
- ערכים
- משתנה
- מגוון
- שונים
- Ve
- רכב
- כלי רכב
- גרסה
- מאוד
- באמצעות
- וִידֵאוֹ
- לצפיה
- חזון
- לְבַקֵר
- הַמתָנָה
- ללכת
- רוצה
- היה
- לבזבז
- מים
- דֶרֶך..
- דרכים
- we
- אינטרנט
- שירותי אינטרנט
- המבוסס על האינטרנט
- טוֹב
- היו
- מערב
- מה
- מה
- מתי
- אם
- אשר
- בזמן
- לבן
- רָחָב
- רוחב
- בר
- יצטרך
- חלון
- עם
- בתוך
- לְלֹא
- מילים
- עובדים
- עוֹלָם
- היה
- שנה
- york
- אתה
- זפירנט