היום, אנו שמחים להכריז על התצוגה המקדימה של Amazon SageMaker Profiler, יכולת של אמזון SageMaker המספק תצוגה מפורטת של משאבי המחשוב של AWS המסופקים במהלך אימון מודלים של למידה עמוקה ב- SageMaker. עם SageMaker Profiler, אתה יכול לעקוב אחר כל הפעילויות על מעבדים ו-GPUs, כגון שימושי CPU ו-GPU, ריצות ליבה על GPUs, השקות ליבה על CPUs, פעולות סנכרון, פעולות זיכרון על פני GPUs, זמן השהייה בין השקות ליבה והרצות מתאימות, והעברת נתונים בין CPUs ו-GPUs. בפוסט זה, אנו מדריכים אותך דרך היכולות של SageMaker Profiler.
SageMaker Profiler מספק מודולים של Python לביאור תסריטי אימון PyTorch או TensorFlow והפעלת SageMaker Profiler. הוא מציע גם ממשק משתמש (UI) שממחיש את פרופיל, סיכום סטטיסטי של אירועים עם פרופיל, וציר הזמן של עבודת הדרכה למעקב והבנה של יחסי הזמן של האירועים בין GPUs ו-CPUs.
הצורך בעבודות הכשרה בפרופיל
עם עליית הלמידה העמוקה (DL), למידת מכונה (ML) הפכה לאינטנסיבית של מחשוב ונתונים, ודורשת בדרך כלל אשכולות מרובי-צמתים ו-GPU. ככל שהמודלים החדישים גדלים בגודלם בסדר גודל של טריליוני פרמטרים, גם המורכבות החישובית והעלות שלהם גדלים במהירות. מתרגלי ML צריכים להתמודד עם אתגרים נפוצים של ניצול יעיל של משאבים בעת אימון מודלים כה גדולים. זה בולט במיוחד במודלים של שפות גדולות (LLMs), שלרוב יש להם מיליארדי פרמטרים ולכן דורשים אשכולות GPU מרובים צמתים גדולים כדי לאמן אותם ביעילות.
בעת אימון מודלים אלה על אשכולות מחשוב גדולים, אנו יכולים להיתקל באתגרים של אופטימיזציה של משאבי מחשוב כגון צווארי בקבוק של קלט/פלט, זמן השהייה של הפעלת ליבה, מגבלות זיכרון וניצול נמוך של משאבים. אם תצורת עבודת ההדרכה אינה מותאמת, אתגרים אלו עלולים לגרום לניצול חומרה לא יעיל וזמני הדרכה ארוכים יותר או ריצות הדרכה לא שלמות, מה שמגדיל את העלויות הכוללות ואת לוחות הזמנים של הפרויקט.
תנאים מוקדמים
להלן התנאים המוקדמים כדי להתחיל להשתמש ב-SageMaker Profiler:
- דומיין של SageMaker בחשבון AWS שלך – להנחיות להגדרת דומיין, ראה נכלל ב-Amazon SageMaker Domain באמצעות הגדרה מהירה. אתה גם צריך להוסיף פרופילי משתמש בדומיין עבור משתמשים בודדים כדי לגשת לאפליקציית ממשק המשתמש של SageMaker Profiler. למידע נוסף, ראה הוסף והסר פרופילי משתמש של SageMaker Domain.
- הרשאות – הרשימה הבאה היא קבוצת ההרשאות המינימלית שיש להקצות לתפקיד הביצוע לשימוש באפליקציית ממשק המשתמש של SageMaker Profiler:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:SearchTrainingJobs
s3:GetObject
s3:ListBucket
הכן והפעל עבודת הדרכה עם SageMaker Profiler
כדי להתחיל ללכוד ריצות ליבה על GPUs בזמן שעבודת האימון פועלת, שנה את סקריפט האימון שלך באמצעות המודולים של SageMaker Profiler Python. ייבא את הספרייה והוסף את start_profiling()
ו stop_profiling()
שיטות להגדרת ההתחלה והסוף של הפרופיל. אתה יכול גם להשתמש בהערות מותאמות אישית אופציונליות כדי להוסיף סמנים בסקריפט האימון כדי לדמיין פעילויות חומרה במהלך פעולות מסוימות בכל שלב.
ישנן שתי גישות שאתה יכול לנקוט כדי ליצור פרופיל של תסריטי ההדרכה שלך עם SageMaker Profiler. הגישה הראשונה מבוססת על פרופיל פונקציות מלאות; הגישה השנייה מבוססת על פרופיל שורות קוד ספציפיות בפונקציות.
כדי ליצור פרופיל לפי פונקציות, השתמש במנהל ההקשרים smppy.annotate
כדי להוסיף הערות לפונקציות המלאות. התסריט הבא לדוגמה מראה כיצד ליישם את מנהל ההקשרים כדי לעטוף את לולאת האימון והפונקציות המלאות בכל איטרציה:
אתה יכול גם להשתמש smppy.annotation_begin()
ו smppy.annotation_end()
להוסיף הערות לשורות קוד ספציפיות בפונקציות. למידע נוסף, עיין ב תיעוד.
הגדר את משגר משרות ההדרכה של SageMaker
לאחר שתסיים להעיר ולהגדיר את מודולי התחלת הפרופילים, שמור את סקריפט ההדרכה והכין את מעריך המסגרת של SageMaker לאימון באמצעות ה-SDK של SageMaker Python.
- לארגן
profiler_config
אובייקט באמצעותProfilerConfig
וProfiler
מודולים כדלקמן: - צור מעריך SageMaker עם ה-
profiler_config
אובייקט שנוצר בשלב הקודם. הקוד הבא מציג דוגמה ליצירת מעריך PyTorch:
אם ברצונך ליצור מעריך TensorFlow, ייבא sagemaker.tensorflow.TensorFlow
במקום זאת, וציין אחת מגרסאות TensorFlow הנתמכות על ידי SageMaker Profiler. למידע נוסף על מסגרות וסוגי מופעים נתמכים, ראה מסגרות נתמכות.
- התחל את עבודת האימון על ידי הפעלת שיטת ההתאמה:
הפעל את ממשק המשתמש של SageMaker Profiler
לאחר סיום עבודת ההדרכה, תוכל להפעיל את ממשק המשתמש של SageMaker Profiler כדי להמחיש ולחקור את הפרופיל של עבודת ההדרכה. אתה יכול לגשת לאפליקציית ממשק המשתמש של SageMaker Profiler דרך דף הנחיתה של SageMaker Profiler בקונסולת SageMaker או דרך הדומיין של SageMaker.
כדי להפעיל את היישום SageMaker Profiler UI בקונסולת SageMaker, בצע את השלבים הבאים:
- במסוף SageMaker בחר פרופיל בחלונית הניווט.
- תַחַת התחל כאן, בחר את התחום שבו ברצונך להפעיל את היישום SageMaker Profiler UI.
אם פרופיל המשתמש שלך שייך רק לדומיין אחד, לא תראה את האפשרות לבחירת דומיין.
- בחר את פרופיל המשתמש שעבורו ברצונך להפעיל את היישום SageMaker Profiler UI.
אם אין פרופיל משתמש בדומיין, בחר צור פרופיל משתמש. למידע נוסף על יצירת פרופיל משתמש חדש, ראה הוסף והסר פרופילי משתמש.
- בחרו פתח את Profiler.
אתה יכול גם הפעל את ממשק המשתמש של SageMaker Profiler מדף פרטי הדומיין.
קבל תובנות מ-SageMaker Profiler
כאשר אתה פותח את ממשק המשתמש של SageMaker Profiler, ה בחר וטען פרופיל הדף נפתח, כפי שמוצג בצילום המסך הבא.
ניתן לצפות ברשימה של כל משרות ההכשרה שהוגשו ל- SageMaker Profiler ולחפש משרת הדרכה מסוימת לפי שמה, זמן היצירה וסטטוס הריצה שלה (בביצוע, הושלמה, נכשל, הופסק או מפסיק). כדי לטעון פרופיל, בחר את עבודת ההדרכה שברצונך להציג ובחר לִטעוֹן. שם העבודה צריך להופיע ב- פרופיל נטען סעיף בחלק העליון.
בחר את שם העבודה כדי ליצור את לוח המחוונים וציר הזמן. שים לב שכאשר אתה בוחר את העבודה, ממשק המשתמש פותח אוטומטית את לוח המחוונים. אתה יכול לטעון ולהמחיש פרופיל אחד בכל פעם. כדי לטעון פרופיל אחר, תחילה עליך לפרוק את הפרופיל שנטען קודם לכן. כדי לפרוק פרופיל, בחר בסמל פח האשפה ב- פרופיל נטען סָעִיף.
עבור פוסט זה, אנו רואים את הפרופיל של an אלבף עבודת הדרכה בשני מופעים ml.p4d.24xlarge.
לאחר שתסיים לטעון ולבחור את עבודת ההדרכה, ממשק המשתמש פותח את לוח ניהול חשבון עמוד, כפי שמוצג בצילום המסך הבא.
אתה יכול לראות את החלקים של מדדי מפתח, כלומר זמן פעיל של GPU, ניצול GPU לאורך זמן, זמן פעיל של CPU וניצול CPU לאורך זמן. תרשים העוגה הפעיל של ה-GPU מציג את אחוז הזמן הפעיל של ה-GPU לעומת זמן סרק של ה-GPU, מה שמאפשר לנו לבדוק אם ה-GPUs פעילים יותר מאשר בטלים לאורך כל עבודת האימון. גרף ציר הזמן של ניצול ה-GPU לאורך זמן מציג את שיעור הניצול הממוצע של ה-GPU לאורך זמן לכל צומת, אוסף את כל הצמתים בתרשים אחד. אתה יכול לבדוק אם למעבדי ה-GPU יש עומס עבודה לא מאוזן, בעיות תת-ניצול, צווארי בקבוק או בעיות סרק במהלך מרווחי זמן מסוימים. לפרטים נוספים על פרשנות מדדים אלה, עיין ב תיעוד.
לוח המחוונים מספק לך עלילות נוספות, כולל זמן שהשקיעו על ידי כל ליבות ה-GPU, זמן השהות על ידי 15 ליבות ה-GPU המובילות, ספירות ההשקה של כל ליבות ה-GPU וספירות ההשקה של 15 ליבות ה-GPU המובילות, כפי שמוצג בצילום המסך הבא.
לבסוף, לוח המחוונים מאפשר לך לדמיין מדדים נוספים, כגון התפלגות זמן הצעד, שהיא היסטוגרמה המציגה את התפלגות משכי הצעדים ב-GPU, ותרשים העוגה של הפצת דיוק הליבה, המציג את אחוז הזמן המושקע בהפעלת ליבות בסוגי נתונים שונים כגון FP32, FP16, INT32 ו-INT8.
אתה יכול גם לקבל תרשים עוגה על התפלגות הפעילות של GPU המציג את אחוז הזמן המושקע בפעילויות GPU, כגון הפעלת גרעינים, זיכרון (memcpy
ו memset
), וסנכרון (sync
). אתה יכול לדמיין את אחוז הזמן המושקע בפעולות זיכרון GPU מתרשים העוגה של הפצת פעולות זיכרון GPU.
אתה יכול גם ליצור היסטוגרמות משלך בהתבסס על מדד מותאם אישית שסימנת ידנית כמתואר קודם לכן בפוסט זה. בעת הוספת הערה מותאמת אישית להיסטוגרמה חדשה, בחר או הזן את שם ההערה שהוספת בסקריפט האימון.
ממשק ציר זמן
ממשק המשתמש של SageMaker Profiler כולל גם ממשק ציר זמן, המספק לך מבט מפורט על משאבי המחשוב ברמת הפעולות והגרעינים המתוזמנים במעבדים ומופעלים במעבדי ה-GPU. ציר הזמן מאורגן במבנה עץ, נותן לך מידע מרמת המארח לרמת המכשיר, כפי שמוצג בצילום המסך הבא.
עבור כל מעבד, אתה יכול לעקוב אחר מוני ביצועי המעבד, כגון clk_unhalted_ref.tsc
ו itlb_misses.miss_causes_a_walk
. עבור כל GPU במופע 2x p4d.24xlarge, אתה יכול לראות ציר זמן מארח וציר זמן של מכשיר. השקות הליבה הן על ציר הזמן המארח והרצות הליבה הן על ציר הזמן של המכשיר.
אתה יכול גם להתקרב לשלבים הבודדים. בצילום המסך הבא, התקרבנו ל-step_41. רצועת ציר הזמן שנבחרה בצילום המסך הבא היא AllReduce
תפעול, שלב תקשורת וסנכרון חיוני באימון מבוזר, הפועל על GPU-0. בצילום המסך, שים לב שהשקת הליבה במארח GPU-0 מתחבר לריצת הליבה בזרם 0 של מכשיר GPU-1, המסומן עם החץ בציאן.
זמינות ושיקולים
SageMaker Profiler זמין ב-PyTorch (גרסה 2.0.0 ו-1.13.1) וב-TensorFlow (גרסה 2.12.0 ו-2.11.1). הטבלה הבאה מספקת את הקישורים לנתמכים מיכלי למידה עמוקה של AWS עבור SageMaker.
מסגרת | גִרְסָה | URI תמונה של AWS DLC |
PyTorch | 2.0.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
PyTorch | 1.13.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker |
TensorFlow | 2.12.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
TensorFlow | 2.11.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.1-gpu-py39-cu112-ubuntu20.04-sagemaker |
SageMaker Profiler זמין כעת באזורים הבאים: מזרח ארה"ב (אוהיו, צפון וירג'יניה), מערב ארה"ב (אורגון) ואירופה (פרנקפורט, אירלנד).
SageMaker Profiler זמין במופעי ההדרכה ml.p4d.24xlarge, ml.p3dn.24xlarge ו-ml.g4dn.12xlarge.
לרשימה המלאה של מסגרות וגרסאות נתמכות, עיין ב תיעוד.
SageMaker Profiler כרוך בחיובים לאחר סיום ה-SageMaker Free Tier או תקופת הניסיון החינמית של התכונה. למידע נוסף, ראה תמחור SageMaker של אמזון.
ביצועים של SageMaker Profiler
השווינו את התקורה של SageMaker Profiler מול פרופילי קוד פתוח שונים. קו הבסיס ששימשו להשוואה התקבל מהפעלת עבודת ההדרכה ללא פרופילר.
הממצא העיקרי שלנו גילה ש-SageMaker Profiler הביא בדרך כלל למשך אימון קצר יותר שניתן לחיוב, מכיוון שהיה לו פחות זמן תקורה בריצות האימון מקצה לקצה. זה גם יצר פחות נתוני פרופיל (עד פי 10 פחות) בהשוואה לחלופות קוד פתוח. חפצי הפרופיל הקטנים יותר שנוצרו על ידי SageMaker Profiler דורשים פחות אחסון, ובכך גם חוסכים בעלויות.
סיכום
SageMaker Profiler מאפשר לך לקבל תובנות מפורטות לגבי ניצול משאבי המחשוב בעת אימון מודלים של למידה עמוקה. זה יכול לאפשר לך לפתור נקודות חמות בביצועים וצווארי בקבוק כדי להבטיח ניצול יעיל של משאבים שבסופו של דבר יוריד את עלויות ההדרכה ויקטין את משך ההכשרה הכולל.
כדי להתחיל עם SageMaker Profiler, עיין ב תיעוד.
על הכותבים
רועי אללה הוא אדריכל בכיר לפתרונות AI/ML ב-AWS שבסיסו במינכן, גרמניה. רוי עוזר ללקוחות AWS - החל מסטארטאפים קטנים ועד ארגונים גדולים - לאמן ולפרוס מודלים של שפה גדולים ביעילות ב-AWS. רוי נלהב מבעיות אופטימיזציה חישובית ושיפור הביצועים של עומסי עבודה בינה מלאכותית.
סושנט ירח הוא מדען נתונים ב-AWS, הודו, המתמחה בהדרכת לקוחות באמצעות מאמצי ה-AI/ML שלהם. עם רקע מגוון המשתרע על תחומי קמעונאות, פיננסים וביטוח, הוא מספק פתרונות חדשניים ומותאמים. מעבר לחייו המקצועיים, סושאנט מוצא התחדשות בשחייה ומחפש השראה מנסיעותיו למקומות מגוונים.
דיקאשה שארמה הוא אדריכל פתרונות AI/ML מומחה בארגון המומחים העולמי. היא עובדת עם לקוחות במגזר הציבורי כדי לעזור להם לבנות יישומי למידת מכונה יעילים, מאובטחים וניתנים להרחבה, כולל פתרונות AI גנרטיביים ב-AWS. בזמנה הפנוי, דיקשה אוהבת לקרוא, לצייר ולבלות עם משפחתה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- ChartPrime. הרם את משחק המסחר שלך עם ChartPrime. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/announcing-the-preview-of-amazon-sagemaker-profiler-track-and-visualize-detailed-hardware-performance-data-for-your-model-training-workloads/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 1
- 10
- 100
- 11
- 12
- 125
- 13
- 15%
- 17
- 20
- 7
- 9
- a
- אודות
- גישה
- לרוחב
- מפעילה
- פעיל
- פעילויות
- פעילות
- להוסיף
- הוסיף
- מוסיף
- נוסף
- לאחר
- נגד
- -
- AI
- AI / ML
- תעשיות
- גם
- חלופות
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- an
- ו
- להכריז
- מכריז
- אחר
- כל
- לְהוֹפִיעַ
- בקשה
- יישומים
- גישה
- גישות
- ARE
- AS
- שהוקצה
- At
- באופן אוטומטי
- זמין
- מְמוּצָע
- AWS
- רקע
- מבוסס
- Baseline
- BE
- כי
- להיות
- היה
- ההתחלה
- שייך
- בֵּין
- מעבר
- מיליארדים
- BIN
- by
- CAN
- יכולות
- יכולת
- לכידה
- מסוים
- האתגרים
- חיובים
- תרשים
- לבדוק
- בחרו
- קוד
- Common
- תקשורת
- לעומת
- השוואה
- להשלים
- השלמת
- מורכבות
- לחשב
- תְצוּרָה
- מתחבר
- קונסול
- מכולות
- הקשר
- תוֹאֵם
- עלות
- עלויות
- מונה
- לִיצוֹר
- נוצר
- יוצרים
- יצירה
- כיום
- מנהג
- לקוחות
- ציאן
- לוח מחוונים
- נתונים
- מדען נתונים
- עמוק
- למידה עמוקה
- לְהַגדִיר
- מספק
- לפרוס
- מְתוּאָר
- מְפוֹרָט
- פרטים
- מכשיר
- אחר
- מופץ
- הכשרה מבוזרת
- הפצה
- שונה
- תחום
- תחומים
- עשה
- מטה
- נהיגה
- משך
- בְּמַהֲלָך
- כל אחד
- מוקדם יותר
- מזרח
- יעיל
- יעילות
- לאפשר
- מאפשר
- סוף
- מקצה לקצה
- מאמצים
- מסתיים
- לְהַבטִיחַ
- זן
- שלם
- כניסה
- תקופה
- תקופות
- חיוני
- אירופה
- אירועים
- ברור
- דוגמה
- הוצאת להורג
- לחקור
- נכשל
- משפחה
- מאפיין
- לממן
- מציאת
- ממצאים
- גימור
- ראשון
- מתאים
- הבא
- כדלקמן
- בעד
- קדימה
- מסגרת
- מסגרות
- חופשי
- ניסיון ללא תשלום
- החל מ-
- מלא
- פונקציות
- בדרך כלל
- ליצור
- נוצר
- גנרטטיבית
- AI Generative
- גרמניה
- לקבל
- נתינה
- GPU
- GPUs
- גרף
- לגדול
- היה
- חומרה
- יש
- he
- לעזור
- עוזר
- לה
- שֶׁלוֹ
- המארח
- איך
- איך
- HTML
- http
- HTTPS
- i
- ICON
- להתבטל
- if
- תמונה
- ליישם
- לייבא
- שיפור
- in
- כולל
- כולל
- להגדיל
- הודו
- הצביע
- בנפרד
- לֹא יָעִיל
- מידע
- חדשני
- תשומות
- תובנות
- השראה
- למשל
- במקום
- הוראות
- ביטוח
- מִמְשָׁק
- אל תוך
- אירלנד
- בעיות
- IT
- איטרציה
- שֶׁלָה
- עבודה
- מקומות תעסוקה
- jpg
- מפתח
- תוויות
- נחיתה
- שפה
- גָדוֹל
- לשגר
- השקות
- למידה
- פחות
- רמה
- סִפְרִיָה
- החיים
- גבולות
- קווים
- קישורים
- רשימה
- לִטעוֹן
- טוען
- עוד
- את
- אוהב
- נמוך
- מכונה
- למידת מכונה
- מנהל
- באופן ידני
- זכרון
- שיטה
- שיטות
- מטרי
- מדדים
- מינימום
- ML
- מודל
- מודלים
- לשנות
- מודולים
- יותר
- צריך
- שם
- כלומר
- ניווט
- צורך
- חדש
- לא
- צומת
- צמתים
- אובייקט
- להשיג
- מושג
- of
- המיוחדות שלנו
- אוהיו
- on
- ONE
- רק
- לפתוח
- קוד פתוח
- נפתח
- מבצע
- תפעול
- אופטימיזציה
- אופטימיזציה
- אפשרות
- or
- להזמין
- אורגון
- ארגון
- מאורגן
- יותר
- מקיף
- שֶׁלוֹ
- עמוד
- זגוגית
- פרמטרים
- מסוים
- במיוחד
- לוהט
- עבור
- אחוזים
- ביצועים
- תקופה
- הרשאות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מְרוּצֶה
- נקודה
- הודעה
- דיוק
- להכין
- תנאים מוקדמים
- תצוגה מקדימה
- קודם
- קוֹדֶם
- בעיות
- מקצועי
- פּרוֹפִיל
- פרופילים
- פרופיל
- התקדמות
- פּרוֹיֶקט
- מספק
- ציבורי
- פיתון
- פיטורך
- מָהִיר
- מהר
- ציון
- חומר עיוני
- להפחית
- אזורים
- עֶדנָה
- קשר
- להסיר
- לדרוש
- משאב
- משאבים
- תוצאה
- קמעוני
- גילה
- לעלות
- תפקיד
- רועי
- הפעלה
- ריצה
- פועל
- בעל חכמים
- שמור
- חסכת
- להרחבה
- מתוכנן
- מַדְעָן
- סקריפטים
- Sdk
- חיפוש
- שְׁנִיָה
- סעיף
- מגזר
- לבטח
- לִרְאוֹת
- מחפש
- נבחר
- בחירה
- לחצני מצוקה לפנסיונרים
- שירותים
- סט
- הצבה
- היא
- צריך
- הראה
- הופעות
- יחיד
- מידה
- קטן
- קטן יותר
- פתרונות
- מָקוֹר
- מתח
- מומחה
- מתמחה
- ספציפי
- לבלות
- בילה
- התחלה
- החל
- חברות סטארט
- מדינה-of-the-art
- סטטיסטי
- מצב
- שלב
- צעדים
- נעצר
- סְתִימָה
- אחסון
- זרם
- מִבְנֶה
- הוגש
- כזה
- סיכום
- נתמך
- סִנכְּרוּן
- שולחן
- מותאם
- לקחת
- tensorflow
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- שם.
- בכך
- לכן
- אלה
- זֶה
- דרך
- בכל
- נִדבָּך
- זמן
- ציר זמן
- צירי זמן
- פִּי
- ל
- חלק עליון
- לעקוב
- מעקב
- רכבת
- הדרכה
- להעביר
- נוסע
- עץ
- מִשׁפָּט
- טריליונים
- שתיים
- סוגים
- בדרך כלל
- ui
- בסופו של דבר
- הבנה
- us
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- ממשק משתמש
- משתמשים
- באמצעות
- שונים
- גרסה
- גירסאות
- לצפיה
- וירג'יניה
- vs
- רוצה
- היה
- we
- אינטרנט
- שירותי אינטרנט
- מערב
- מתי
- אשר
- בזמן
- יצטרך
- עם
- לְלֹא
- עובד
- עולמי
- היה
- לעטוף
- אתה
- זפירנט
- זום