אנו נרגשים להכריז על שחרור קוד פתוח של GraphStorm 0.1, מסגרת למידת מכונה של גרפים ארגוניים (ML) בקוד נמוך לבנייה, אימון ופריסה של פתרונות ML של גרפים על גרפים מורכבים בקנה מידה ארגוני תוך ימים במקום חודשים. עם GraphStorm, אתה יכול לבנות פתרונות שלוקחים בחשבון ישירות את המבנה של מערכות יחסים או אינטראקציות בין מיליארדי ישויות, המוטמעות מטבען ברוב הנתונים בעולם האמיתי, כולל תרחישי גילוי הונאה, המלצות, זיהוי קהילה ובעיות חיפוש/שליפה.
עד עכשיו, זה היה ידוע לשמצה לבנות, לאמן ולפרוס פתרונות ML של גרפים עבור גרפים ארגוניים מורכבים שיש להם בקלות מיליארדי צמתים, מאות מיליארדי קצוות ועשרות מאפיינים - רק תחשוב על גרף שמצלם את מוצרי Amazon.com , תכונות מוצר, לקוחות ועוד. עם GraphStorm, אנו משחררים את הכלים שבהם אמזון משתמשת באופן פנימי כדי להביא פתרונות ML גרפים בקנה מידה גדול לייצור. GraphStorm לא דורש ממך להיות מומחה ב- ML של גרף והוא זמין תחת רישיון Apache v2.0 ב-GitHub. למידע נוסף על GraphStorm, בקר באתר מאגר GitHub.
בפוסט זה, אנו מספקים מבוא ל- GraphStorm, הארכיטקטורה שלו, ודוגמה לשימוש בה.
הכירו את GraphStorm
אלגוריתמי גרפים וגרפים ML מופיעים כפתרונות חדישים לבעיות עסקיות חשובות רבות כמו חיזוי סיכוני עסקאות, ציפייה להעדפות לקוחות, זיהוי פריצות, אופטימיזציה של שרשרת האספקה, ניתוח רשתות חברתיות וחיזוי תעבורה. לדוגמה, משמר אמזון, שירות זיהוי האיומים המקורי של AWS, משתמש בגרף עם מיליארדי קצוות כדי לשפר את הכיסוי והדיוק של מודיעין האיומים שלו. זה מאפשר ל-GuardDuty לסווג דומיינים שלא נראו בעבר כבעלי סיכוי גבוה להיות זדוניים או שפירים בהתבסס על השיוך שלהם לדומיינים זדוניים ידועים. על ידי שימוש ברשתות גרפיות עצביות (GNNs), GuardDuty מסוגלת לשפר את יכולתה להתריע ללקוחות.
עם זאת, פיתוח, השקה ותפעול של פתרונות ML של גרפים נמשכים חודשים ודורשים מומחיות בגרפי ML. כצעד ראשון, מדען ML גרף צריך לבנות מודל ML גרפי עבור מקרה שימוש נתון באמצעות מסגרת כמו ספריית הגרפים העמוקים (DGL). אימון מודלים כאלה הוא מאתגר בשל הגודל והמורכבות של גרפים ביישומים ארגוניים, אשר מגיעים באופן שגרתי למיליארדי צמתים, מאות מיליארדי קצוות, סוגי צמתים וקצה שונים, ומאות תכונות צמתים וקצה. גרפים ארגוניים יכולים לדרוש טרה-בייט של אחסון זיכרון, מה שמחייב מדעני ML של גרף לבנות צינורות אימון מורכבים. לבסוף, לאחר הכשרה של מודל, יש לפרוס אותם להסקה, מה שדורש צינורות מסקנות שקשה לבנות בדיוק כמו צינורות ההדרכה.
GraphStorm 0.1 היא מסגרת ML גרפית ארגונית בעלת קוד נמוך המאפשרת לעוסקים ב-ML לבחור בקלות מודלים מוגדרים מראש של ML גרפים שהוכחו כיעילים, להפעיל הדרכה מבוזרת על גרפים עם מיליארדי צמתים, ולפרוס את המודלים לייצור. GraphStorm מציעה אוסף של מודלים מובנים של גרפים ML, כגון Relational Graph Convolutional Networks (RGCN), Relational Graph Attention Networks (RGAT) ו-HGT) עבור יישומים ארגוניים עם גרפים הטרוגניים, המאפשרים למהנדסי ML עם מעט גרף את המומחיות של ML כדי לנסות פתרונות מודל שונים למשימה שלהם ולבחור את המתאים במהירות. צינורות הדרכה והסקת מסקנות מבוזרים מקצה לקצה, שמתרחבים לגרפים ארגוניים בקנה מידה מיליארד, מקלים על ההכשרה, הפריסה וההפעלה של מסקנות. אם אתה חדש ב-GraphStorm או ב-graph ML באופן כללי, תוכל ליהנות מהמודלים והצינורות שהוגדרו מראש. אם אתה מומחה, יש לך את כל האפשרויות לכוון את צינור ההדרכה וארכיטקטורת המודל כדי לקבל את הביצועים הטובים ביותר. GraphStorm בנויה על גבי ה-DGL, מסגרת פופולרית לפיתוח דגמי GNN, וזמינה כקוד קוד פתוח תחת רישיון Apache v2.0.
"GraphStorm נועד לעזור ללקוחות להתנסות ולהפעיל שיטות ML של גרפים עבור יישומי תעשייה כדי להאיץ את האימוץ של גרף ML", אומר ג'ורג' קריפיס, מדען ראשי בכיר במחקר AI/ML של אמזון. "מאז השקתה באמזון, GraphStorm צמצמה את המאמץ לבנות פתרונות מבוססי ML גרפים עד פי חמישה."
"GraphStorm מאפשרת לצוות שלנו לאמן הטמעת GNN באופן בפיקוח עצמי על גרף עם 288 מיליון צמתים ו-2 מיליארד קצוות", אומר הנינג יו, מדען יישומי ראשי ב-Amazon Measurement, Ad Tech ו-Data Science. "הטמעות GNN שהוכשרו מראש מציגות שיפור של 24% במשימת חיזוי פעילות קונים בהשוואה לקו בסיס מתקדם מבוסס BERT; זה גם עולה על ביצועי ההשוואה ביישומי מודעות אחרים."
"לפני GraphStorm, לקוחות יכלו לשנות קנה מידה אנכית בלבד כדי להתמודד עם גרפים של 500 מיליון קצוות", אומר בראד בי, GM של אמזון נפטון ואמזון טייםסטרים. "GraphStorm מאפשרת ללקוחות להתאים אימון מודלים של GNN על גרפים מסיביים של אמזון נפטון עם עשרות מיליארדי קצוות."
ארכיטקטורה טכנית של GraphStorm
האיור הבא מציג את הארכיטקטורה הטכנית של GraphStorm.
GraphStorm בנויה על גבי PyTorch ויכולה לפעול על GPU יחיד, מספר GPUs ומכונות GPU מרובות. הוא מורכב משלוש שכבות (מסומנות בתיבות הצהובות באיור הקודם):
- שכבה תחתונה (Dist GraphEngine) – השכבה התחתונה מספקת את הרכיבים הבסיסיים כדי לאפשר ML של גרף מבוזר, כולל גרפים מבוזרים, טנזורים מבוזרים, הטבעות מבוזרות ודגימות מבוזרות. GraphStorm מספקת יישומים יעילים של רכיבים אלה כדי לשנות את קנה המידה של אימוני ML גרפים לגרפים של מיליארד צמתים.
- שכבה אמצעית (צנרת אימון/הסקת GS) - השכבה האמצעית מספקת מאמנים, מעריכים ומנבאים כדי לפשט אימון מודלים והסקת מסקנות הן עבור המודלים המובנים והן עבור המודלים המותאמים אישית שלך. בעיקרון, על ידי שימוש ב-API של שכבה זו, אתה יכול להתמקד בפיתוח המודל מבלי לדאוג כיצד להגדיל את אימון המודל.
- שכבה עליונה (גן חיות דגם כללי של GS) – השכבה העליונה היא מודל גן חיות עם מודלים פופולריים של GNN ושאינם GNN עבור סוגי גרפים שונים. נכון לכתיבת שורות אלה, הוא מספק RGCN, RGAT ו-HGT עבור גרפים הטרוגניים ו-BERTGNN עבור גרפים טקסטואליים. בעתיד, נוסיף תמיכה במודלים של גרפים זמניים כגון TGAT עבור גרפים זמניים וכן TransE ו-DistMult עבור גרפי ידע.
כיצד להשתמש ב-GraphStorm
לאחר התקנת GraphStorm, אתה צריך רק שלושה שלבים כדי לבנות ולהכשיר מודלים של GML עבור היישום שלך.
ראשית, אתה מעבד מראש את הנתונים שלך (אפשר לכלול את הנדסת התכונות המותאמת אישית שלך) והופך אותם לפורמט טבלה הנדרש על ידי GraphStorm. עבור כל סוג צומת, אתה מגדיר טבלה המפרטת את כל הצמתים מאותו סוג ותכונותיהם, ומספקת מזהה ייחודי לכל צומת. עבור כל סוג קצה, אתה מגדיר באופן דומה טבלה שבה כל שורה מכילה את מזהי צומת המקור והיעד עבור קצה מסוג זה (למידע נוסף, ראה השתמש במדריך הנתונים שלך). בנוסף, אתה מספק קובץ JSON שמתאר את מבנה הגרף הכולל.
שנית, דרך ממשק שורת הפקודה (CLI), אתה משתמש במובנה של GraphStorm construct_graph
רכיב עבור עיבוד נתונים ספציפיים ל-GraphStorm, המאפשר אימון מבוזר יעיל והסקת מסקנות.
שלישית, אתה מגדיר את המודל וההדרכה בקובץ YAML (דוגמה) ושוב באמצעות ה-CLI, הפעילו את אחד מחמשת הרכיבים המובנים (gs_node_classification
, gs_node_regression
, gs_edge_classification
, gs_edge_regression
, gs_link_prediction
) כצינורות אימון להכשרת המודל. שלב זה מביא לחפצי מודל מאומנים. כדי לעשות מסקנות, עליך לחזור על שני השלבים הראשונים כדי להפוך את נתוני ההסקה לגרף באמצעות אותו רכיב GraphStorm (construct_graph
) כמו קודם.
לבסוף, אתה יכול להפעיל את אחד מחמשת הרכיבים המובנים, זהים ששימש להכשרת מודלים, כצינור מסקנות ליצירת הטבעות או תוצאות חיזוי.
הזרימה הכוללת מתוארת גם באיור הבא.
בסעיף הבא, אנו מספקים מקרה שימוש לדוגמה.
בצע תחזיות על נתוני OAG גולמיים
עבור פוסט זה, אנו מדגימים באיזו קלות GraphStorm יכול לאפשר אימון והסקת ML גרפים על מערך נתונים גולמי גדול. ה גרף אקדמי פתוח (OAG) מכיל חמש ישויות (מאמרים, מחברים, מקומות, השתייכות ותחום לימוד). מערך הנתונים הגולמי מאוחסן בקובצי JSON עם מעל 500 GB.
המשימה שלנו היא לבנות מודל לניבוי תחום המחקר של מאמר. כדי לחזות את תחום הלימוד, אפשר לנסח אותו כמשימת סיווג רב-תווית, אבל קשה להשתמש בקידוד חם אחד כדי לאחסן את התוויות מכיוון שיש מאות אלפי שדות. לכן, עליך ליצור צמתים של תחום מחקר ולנסח בעיה זו כמשימת חיזוי קישור, המנבא לאיזה צמתים של תחום לימוד צומת נייר צריך להתחבר.
כדי ליצור מודל של מערך נתונים זה בשיטת גרף, השלב הראשון הוא לעבד את מערך הנתונים ולחלץ ישויות וקצוות. ניתן לחלץ חמישה סוגי קצוות מקבצי JSON כדי להגדיר גרף, המוצג באיור הבא. אתה יכול להשתמש במחברת Jupyter ב-GraphStorm קוד דוגמה לעבד את מערך הנתונים וליצור חמש טבלאות ישויות עבור כל סוג ישות וחמש טבלאות קצה עבור כל סוג קצה. מחברת Jupyter גם מייצרת הטמעות BERT על הישויות עם נתוני טקסט, כגון ניירות.
לאחר הגדרת הישויות והקצוות בין הישויות, תוכל ליצור mag_bert.json
, המגדיר את סכימת הגרף, ומפעיל את צינור בניית הגרפים המובנה construct_graph
ב- GraphStorm כדי לבנות את הגרף (ראה את הקוד הבא). למרות שצינור בניית הגרפים של GraphStorm פועל במכונה אחת, הוא תומך בעיבוד ריבוי לעיבוד צמתים ותכונות קצה במקביל (--num_processes
) ויכול לאחסן תכונות ישות וקצה בזיכרון חיצוני (--ext-mem-workspace
) כדי להתאים למערכי נתונים גדולים.
כדי לעבד גרף כל כך גדול, אתה צריך מופע CPU בעל זיכרון גדול כדי לבנות את הגרף. אתה יכול להשתמש ב- ענן מחשוב אלסטי של אמזון (Amazon EC2) מופע r6id.32xlarge (128 vCPU ו-1 TB RAM) או מופעים r6a.48xlarge (192 vCPU ו-1.5 TB RAM) כדי לבנות את גרף OAG.
לאחר בניית גרף, אתה יכול להשתמש gs_link_prediction
לאמן מודל חיזוי קישור בארבעה מופעים של g5.48xlarge. בעת שימוש במודלים המובנים, אתה מפעיל רק שורת פקודה אחת כדי להפעיל את עבודת ההדרכה המבוזרת. ראה את הקוד הבא:
לאחר אימון המודל, חפץ הדגם נשמר בתיקייה /data/mag_lp_model
.
כעת אתה יכול להפעיל הסקת חיזוי קישור כדי ליצור הטבעות GNN ולהעריך את ביצועי המודל. GraphStorm מספקת מספר מדדי הערכה מובנים כדי להעריך את ביצועי המודל. לבעיות חיזוי קישור, למשל, GraphStorm מוציא אוטומטית את הדרגה הממוצעת ההדדית המטרית (MRR). MRR הוא מדד בעל ערך להערכת מודלים של חיזוי קישורי גרף מכיוון שהוא מעריך עד כמה הקישורים בפועל מדורגים בין הקישורים החזויים. זה לוכד את איכות התחזיות, ומוודא שהמודל שלנו נותן עדיפות נכונה לקשרים אמיתיים, שזו המטרה שלנו כאן.
אתה יכול להפעיל הסקה באמצעות שורת פקודה אחת, כפי שמוצג בקוד הבא. במקרה זה, המודל מגיע ל-MRR של 0.31 במערך הבדיקה של הגרף הבנוי.
שימו לב שצינור ההסקה מייצר הטמעות ממודל חיזוי הקישור. כדי לפתור את הבעיה של מציאת תחום הלימוד לכל מאמר נתון, פשוט בצע חיפוש שכן הקרוב ביותר על ההטבעות.
סיכום
GraphStorm היא מסגרת ML גרפית חדשה שמקלה לבנות, לאמן ולפרוס דגמי ML גרפים על גרפים בתעשייה. זה נותן מענה לכמה אתגרים מרכזיים ב-Graf ML, כולל מדרגיות ושימושיות. הוא מספק רכיבים מובנים לעיבוד גרפים בקנה מידה של מיליארדים מנתוני קלט גולמיים לאימון מודלים והסקת מודלים ואפשר למספר צוותי אמזון לאמן מודלים מתקדמים של גרפים ML ביישומים שונים. בדוק שלנו מאגר GitHub לקבלת מידע נוסף.
על הכותבים
דה ג'נג הוא מדען יישומי בכיר בחקר AI/ML של AWS המוביל צוות למידת מכונת גרפים לפיתוח טכניקות ומסגרות להכנסת למידת מכונות גרפים לייצור. אבא קיבל את הדוקטורט שלו במדעי המחשב מאוניברסיטת ג'ונס הופקינס.
פלוריאן סופה הוא מנהל מוצר טכני ראשי במחקר AI/ML של AWS התומך בצוותי מדע מתקדמים כמו קבוצת למידת מכונה גרף ומשפר מוצרים כמו Amazon DataZone עם יכולות ML. לפני שהצטרף ל-AWS, פלוריאן הוביל את ניהול המוצר הטכני לנהיגה אוטומטית ב-Bosch, היה יועץ אסטרטגיה ב-McKinsey & Company, ועבד כמדען מערכות בקרה/רובוטיקה - תחום בו הוא בעל דוקטורט.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- EVM Finance. ממשק מאוחד למימון מבוזר. גישה כאן.
- Quantum Media Group. IR/PR מוגבר. גישה כאן.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/fast-track-graph-ml-with-graphstorm-a-new-way-to-solve-problems-on-enterprise-scale-graphs/
- :יש ל
- :הוא
- $ למעלה
- 1
- 1 TB
- 100
- 16
- 31
- 500
- 7
- 8
- 9
- a
- יכול
- אודות
- אקדמי
- להאיץ
- חֶשְׁבּוֹן
- דיוק
- פעילות
- ממשי
- Ad
- להוסיף
- תוספת
- כתובות
- אימוץ
- מודעות
- מתקדם
- זיקות
- לאחר
- שוב
- AI / ML
- ערני
- אלגוריתמים
- תעשיות
- להתיר
- מאפשר
- גם
- אמזון בעברית
- אמזון
- אמזון נפטון
- חלון הזמנים של אמזון
- אמזון שירותי אינטרנט
- Amazon.com
- בין
- an
- אנליזה
- ו
- להכריז
- צופה
- כל
- אַפָּשׁ
- API
- בקשה
- יישומים
- יישומית
- ארכיטקטורה
- ARE
- AS
- עמותה
- At
- תשומת לב
- תכונות
- מחברים
- אוטומטי
- באופן אוטומטי
- זמין
- AWS
- מבוסס
- Baseline
- בסיסי
- בעיקרון
- BE
- כי
- היה
- לפני
- בנצ 'מרק
- תועלת
- הטוב ביותר
- בֵּין
- B
- מיליארדים
- שניהם
- תַחתִית
- תיבות
- בראד
- להביא
- לִבנוֹת
- נבנה
- מובנה
- עסקים
- אבל
- by
- CAN
- יכולות
- לוכדת
- לכידה
- מקרה
- שרשראות
- האתגרים
- אתגר
- לבדוק
- מיון
- קוד
- אוסף
- COM
- קהילה
- חברה
- מורכב
- מורכבות
- רְכִיב
- רכיבים
- לחשב
- המחשב
- מדעי מחשב
- לְחַבֵּר
- חיבורי
- מורכב
- לבנות
- בנייה
- בניה
- יועץ
- מכיל
- לִשְׁלוֹט
- יכול
- כיסוי
- לִיצוֹר
- מנהג
- לקוח
- לקוחות
- da
- נתונים
- עיבוד נתונים
- מדע נתונים
- מערכי נתונים
- ימים
- עמוק
- מגדיר
- הגדרה
- להפגין
- לפרוס
- פרס
- מעוצב
- יעד
- איתור
- לפתח
- מתפתח
- צעצועי התפתחות
- דגל
- אחר
- קשה
- ישירות
- מופץ
- הכשרה מבוזרת
- do
- לא
- תחומים
- עשרות
- נהיגה
- ראוי
- כל אחד
- בקלות
- קל
- אדג '
- אפקטיבי
- יעיל
- מאמץ
- מוטבע
- הטבעה
- מתעורר
- לאפשר
- מופעל
- מאפשר
- מקצה לקצה
- הנדסה
- מהנדסים
- להגביר את
- מִפְעָל
- ישויות
- ישות
- להעריך
- הערכה
- הערכה
- אֲפִילוּ
- דוגמה
- עולה
- נרגש
- לְנַסוֹת
- מומחה
- מומחיות
- חיצוני
- תמצית
- מאפיין
- תכונות
- שדה
- שדות
- תרשים
- שלח
- קבצים
- בסופו של דבר
- מציאת
- ראשון
- תזרים
- להתמקד
- הבא
- בעד
- פוּרמָט
- ארבע
- מסגרת
- מסגרות
- הונאה
- גילוי הונאה
- החל מ-
- עתיד
- כללי
- ליצור
- מייצר
- ג'ורג '
- לקבל
- GitHub
- נתן
- GM
- GPU
- GPUs
- גרף
- גרפים
- קְבוּצָה
- לטפל
- קשה
- יש
- he
- לעזור
- כאן
- גָבוֹהַ
- מאוד
- שֶׁלוֹ
- מחזיק
- איך
- כמה גבוה
- איך
- http
- HTTPS
- מאות
- ID
- מזהה
- if
- חשוב
- לשפר
- השבחה
- שיפור
- in
- באחר
- כולל
- תעשייה
- מידע
- מטבע הדברים
- קלט
- התקנה
- למשל
- במקום
- מוֹדִיעִין
- יחסי גומלין
- מִמְשָׁק
- כלפי פנים
- אל תוך
- מבוא
- IT
- שֶׁלָה
- עבודה
- אוניברסיטת ג'ונס הופקינס
- הצטרפות
- jpg
- ג'סון
- רק
- מפתח
- ידע
- ידוע
- תוויות
- גָדוֹל
- בקנה מידה גדול
- לשגר
- השקה
- שכבה
- שכבות
- עוֹפֶרֶת
- מוביל
- לִלמוֹד
- למידה
- סִפְרִיָה
- רישיון
- כמו
- סביר
- קו
- קשר
- קישורים
- רשימות
- קְצָת
- מכונה
- למידת מכונה
- מכונה
- מאי
- לעשות
- עושה
- עשייה
- ניהול
- מנהל
- דרך
- רב
- מסומן
- מסיבי
- מקינזי
- McKinsey & Company
- אומר
- מדידה
- זכרון
- שיטה
- שיטות
- מטרי
- מדדים
- אמצע
- מִילִיוֹן
- ML
- מודל
- מודלים
- חודשים
- יותר
- רוב
- מספר
- יליד
- צורך
- נפטון
- רשת
- רשתות
- רשתות עצביות
- חדש
- צומת
- צמתים
- מחברה
- עַכשָׁיו
- מטרה
- of
- המיוחדות שלנו
- on
- ONE
- רק
- קוד פתוח
- קוד קוד פתוח
- פועל
- מיטוב
- אפשרויות
- or
- אחר
- שלנו
- הַחוּצָה
- יותר
- מקיף
- שֶׁלוֹ
- מאמר
- ניירות
- מקביל
- לְבַצֵעַ
- ביצועים
- לבחור
- צינור
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- פופולרי
- הודעה
- פוטנציאל
- לחזות
- חזה
- ניבוי
- נבואה
- התחזיות
- העדפות
- קוֹדֶם
- מנהל
- בעיה
- בעיות
- תהליך
- תהליך
- המוצר
- ניהול מוצר
- מנהל מוצר
- הפקה
- מוצרים
- מוכח
- לספק
- מספק
- מתן
- גם
- פיטורך
- איכות
- מהירות
- RAM
- מדורג
- חי
- לְהַגִיעַ
- מגיע
- עולם אמיתי
- המלצות
- מופחת
- מערכות יחסים
- לשחרר
- לחזור על
- לדרוש
- נדרש
- דורש
- מחקר
- תוצאות
- תקין
- סיכונים
- באופן שגרתי
- שׁוּרָה
- הפעלה
- אותו
- אומר
- בקרת מערכות ותקשורת
- סולם
- תרחישים
- מדע
- מַדְעָן
- מדענים
- חיפוש
- סעיף
- לִרְאוֹת
- לחצני מצוקה לפנסיונרים
- שרות
- שירותים
- סט
- צריך
- לְהַצִיג
- הראה
- הופעות
- באופן דומה
- לפשט
- בפשטות
- יחיד
- מידה
- חֶברָתִי
- רשת חברתית
- פתרונות
- לפתור
- כמה
- מָקוֹר
- מדינה-of-the-art
- שלב
- צעדים
- אחסון
- חנות
- מאוחסן
- אִסטרָטֶגִיָה
- מִבְנֶה
- לימוד
- כזה
- לספק
- שרשראות אספקה
- תמיכה
- מסייע
- תומך
- שולחן
- לקחת
- לוקח
- המשימות
- נבחרת
- צוותי
- טק
- טכני
- טכניקות
- עשרות
- מבחן
- זֶה
- השמיים
- העתיד
- הגרף
- המקור
- שֶׁלָהֶם
- שם.
- לכן
- אלה
- הֵם
- לחשוב
- זֶה
- אם כי?
- אלפים
- איום
- שְׁלוֹשָׁה
- פִּי
- ל
- כלים
- חלק עליון
- תְנוּעָה
- רכבת
- מְאוּמָן
- הדרכה
- עסקה
- לשנות
- שנאי
- נָכוֹן
- לנסות
- שתיים
- סוג
- סוגים
- תחת
- ייחודי
- אוניברסיטה
- שמישות
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- שימושים
- באמצעות
- בעל ערך
- שונים
- התרחשויות
- בֵּמְאוּנָך
- באמצעות
- לְבַקֵר
- היה
- דֶרֶך..
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- אשר
- באופן נרחב
- יצטרך
- עם
- לְלֹא
- עבד
- כתיבה
- יאמל
- אתה
- זפירנט
- גן חיות