פוסט זה בבלוג נכתב בשיתוף עם Chaoyang He ו-Salman Avestimehr מ-FedML.
ניתוח נתוני בריאות ומדעי החיים בעולם האמיתי (HCLS) מציב מספר אתגרים מעשיים, כגון ממגורות נתונים מבוזרות, חוסר מספיק נתונים בכל אתר בודד לאירועים נדירים, הנחיות רגולטוריות האוסרות על שיתוף נתונים, דרישת תשתית ועלות שנגרמה ביצירת מאגר נתונים מרכזי. מכיוון שהם נמצאים בתחום מוסדר מאוד, שותפי HCLS ולקוחות מחפשים מנגנונים לשמירה על הפרטיות לניהול וניתוח נתונים בקנה מידה גדול, מבוזר ורגיש.
כדי למתן את האתגרים הללו, אנו מציעים להשתמש במסגרת למידה מאוחדת בקוד פתוח (FL) הנקראת FedML, המאפשר לך לנתח נתוני HCLS רגישים על ידי אימון מודל למידת מכונה גלובלית מנתונים מבוזרים המוחזקים באופן מקומי באתרים שונים. FL אינה דורשת העברה או שיתוף נתונים בין אתרים או עם שרת מרכזי במהלך תהליך אימון המודל.
בסדרה זו בת שני חלקים, אנו מדגימים כיצד ניתן לפרוס מסגרת FL מבוססת ענן ב-AWS. בפוסט הראשון, תיארנו את מושגי FL ואת מסגרת FedML. בתוך ה פוסט שני, אנו מציגים את מקרי השימוש ומערך הנתונים כדי להראות את יעילותם בניתוח מערכי נתונים של שירותי בריאות בעולם האמיתי, כגון נתוני eICU, הכולל מאגר מידע רב-מרכזי לטיפול קריטי שנאסף מלמעלה מ-200 בתי חולים.
רקע
למרות שנפח הנתונים שנוצרו על ידי HCLS מעולם לא היה גדול יותר, האתגרים והאילוצים הקשורים בגישה לנתונים כאלה מגבילים את התועלת שלהם למחקר עתידי. למידת מכונה (ML) מציגה הזדמנות לתת מענה לכמה מהדאגות הללו ומאומצת כדי לקדם ניתוח נתונים ולהפיק תובנות משמעותיות מנתוני HCLS מגוונים עבור מקרי שימוש כמו מתן טיפול, תמיכה בהחלטות קליניות, רפואה מדויקת, טריאג' ואבחון כרוני ניהול טיפול. מכיוון שלעתים קרובות אלגוריתמי ML אינם מספקים בהגנה על הפרטיות של נתונים ברמת המטופל, קיים עניין גובר בקרב שותפי ולקוחות HCLS להשתמש במנגנונים ותשתית לשמירת הפרטיות לניהול וניתוח נתונים בקנה מידה גדול, מבוזר ורגיש. [1]
פיתחנו מסגרת FL ב-AWS המאפשרת לנתח נתוני בריאות מבוזרים ורגישים באופן שומר פרטיות. זה כרוך באימון מודל ML משותף מבלי להעביר או לשתף נתונים בין אתרים או עם שרת מרכזי במהלך תהליך אימון המודל, וניתן ליישם אותו במספר חשבונות AWS. המשתתפים יכולים לבחור לשמור את הנתונים שלהם במערכות המקומיות שלהם או בחשבון AWS שבשליטתם. לכן, זה מביא ניתוח לנתונים, במקום להעביר נתונים לניתוח.
בפוסט זה, הראינו כיצד ניתן לפרוס את מסגרת FedML בקוד פתוח ב-AWS. אנו בודקים את המסגרת על נתוני eICU, מסד נתונים רב-מרכזי לטיפול קריטי שנאסף מלמעלה מ-200 בתי חולים, כדי לחזות תמותה של חולים בבית חולים. אנו יכולים להשתמש במסגרת FL זו כדי לנתח מערכי נתונים אחרים, כולל נתונים גנומיים ומדעי החיים. זה יכול להיות מאומץ גם על ידי תחומים אחרים השופעים בנתונים מבוזרים ורגישים, כולל מגזרי פיננסים וחינוך.
למידה מאוחדת
התקדמות הטכנולוגיה הובילה לגידול נפיץ של נתונים בתעשיות, כולל HCLS. ארגוני HCLS לרוב מאחסנים נתונים בממגורות. זה מציב אתגר גדול בלמידה מונעת נתונים, הדורשת מערכי נתונים גדולים כדי להכליל היטב ולהשיג את רמת הביצועים הרצויה. יתרה מכך, איסוף, איצור ותחזוקה של מערכי נתונים באיכות גבוהה כרוכים בזמן ובעלות משמעותיים.
למידה מאוחדת מפחיתה את האתגרים הללו על ידי אימון שיתופי של מודלים של ML המשתמשים בנתונים מבוזרים, ללא צורך לשתף או לרכז אותם. זה מאפשר לייצוג אתרים מגוונים בתוך המודל הסופי, ומפחית את הסיכון הפוטנציאלי להטיה מבוססת אתרים. המסגרת עוקבת אחר ארכיטקטורת שרת-לקוח, כאשר השרת חולק מודל גלובלי עם הלקוחות. הלקוחות מאמנים את המודל על סמך נתונים מקומיים ומשתפים פרמטרים (כגון שיפועים או משקלי מודל) עם השרת. השרת צובר את הפרמטרים הללו כדי לעדכן את המודל הגלובלי, אשר משותף לאחר מכן עם הלקוחות עבור סבב ההדרכה הבא, כפי שמוצג באיור הבא. תהליך איטרטיבי זה של אימון מודלים נמשך עד שהמודל הגלובלי מתכנס.
בשנים האחרונות, פרדיגמת למידה חדשה זו אומצה בהצלחה כדי להתמודד עם הדאגה של ממשל נתונים בהכשרת מודלים של ML. מאמץ אחד כזה הוא מלודי, קונסורציום בראשות יוזמת תרופות חדשניות (IMI), המופעל על ידי AWS. זוהי תוכנית לשלוש שנים הכוללת 3 חברות תרופות, 10 מוסדות אקדמיים ו-2 שותפים טכנולוגיים. המטרה העיקרית שלה היא לפתח מסגרת FL מרובת משימות כדי לשפר את הביצועים החזויים והישימות הכימית של מודלים מבוססי גילוי תרופות. הפלטפורמה כוללת מספר חשבונות AWS, כאשר כל שותף בפארמה שומר על שליטה מלאה בחשבונות שלו כדי לשמור על מערכי הנתונים הפרטיים שלו, וחשבון ML מרכזי שמתאם את משימות ההדרכה של המודל.
הקונסורציום אימן מודלים על מיליארדי נקודות נתונים, המורכבות מיותר מ-20 מיליון מולקולות קטנות בלמעלה מ-40,000 מבחנים ביולוגיים. בהתבסס על תוצאות ניסויים, המודלים השיתופיים הראו שיפור של 4% בסיווג מולקולות כפעילות פרמקולוגית או טוקסיקולוגית או לא פעילות. זה גם הוביל לעלייה של 10% ביכולתו להניב תחזיות בטוחות ביישום על סוגים חדשים של מולקולות. לבסוף, המודלים השיתופיים היו בדרך כלל טובים יותר ב-2% בהערכת ערכים של פעילויות טוקסיקולוגיות ותרופתיות.
FedML
FedML היא ספריית קוד פתוח כדי להקל על פיתוח אלגוריתמי FL. הוא תומך בשלוש פרדיגמות מחשוב: אימון במכשיר עבור התקני קצה, מחשוב מבוזר וסימולציה של מכונה אחת. הוא מציע גם מחקר אלגוריתמי מגוון עם עיצוב API גמיש וגנרי ויישומי בסיס מקיפים של ייחוס (מיטוב, מודלים ומערכים). לתיאור מפורט של ספריית FedML, עיין ב FedML.
האיור הבא מציג את ארכיטקטורת ספריית הקוד הפתוח של FedML.
כפי שניתן לראות באיור הקודם, מנקודת המבט של היישום, FedML מגן על פרטים של הקוד הבסיסי ותצורות מורכבות של אימון מבוזר. ברמת היישום, כגון ראייה ממוחשבת, עיבוד שפה טבעית וכריית נתונים, מדעני נתונים ומהנדסים צריכים רק לכתוב את המודל, הנתונים והמאמן באותו אופן כמו תוכנית עצמאית ולאחר מכן להעביר אותם לאובייקט FedMLRunner כדי השלם את כל התהליכים, כפי שמוצג בקוד הבא. זה מקטין מאוד את התקורה של מפתחי אפליקציות לבצע FL.
אלגוריתם FedML הוא עדיין עבודה בתהליך ומשתפר כל הזמן. לשם כך, FedML מפשטת את מאמן הליבה והאגרגטור ומספקת למשתמשים שני אובייקטים מופשטים, FedML.core.ClientTrainer
ו FedML.core.ServerAggregator
, שרק צריך לרשת את הממשקים של שני האובייקטים המופשטים הללו ולהעביר אותם ל-FedMLRunner. התאמה אישית כזו מספקת למפתחי ML גמישות מרבית. אתה יכול להגדיר מבני מודל שרירותיים, מייעלים, פונקציות אובדן ועוד. ניתן לחבר את ההתאמות האישיות הללו בצורה חלקה עם קהילת הקוד הפתוח, הפלטפורמה הפתוחה ואקולוגיית היישומים שהוזכרו קודם לכן בעזרת FedMLRunner, אשר פותר לחלוטין את בעיית השהיה הארוכה מאלגוריתמים חדשניים ועד למסחור.
לבסוף, כפי שמוצג באיור הקודם, FedML תומכת בתהליכי מחשוב מבוזרים, כגון פרוטוקולי אבטחה מורכבים והכשרה מבוזרת כתהליך מחשוב זרימה של Directed Acyclic Graph (DAG), מה שהופך את הכתיבה של פרוטוקולים מורכבים לדומה לתוכניות עצמאיות. בהתבסס על רעיון זה, ניתן להפריד בקלות את פרוטוקול האבטחה Flow Layer 1 ותהליך אלגוריתם ML Flow Layer 2 כך שמהנדסי אבטחה ומהנדסי ML יוכלו לפעול תוך שמירה על ארכיטקטורה מודולרית.
ספריית הקוד הפתוח של FedML תומכת במקרים של שימוש ב-ML מאוחדים עבור Edge כמו גם בענן. על הקצה, המסגרת מאפשרת הדרכה ופריסה של דגמי קצה לטלפונים ניידים ומכשירי אינטרנט של הדברים (IoT). בענן, הוא מאפשר ML שיתופי עולמי, לרבות שרתי צבירת ענן ציבורי מרובת אזורים ורב-דיירים, כמו גם פריסת ענן פרטי במצב Docker. המסגרת מתייחסת לדאגות מרכזיות בכל הנוגע לשמירה על פרטיות FL כגון אבטחה, פרטיות, יעילות, פיקוח חלש והגינות.
סיכום
בפוסט זה, הראינו כיצד ניתן לפרוס את מסגרת FedML בקוד פתוח ב-AWS. זה מאפשר לך לאמן מודל ML על נתונים מבוזרים, ללא צורך לשתף או להעביר אותם. הקמנו ארכיטקטורה מרובת חשבונות, שבה בתרחיש של העולם האמיתי, ארגונים יכולים להצטרף לאקוסיסטם כדי להפיק תועלת מלמידה שיתופית תוך שמירה על ממשל נתונים. בתוך ה הפוסט הבא, אנו משתמשים במערך הנתונים eICU של ריבוי בתי חולים כדי להדגים את יעילותו בתרחיש של עולם אמיתי.
אנא עיין במצגת ב-re:MARS 2022 המתמקדת ב"למידה מאוחדת מנוהלת ב-AWS: מחקר מקרה עבור שירותי בריאות" להדרכה מפורטת של פתרון זה.
התייחסות
[1] Kaissis, GA, Makowski, MR, Rückert, D. et al. למידת מכונה מאובטחת, משמרת פרטיות ומאוחדת בהדמיה רפואית. נת מאך אינטל 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
על הכותבים
אוליביה צ'ודהורי, PhD, הוא אדריכל פתרונות שותפים בכיר ב-AWS. היא עוזרת לשותפים, בתחום הבריאות ומדעי החיים, לתכנן, לפתח ולהרחיב פתרונות חדישים הממנפים את AWS. יש לה רקע בגנומיקה, ניתוח בריאות, למידה מאוחדת ולמידת מכונה משמרת פרטיות. מחוץ לעבודה היא משחקת משחקי לוח, מציירת נופים ואוספת מנגה.
וידיה סגר רביפאטי הוא מנהל ב- מעבדת פתרונות אמזון ML, שם הוא ממנף את ניסיונו הרב במערכות מבוזרות רחבות היקף ואת התשוקה שלו ללמידת מכונה כדי לעזור ללקוחות AWS בכל האנרגיה השונה בתעשייה להאיץ את האימוץ שלהם לבינה מלאכותית וענן. בעבר, הוא היה מהנדס למידת מכונות בשירותי קישוריות באמזון שעזר לבנות פלטפורמות פרסונליזציה ותחזוקה ניבוי.
וג'האת עזיז הוא ארכיטקט ראשי של למידת מכונה ופתרונות HPC ב-AWS, שם הוא מתמקד בסיוע ללקוחות שירותי בריאות ומדעי החיים למנף טכנולוגיות AWS לפיתוח פתרונות ML ו-HPC המתקדמים ביותר עבור מגוון רחב של מקרי שימוש כגון פיתוח תרופות, ניסויים קליניים, ולמידת מכונה לשמירה על הפרטיות. מחוץ לעבודה, וג'האט אוהב לחקור את הטבע, לטייל ולקרוא.
דיוויה בהרגאווי היא מדענית נתונים ומובילה אנכית במדיה ובידור במעבדת אמזון ML Solutions, שם היא פותרת בעיות עסקיות בעלות ערך גבוה עבור לקוחות AWS באמצעות Machine Learning. היא עובדת על הבנת תמונה/וידאו, מערכות המלצות גרפי ידע, מקרי שימוש חזוי בפרסום.
אוג'וואל ראטן הוא המנהיג של AI/ML ומדעי נתונים ביחידה העסקית של AWS בריאות ומדעי החיים והוא גם ארכיטקט פתרונות AI/ML ראשי. לאורך השנים, Ujjwal הייתה מובילה מחשבתית בתעשיית הבריאות ומדעי החיים, וסייעה לארגונים רבים של Global Fortune 500 להשיג את יעדי החדשנות שלהם על ידי אימוץ למידת מכונה. עבודתו הכוללת ניתוח של הדמיה רפואית, טקסט קליני לא מובנה וגנומיקה סייעה ל-AWS לבנות מוצרים ושירותים המספקים אבחון וטיפולים מותאמים אישית וממוקדים במדויק. בזמנו הפנוי, הוא נהנה לשמוע (ולנגן) מוזיקה ולצאת לטיולים לא מתוכננים עם משפחתו.
צ'אויאנג הוא הוא מייסד שותף ו-CTO של FedML, Inc., סטארט-אפ הפועל לבניית קהילה בינה מלאכותית פתוחה ומשתפת מכל מקום ובכל קנה מידה. המחקר שלו מתמקד באלגוריתמים, מערכות ויישומים של למידת מכונה מבוזרת/מאוחדת. הוא קיבל את הדוקטורט שלו. במדעי המחשב מ- אוניברסיטת דרום קליפורניהלוס אנג'לס, ארה"ב.
סלמאן אווסטייםהר הוא פרופסור, המנהל הראשון של מרכז USC-Amazon ללמידת מכונה מאובטחת ומהימנה (בינה מלאכותית מהימנה), ומנהל מעבדת המחקר של תורת מידע ולמידת מכונה (vITAL) במחלקה להנדסת חשמל ומחשבים ובמחלקה למדעי המחשב של אוניברסיטת דרום קליפורניה. הוא גם המייסד והמנכ"ל של FedML. הוא קיבל את הדוקטורט שלי. בהנדסת חשמל ומדעי המחשב מאוניברסיטת ברקלי בשנת 2008. מחקריו מתמקדים בתחומי תורת המידע, למידת מכונה מבוזרת ומאגדת, למידה ומחשוב מאובטח ושומר פרטיות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- יכולת
- תקציר
- תקצירים
- אקדמי
- להאיץ
- גישה
- חֶשְׁבּוֹן
- חשבונות
- להשיג
- לרוחב
- פעיל
- פעילויות
- מחזורי
- כתובת
- כתובות
- מאומץ
- אימוץ
- אימוץ
- לקדם
- פרסום
- אגרגטים
- - צבירה
- צבר
- AI
- AI / ML
- אַלגוֹרִיתְם
- אלגוריתמי
- אלגוריתמים
- תעשיות
- מאפשר
- אמזון בעברית
- מעבדת פתרונות אמזון ML
- בין
- אנליזה
- ניתוח
- לנתח
- ניתוח
- ו
- תשתיות
- אנג'לס
- בְּכָל מָקוֹם
- API
- בקשה
- יישומים
- יישומית
- ארכיטקטורה
- אזורים
- המשויך
- AWS
- רקע
- מבוסס
- Baseline
- כי
- להיות
- תועלת
- ברקלי
- מוטב
- הטיה
- מיליארדים
- בלוג
- לוּחַ
- משחקי לוח
- מביא
- לִבנוֹת
- בִּניָן
- עסקים
- קליפורניה
- נקרא
- אשר
- מקרה
- מקרה מבחן
- מקרים
- סיווג
- מרכז
- מֶרכָּזִי
- מְרוּכָּז
- מנכ"ל
- לאתגר
- האתגרים
- כימי
- לבחור
- לקוחות
- קליני
- ניסויים קליניים
- ענן
- אימוץ ענן
- מייסד שותף
- קוד
- שיתוף פעולה
- מסחור
- קהילה
- מבנה קהילה
- חברות
- להשלים
- לחלוטין
- מורכב
- מַקִיף
- המחשב
- הנדסת מחשבים
- מדעי מחשב
- ראייה ממוחשבת
- מחשוב
- מושגים
- דְאָגָה
- דאגות
- בטוח
- מחובר
- קישוריות
- מורכב
- קונסורציום
- תמיד
- אילוצים
- ממשיך
- לִשְׁלוֹט
- תיאום
- ליבה
- עלות
- יוצרים
- קריטי
- ראש אגף טכנולוגיה
- אוצר
- לקוחות
- התאמה אישית
- DAG
- נתונים
- ניתוח נתונים
- כריית נתונים
- נקודות מידע
- מדע נתונים
- מדען נתונים
- שיתוף מידע
- נתונים מונחים
- מסד נתונים
- מערכי נתונים
- מבוזר
- החלטה
- מסירה
- להפגין
- מופגן
- מַחלָקָה
- לפרוס
- פריסה
- מְתוּאָר
- תיאור
- עיצוב
- מְפוֹרָט
- פרטים
- לפתח
- מפותח
- מפתחים
- מתפתח
- צעצועי התפתחות
- מכשיר
- התקנים
- אחר
- מְנַהֵל
- מופץ
- מחשוב מבוזר
- מערכות מבוזרות
- הכשרה מבוזרת
- שונה
- סַוָר
- לא
- תחום
- תחומים
- תרופה
- בְּמַהֲלָך
- כל אחד
- מוקדם יותר
- בקלות
- המערכת האקולוגית
- אדג '
- חינוך
- יְעִילוּת
- יְעִילוּת
- מאמץ
- או
- מאפשר
- מהנדס
- הנדסה
- מהנדסים
- בידור
- אירועים
- ניסיון
- לחקור
- לְהַקֵל
- מקל
- הגינות
- משפחה
- תרשים
- סופי
- בסופו של דבר
- לממן
- ראשון
- גמישות
- גמיש
- תזרים
- מרוכז
- מתמקד
- הבא
- כדלקמן
- הון עתק
- מסגרת
- חופשי
- החל מ-
- מלא
- פונקציות
- עתיד
- משחקים
- איסוף
- הגנומיקה
- גלוֹבָּלִי
- מטרה
- שערים
- ממשל
- שיפועים
- גרף
- יותר
- מאוד
- גדל
- צמיחה
- הנחיות
- בְּרִיאוּת
- בריאות
- הוחזק
- לעזור
- עזר
- עזרה
- עוזר
- באיכות גבוהה
- מאוד
- בתי חולים
- איך
- hpc
- HTTPS
- רעיון
- הדמיה
- יושם
- לייבא
- לשפר
- משופר
- השבחה
- in
- פעיל
- פתיחה
- בע"מ
- כולל
- להגדיל
- תעשיות
- תעשייה
- מידע
- תשתית
- יוזמה
- חדשנות
- חדשני
- תובנות
- מוסדות
- אינטרס
- ממשקים
- אינטרנט
- אינטרנט של דברים
- IOT
- IT
- להצטרף
- מפתח
- ידע
- גרף ידע
- מעבדה
- חוסר
- שפה
- גָדוֹל
- בקנה מידה גדול
- שכבה
- שכבה 1
- שכבה 2
- עוֹפֶרֶת
- מנהיג
- למידה
- הוביל
- רמה
- תנופה
- מנופים
- מינוף
- סִפְרִיָה
- החיים
- מדעי החיים
- מדעי חיים
- גבולות
- האזנה
- לִטעוֹן
- מקומי
- באופן מקומי
- ארוך
- ה
- לוס אנג'לס
- את
- מכונה
- למידת מכונה
- לתחזק
- תחזוקה
- גדול
- עשייה
- לנהל
- ניהול
- מנהל
- ניהול
- דרך
- מַאְדִים
- מקסימום
- משמעותי
- מדיה
- רפואי
- רפואה
- מוּזְכָּר
- מִילִיוֹן
- כרייה
- MIT
- להקל
- ML
- סלולרי
- טלפונים ניידים
- מצב
- מודל
- מודלים
- מודולרי
- יותר
- המהלך
- נע
- מספר
- כלי נגינה
- טבעי
- עיבוד שפה טבעית
- טבע
- צורך
- חדש
- הבא
- אובייקט
- אובייקטים
- המיוחדות שלנו
- ONE
- לפתוח
- קוד פתוח
- להפעיל
- הזדמנות
- ארגונים
- אחר
- בחוץ
- פרדיגמה
- פרמטרים
- חלק
- המשתתפים
- שותף
- שותפים
- תשוקה
- חולה
- לְבַצֵעַ
- ביצועים
- התאמה אישית
- אישית
- פארמה
- התרופות
- טלפונים
- פלטפורמה
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- נקודה
- נקודת מבט
- נקודות
- תנוחות
- הודעה
- פוטנציאל
- מופעל
- מעשי
- בדיוק
- דיוק
- לחזות
- התחזיות
- להציג
- הצגה
- מתנות
- קוֹדֶם
- יְסוֹדִי
- מנהל
- פְּרָטִיוּת
- פְּרָטִי
- בעיה
- בעיות
- תהליך
- תהליכים
- תהליך
- מוצרים
- פרופסור
- תָכְנִית
- תוכניות
- התקדמות
- להציע
- אבטחה
- פרוטוקול
- פרוטוקולים
- לספק
- מספק
- ציבורי
- ענן ציבורי
- נדיר
- RE
- קריאה
- עולם אמיתי
- קיבלו
- לאחרונה
- המלצה
- מפחית
- הפחתה
- דרישת שלום
- מוסדר
- רגולטורים
- מאגר
- מיוצג
- לדרוש
- דרישה
- דורש
- מחקר
- אלה
- תוצאות
- שמירה
- סקירה
- הסיכון
- כביש
- עגול
- ריצה
- אותו
- סולם
- מדע
- מדעים
- מַדְעָן
- מדענים
- בצורה חלקה
- מגזרים
- לבטח
- אבטחה
- לחפש
- לחצני מצוקה לפנסיונרים
- רגיש
- סדרה
- שרתים
- שירותים
- סט
- כמה
- שיתוף
- משותף
- שיתופים
- שיתוף
- לְהַצִיג
- הראה
- משמעותי
- דומה
- הדמיה
- יחיד
- אתר
- אתרים
- קטן
- So
- פִּתָרוֹן
- פתרונות
- פותר
- כמה
- דרומי
- עצמאי
- התחלה
- סטארט - אפ
- מדינה-of-the-art
- עוד
- חנות
- לימוד
- בהצלחה
- כזה
- מספיק
- פיקוח עליון
- תמיכה
- תומך
- מערכות
- נטילת
- ממוקד
- משימות
- טכנולוגיות
- טכנולוגיה
- מבחן
- אל האני
- המידע
- שֶׁלָהֶם
- תוֹרַת הָרִפּוּי
- לכן
- דברים
- מחשבה
- שְׁלוֹשָׁה
- זמן
- ל
- רכבת
- מְאוּמָן
- הדרכה
- ניסויים
- מהימן
- סוגים
- בדרך כלל
- בְּסִיסִי
- הבנה
- יחידה
- אוניברסיטה
- עדכון
- ארה"ב
- להשתמש
- משתמשים
- תועלת
- ערכים
- מגוון
- Vast
- אנכיות
- לצפיה
- חזון
- חיוני
- כֶּרֶך
- בהדרכה
- אשר
- בזמן
- מי
- רָחָב
- בתוך
- לְלֹא
- תיק עבודות
- עובד
- לכתוב
- כתיבה
- שנים
- תְשׁוּאָה
- אתה
- זפירנט