כיצד CCC Intelligent Solutions יצרה גישה מותאמת אישית לאירוח מודלים מורכבים של AI באמצעות Amazon SageMaker

פוסט זה נכתב בשיתוף כריסטופר דיאז, סם קינרד, ג'יימה הידלגו ודניאל סוארז מ-CCC Intelligent Solutions.

בפוסט זה נדון כיצד פתרונות חכמים של CCC (CCC) בשילוב אמזון SageMaker עם שירותי AWS אחרים כדי ליצור פתרון מותאם אישית המסוגל לארח את סוגי הדגמים המורכבים של בינה מלאכותית (AI) הצפויים. CCC היא פלטפורמת תוכנה כשירות (SaaS) מובילה לכלכלת ביטוח רכוש ונפגעים בשווי טריליוני דולרים, המניעה פעולות עבור חברות ביטוח, תיקונים, יצרניות רכב, ספקי חלקים, מלווים ועוד. טכנולוגיית הענן של CCC מחברת יותר מ-30,000 עסקים העוסקים בדיגיטציה של זרימות עבודה, מסחר וחוויות לקוחות קריטיות. מנהיגה מהימנה בתחום הבינה המלאכותית, האינטרנט של הדברים (IoT), חווית לקוח וניהול רשת וזרימת עבודה, CCC מספקת חידושים שמחזיקים את חייהם של אנשים קדימה כשהדבר הכי חשוב.

האתגר

CCC מעבדת עסקאות תביעות של יותר מטריליון דולר בשנה. ככל שהחברה ממשיכה להתפתח לשילוב בינה מלאכותית בקטלוג המוצרים הקיים והחדש שלה, הדבר מצריך גישות מתוחכמות לאימון ופריסה של מודלים של למידת מכונה רב-מודאלית (ML) לפתרון צרכים עסקיים מורכבים. אלו הם סוג של מודלים שמכילים אלגוריתמים קנייניים ומומחיות בתחום הנושא ש-CCC חידדה במהלך השנים. מודלים אלה צריכים להיות מסוגלים להטמיע שכבות חדשות של נתונים ניואנסים וחוקי לקוחות כדי ליצור תוצאות חיזוי בודדות. בפוסט זה בבלוג, נלמד כיצד CCC מינפה את אירוח אמזון SageMaker ושירותי AWS אחרים כדי לפרוס או לארח מספר מודלים מולטי-מודאליים לתוך צינור מסקנות של אנסמבל.

כפי שמוצג בתרשים הבא, אנסמבל הוא אוסף של שני דגמים או יותר שמתוזמרים לפעול בצורה ליניארית או לא ליניארית כדי לייצר תחזית יחידה. כאשר הם מוערמים באופן ליניארי, ניתן להפעיל ישירות את המודלים האישיים של אנסמבל לצורך תחזיות ולאחר מכן לאחד אותם לאיחוד. לפעמים, מודלים של אנסמבל יכולים להיות מיושמים גם כצינור מסקנות סדרתי.

במקרה השימוש שלנו, צינור האנסמבל אינו ליניארי לחלוטין, כפי שמתואר בתרשים הבא. צינורות אנסמבל לא ליניאריים הם באופן תיאורטי גרפים א-מחזוריים ישירות (DAGs). במקרה השימוש שלנו, לצינור DAG זה היו גם מודלים עצמאיים המופעלים במקביל (שירותים B, C) וגם מודלים אחרים המשתמשים בחיזויים משלבים קודמים (שירות D).

פרקטיקה שיוצאת מהתרבות המונעת מחקרית ב- CCC היא סקירה מתמשכת של טכנולוגיות שניתן למנף כדי להביא יותר ערך ללקוחות. כאשר CCC התמודדה עם אתגר ההרכב הזה, מנהיגות השיקה יוזמה של הוכחת קונספט (POC) כדי להעריך ביסודיות את ההיצע מ-AWS כדי לגלות, באופן ספציפי, אם אמזון SageMaker וכלי AWS אחרים יכולים לנהל את אירוח מודלים בודדים של AI במורכב, לא ליניארי הרכבים.

אנסמבל הסביר: בהקשר זה, אנסמבל הוא קבוצה של 2 דגמי בינה מלאכותית או יותר הפועלים יחד כדי לייצר תחזית כוללת אחת.

שאלות המניעות את המחקר

האם אמזון SageMaker יכול לשמש לארח הרכבים מורכבים של דגמי בינה מלאכותית שפועלים יחד כדי לספק תחזית כוללת אחת? אם כן, האם SageMaker יכולה להציע יתרונות אחרים מחוץ לקופסה, כגון אוטומציה מוגברת, אמינות, ניטור, קנה מידה אוטומטי ואמצעים לחיסכון בעלויות?

מציאת דרכים חלופיות לפריסת מודלים של AI של CCC תוך שימוש בהתקדמות הטכנולוגית של ספקי ענן תאפשר ל-CCC להביא פתרונות AI לשוק מהר יותר מהמתחרים שלה. בנוסף, יותר מארכיטקטורת פריסה אחת מספקת גמישות במציאת האיזון בין עלות וביצועים בהתבסס על סדרי עדיפויות עסקיים.

בהתבסס על הדרישות שלנו, סיימנו את רשימת התכונות הבאה כרשימה עבור ארכיטקטורת פריסה בדרגת ייצור:

• תמיכה בהרכבים מורכבים
• זמן פעולה מובטח לכל הרכיבים
• שינוי קנה מידה אוטומטי הניתן להתאמה אישית עבור דגמי AI פרוסים
• שימור קלט ופלט של מודל AI
• מדדי שימוש ויומנים עבור כל הרכיבים
• מנגנוני חיסכון בעלויות

כאשר רוב פתרונות הבינה המלאכותית של CCC מסתמכים על מודלים של ראייה ממוחשבת, נדרשה ארכיטקטורה חדשה לתמיכה בקובצי תמונה ווידאו שממשיכים לעלות ברזולוציה. היה צורך עז לתכנן וליישם את הארכיטקטורה הזו כמודל אסינכרוני.

לאחר מחזורי מחקר ומאמצי ביצוע ראשוניים, CCC קבעה ש-SageMaker מתאימה באופן מושלם לעמוד ברוב דרישות הייצור שלהם, במיוחד זמן הפעולה המובטח ש-SageMaker מספק עבור רוב מרכיבי ההסקה שלה. תכונת ברירת המחדל של Amazon SageMaker Asynchronous Inference החוסכת קלט/פלט באמזון S3 מפשטת את המשימה של שימור נתונים שנוצרו מהרכבים מורכבים. בנוסף, כאשר כל מודל בינה מלאכותית מתארח בנקודת קצה משלו, ניהול מדיניות קנה מידה אוטומטי ברמת המודל או נקודת הקצה נעשה קל יותר. על ידי פישוט הניהול, יתרון פוטנציאלי לחיסכון בעלויות מכך הוא שצוותי פיתוח יכולים להקצות יותר זמן לכוונון עדין של מדיניות קנה המידה כדי למזער אספקת יתר של משאבי מחשוב.

לאחר שהחלטנו להמשיך להשתמש ב- SageMaker כמרכיב המרכזי של הארכיטקטורה, הבנו גם ש- SageMaker יכול להיות חלק מארכיטקטורה גדולה עוד יותר, בתוספת שירותים רבים אחרים המנוהלים על ידי AWS ללא שרת. בחירה זו הייתה נחוצה כדי להקל על צורכי תזמור וצפיות מסדר גבוה של ארכיטקטורה מורכבת זו.

ראשית, כדי להסיר מגבלות גודל מטען ולהפחית מאוד את סיכון הזמן הקצוב במהלך תרחישי תנועה גבוהה, CCC הטמיעה ארכיטקטורה שמריצה תחזיות באופן אסינכרוני באמצעות נקודות קצה של מסקנות אסינכרוניות של SageMaker יחד עם שירותים אחרים המנוהלים על ידי AWS כאבני הבניין המרכזיות. בנוסף, ממשק המשתמש של המערכת עוקב אחר דפוס העיצוב של אש ושכח. במילים אחרות, ברגע שמשתמש העלה את הקלט שלו למערכת, אין צורך לעשות דבר נוסף. הם יקבלו הודעה כאשר התחזית תהיה זמינה. האיור שלהלן ממחיש סקירה ברמה גבוהה של הארכיטקטורה האסינכרונית מונעת אירועים שלנו. בסעיף הקרוב, תנו לנו לצלול עמוק לתוך זרימת הביצוע של הארכיטקטורה המעוצבת.

פתרון שלב אחר שלב

שלב 1

לקוח מגיש בקשה ל- שער ה- API של AWS נקודת קצה. תוכן הבקשה מכיל את שם שירות ה-AI ממנו הם צריכים חיזוי ואת שיטת ההודעה הרצויה.

בקשה זו מועברת לא למבדה פונקציה הנקראת תחזית חדשה, שהמשימות העיקריות שלו הן:

• בדוק אם השירות המבוקש על ידי הלקוח זמין.
• הקצה מזהה חיזוי ייחודי לבקשה. מזהה חיזוי זה יכול לשמש את המשתמש כדי לבדוק את מצב החיזוי לאורך כל התהליך.
• צור אמזון S3 כתובת URL חתומה מראש שהמשתמש יצטרך להשתמש בה בשלב הבא כדי להעלות את תוכן הקלט של בקשת החיזוי.
• צור ערך ב אמזון דינמו עם המידע של הבקשה שהתקבלה.

לאחר מכן פונקציית Lambda תחזיר תגובה דרך נקודת הקצה API Gateway עם הודעה הכוללת את מזהה החיזוי שהוקצה לבקשה ואת כתובת האתר החתומה מראש של Amazon S3.

שלב 2

הלקוח מעלה בצורה מאובטחת את תוכן קלט החיזוי לדלי S3 באמצעות כתובת האתר החתומה מראש שנוצרה בשלב הקודם. תוכן הקלט תלוי בשירות AI ויכול להיות מורכב מתמונות, נתונים טבלאיים או שילוב של שניהם.

שלב 3

דלי S3 מוגדר להפעיל אירוע כאשר המשתמש מעלה את תוכן הקלט. הודעה זו נשלחת לתור SQS של אמזון ומטופלת על ידי פונקציית Lambda הנקראת קלט תהליך. ה קלט תהליך Lambda תשיג את המידע הקשור לאותו מזהה חיזוי מ-DynamoDB כדי לקבל את שם השירות שאליו יש להגיש את הבקשה.

שירות זה יכול להיות מודל AI יחיד, ובמקרה זה קלט תהליך Lambda תגיש בקשה לנקודת הקצה של SageMaker המארח את הדגם הזה (שלב 3-A), או שזה יכול להיות שירות AI של אנסמבל ובמקרה זה קלט תהליך Lambda תגיש בקשה למכונת המצב של פונקציות הצעד המארחת את לוגיקה האנסמבל (שלב 3-B).

בכל אחת מהאפשרויות (מודל AI יחיד או שירות AI של אנסמבל), כאשר החיזוי הסופי יהיה מוכן, הוא יאוחסן בדלי S3 המתאים, והמתקשר יקבל הודעה בשיטה שצוינה בשלב 1 (פרטים נוספים על התראות בשלב 4).

שלב 3-א

אם מזהה החיזוי משויך למודל AI יחיד, ה קלט תהליך Lambda תגיש בקשה לנקודת הקצה של SageMaker המשרתת את הדגם. במערכת זו, שני סוגים של נקודות קצה של SageMaker נתמכים:

• אסינכרוני: קלט תהליך Lambda מפנה את הבקשה לנקודת הקצה הא-סינכרונית של SageMaker. התגובה המיידית כוללת את מיקום S3 שבו SageMaker ישמור את פלט החיזוי. בקשה זו היא אסינכרונית, בהתאם לתבנית אש ושכח, ואינה חוסמת את זרימת הביצוע של פונקציית Lambda.
• סינכרוני: קלט תהליך Lambda מפנה את הבקשה לנקודת הקצה הסינכרונית של SageMaker. מכיוון שזו בקשה סינכרונית, Process Input ממתין לתגובה, ולאחר שהתקבל, הוא מאחסן אותה ב-S3 בצורה אנלוגית שנקודות קצה אסינכרוניות של SageMaker היו עושות.

בשני המקרים (נקודות קצה סינכרוניות או אסינכרוניות), החיזוי מעובד בצורה שווה, תוך אחסון הפלט בדלי S3. כאשר נקודת הקצה האסינכרונית של SageMaker משלימה חיזוי, מופעל אירוע SNS של אמזון. התנהגות זו משוכפלת גם עבור נקודות קצה סינכרוניות עם לוגיקה נוספת בפונקציית Lambda.

שלב 3-ב

אם מזהה החיזוי משויך לאנסמבל בינה מלאכותית, ה קלט תהליך Lambda תגיש את הבקשה לפונקציית הצעד המשויכת לאותו אנסמבל AI. כפי שהוזכר לעיל, אנסמבל בינה מלאכותית הוא ארכיטקטורה המבוססת על קבוצת מודלים של בינה מלאכותית הפועלת יחד כדי ליצור תחזית כוללת אחת. התזמור של אנסמבל בינה מלאכותית נעשה באמצעות פונקציית צעד.

לפונקציית הצעד יש שלב אחד לכל שירות AI המרכיב את האנסמבל. כל שלב יפעיל פונקציית Lambda שתכין את הקלט של שירות ה-AI התואם שלו באמצעות שילובים שונים של תוכן הפלט מקריאות קודמות לשירות AI של שלבים קודמים. לאחר מכן הוא מבצע קריאה לכל שירות בינה מלאכותית אשר בהקשר זה יכול לקמול להיות דגם AI בודד או אנסמבל AI אחר.

אותה פונקציית Lambda, שנקראת GetTransformCall המשמש לטיפול בתחזיות הביניים של אנסמבל בינה מלאכותית משמש לאורך פונקציית הצעד, אך עם פרמטרי קלט שונים עבור כל שלב. קלט זה כולל את השם של שירות AI שאליו יש לקרוא. זה כולל גם את הגדרת המיפוי לבניית הקלט עבור שירות ה-AI שצוין. זה נעשה באמצעות תחביר מותאם אישית שה-Lambda יכול לפענח, אשר לסיכום, הוא מילון JSON שבו יש להחליף את הערכים בתוכן מהתחזיות ה-AI הקודמות. ה-Lambda תוריד את התחזיות הקודמות הללו מאמזון S3.

בכל שלב, ה GetTransformCall Lambda קוראת מאמזון S3 את הפלטים הקודמים הדרושים לבניית הקלט של שירות ה-AI שצוין. לאחר מכן הוא יפעיל את תחזית חדשה קוד למבדה ששימש בעבר בשלב 1 וספק את שם השירות, שיטת ההתקשרות חזרה ("פונקציית צעד") והאסימון הדרושים להתקשרות חזרה במטען הבקשה, שנשמר לאחר מכן ב-DynamoDB כרשומה חיזוי חדשה. הלמבדה גם מאחסנת את הקלט שנוצר של אותו שלב בדלי S3. תלוי אם השלב הזה הוא דגם בינה מלאכותית בודדת או אנסמבל בינה מלאכותית, ה-Lambda מגיש בקשה לנקודת קצה של SageMaker או לפונקציית צעדים אחרת שמנהלת אנסמבל בינה מלאכותית שהיא תלות של אנסמבל האב.

לאחר הגשת הבקשה, פונקציית הצעד נכנסת למצב בהמתנה עד שהיא מקבלת את אסימון ההתקשרות חזרה המציין שהיא יכולה לעבור לשלב הבא. פעולת שליחת אסימון התקשרות חוזרת מתבצעת על ידי פונקציית Lambda הנקראת הודעות (פרטים נוספים בשלב 4) כאשר חיזוי הביניים מוכן. תהליך זה חוזר על עצמו עבור כל שלב המוגדר בפונקציית הצעד עד שהתחזית הסופית מוכנה.

שלב 4

כאשר חיזוי מוכן ומאוחסן בדלי S3, מופעלת הודעת SNS. ניתן להפעיל אירוע זה בדרכים שונות בהתאם לזרימה:

1. באופן אוטומטי כאשר נקודת קצה אסינכרונית של SageMaker משלימה חיזוי.
2. כשלב האחרון של פונקציית הצעד.
3. By קלט תהליך or GetTransformCall למבדה כאשר נקודת קצה סינכרונית של SageMaker החזירה תחזית.

עבור B ו-C, אנו יוצרים הודעת SNS דומה למה ש-A שולח אוטומטית.

פונקציית Lambda הנקראת התראות רשומה לנושא SNS זה. ההתראות Lambda תקבל את המידע הקשור למזהה החיזוי מ-DynamoDB, תעדכן את הערך עם ערך הסטטוס ל"הושלם" או "שגיאה", ותבצע את הפעולה הדרושה בהתאם למצב החזרה שנשמר ברשומת מסד הנתונים.

אם חיזוי זה הוא חיזוי ביניים של אנסמבל בינה מלאכותית, כמתואר בשלב 3-B, מצב החזרה המשויך לחיזוי זה יהיה "פונקציית צעד", ולרשומה של מסד הנתונים יהיה אסימון קריאה חוזר המשויך לשלב הספציפי ב- פונקציית צעד. ההודעות Lambda תבצע קריאה ל-AWS Step Functions API בשיטה "SendTaskSuccess" או "SendTaskFailure". זה יאפשר לפונקציית הצעד להמשיך לשלב הבא או ליציאה.

אם החיזוי הוא הפלט הסופי של פונקציית הצעד ומצב ההתקשרות חזרה הוא "Webhook" [או דואר אלקטרוני, מתווכים של הודעות (Kafka) וכו'], אז ההודעות Lambda תודיע ללקוח בצורה שצוינה. בכל שלב, המשתמש יכול לבקש את סטטוס החיזוי שלו. הבקשה חייבת לכלול את מזהה החיזוי שהוקצה בשלב 1 ולהצביע על כתובת האתר הנכונה בתוך API Gateway כדי לנתב את הבקשה לפונקציית Lambda שנקראת תוצאות.

התוצאות Lambda תגיש בקשה ל-DynamoDB, תקבל את סטטוס הבקשה ותחזיר את המידע למשתמש. אם מצב התחזית הוא שגיאה, אז הפרטים הרלוונטיים על הכשל ייכללו בתגובה. אם מצב החיזוי הוא הצלחה, כתובת URL חתומה מראש של S3 תוחזר כדי שהמשתמש יוכל להוריד את תוכן החיזוי.

תוצאות

תוצאות בדיקות ביצועים ראשוניות מבטיחות ותומכות במקרה של CCC להרחיב את היישום של ארכיטקטורת פריסה חדשה זו.

תצפיות בולטות:

• בדיקות חושפות חוזק בעיבוד אצווה או בקשות במקביל עם תפוקה גבוהה ושיעור כשל של 0 אחוז בתרחישי תעבורה גבוהה.
• תורי הודעות מספקים יציבות בתוך המערכת במהלך זרימה פתאומית של בקשות עד שמפעילי קנה מידה יכולים לספק משאבי מחשוב נוספים. בעת הגדלת התנועה פי 3, זמן האחזור הממוצע של בקשה גדל רק ב-5 אחוזים.
• מחיר היציבות הוא חביון מוגבר עקב תקורה של תקשורת בין רכיבי המערכת השונים. כאשר תעבורת המשתמש היא מעל סף הבסיס, ניתן להפחית חלקית את זמן ההשהיה הנוסף על ידי אספקת משאבי מחשוב רבים יותר אם הביצועים הם בעדיפות גבוהה יותר על העלות.
• נקודות הקצה הא-סינכרוניות של SageMaker מאפשרות להגדיל את ספירת המופעים לאפס תוך שמירה על נקודת הקצה פעילה לקבלת בקשות. פונקציונליות זו מאפשרת לפריסות להמשיך לפעול ללא עלויות מחשוב ולהגדיל מאפס בעת הצורך בשני תרחישים: פריסות שירות המשמשות בסביבות בדיקה נמוכות יותר וכאלה שיש להן תעבורה מינימלית ללא צורך בעיבוד מיידי.

סיכום

כפי שנצפה במהלך תהליך ה-POC, העיצוב החדשני שנוצר במשותף על ידי CCC ו-AWS מספק בסיס איתן לשימוש באמזון SageMaker עם שירותים מנוהלים אחרים של AWS כדי לארח הרכבי AI מורכבים רב-מודאליים ולתזמר צינורות מסקנות בצורה יעילה וחלקה. על ידי מינוף הפונקציונליות היוצאות מהקופסה של Amazon SageMaker כמו מסקנות אסינכרוניות, ל-CCC יש יותר הזדמנויות להתמקד במשימות עסקיות קריטיות מיוחדות. ברוח התרבות מונעת המחקר של CCC, ארכיטקטורה חדשנית זו תמשיך להתפתח כאשר CCC תוביל את הדרך קדימה, לצד AWS, בשחרור פתרונות AI חדשים וחזקים עבור לקוחות.

לשלבים מפורטים כיצד ליצור, להפעיל ולנטר נקודות קצה אסינכרוניות, עיין ב- תיעוד, המכיל גם א מחברת מדגם כדי לעזור לך להתחיל. למידע על מחירים, בקר תמחור SageMaker של אמזון.

לדוגמאות על שימוש בהסקה אסינכרונית עם נתונים לא מובנים כגון ראייה ממוחשבת ועיבוד שפה טבעית (NLP), עיין ב הפעל מסקנות של חזון מחשב על סרטונים גדולים עם נקודות קצה אסינכרוניות של Amazon SageMaker ו שפר מחקר בעל ערך גבוה עם נקודות קצה א-סינכרוניות של מסקנות חיבוק ו-Amazon SageMaker, בהתאמה.

---

על הכותבים

כריסטופר דיאז הוא מהנדס מו"פ מוביל ב-CCC Intelligent Solutions. כחבר בצוות המו"פ, הוא עבד על מגוון פרויקטים, החל מכלי ETL, פיתוח אתרים עורפי, שיתוף פעולה עם חוקרים להכשרת מודלים של AI על מערכות מבוזרות, והקלה על אספקת שירותי AI חדשים בין צוותי מחקר ותפעול. ההתמקדות האחרונה שלו הייתה בחקר פתרונות כלי ענן כדי לשפר היבטים שונים של מחזור החיים של פיתוח מודל AI של החברה. בזמנו הפנוי, הוא נהנה לנסות מסעדות חדשות בעיר הולדתו שיקגו ולאסוף כמה מערכות LEGO שהבית שלו יכול להתאים. כריסטופר סיים את התואר הראשון שלו במדעי המחשב מאוניברסיטת Northeastern Illinois.

זוכה פרס אמי סם קינרד הוא מנהל בכיר להנדסת תוכנה ב-CCC Intelligent Solutions. מבוסס באוסטין, טקסס, הוא מתווכח עם צוות AI Runtime, שאחראי על הגשת מוצרי AI של CCC בזמינות גבוהה ובקנה מידה גדול. בזמנו הפנוי, סאם נהנה מחוסר שינה בגלל שני ילדיו הנפלאים. לסאם יש תואר ראשון במדעי המחשב ותואר ראשון במתמטיקה מאוניברסיטת טקסס באוסטין.

חיימה הידלגו הוא מהנדס מערכות בכיר ב-CCC Intelligent Solutions. לפני שהצטרף לצוות המחקר של AI, הוא הוביל את ההגירה הגלובלית של החברה ל-Microservices Architecture, תכנון, בנייה ואוטומציה של התשתית ב-AWS כדי לתמוך בפריסה של מוצרי ושירותי ענן. נכון לעכשיו, הוא בונה ותומך באשכול מרכז נתונים מקומי שנבנה עבור אימון בינה מלאכותית וכן מעצב ובונה פתרונות ענן לעתיד החברה של מחקר ופריסה של AI.

דניאל סוארס הוא מהנדס מדעי נתונים ב-CCC Intelligent Solutions. כחבר בצוות הנדסת בינה מלאכותית, הוא עובד על אוטומציה והכנה של מודלים של בינה מלאכותית בייצור, הערכה וניטור של מדדים והיבטים אחרים של פעולות ML. דניאל קיבל תואר שני במדעי המחשב מהמכון הטכנולוגי של אילינוי ותואר שני ותואר ראשון בהנדסת טלקומוניקציה מ-Universidad Politecnica de Madrid.

ארונפרשת שנקר הוא ארכיטקט פתרונות מומחה בינה מלאכותית/ML עם AWS, המסייע ללקוחות גלובליים להרחיב את פתרונות הבינה המלאכותית שלהם ביעילות וביעילות בענן. בזמנו הפנוי, ארון נהנה לצפות בסרטי מדע בדיוני ולהאזין למוזיקה קלאסית.

ג'סטין מקווירטר הוא מנהל אדריכל פתרונות ב-AWS. הוא עובד עם צוות של אדריכלי פתרונות מדהימים שעוזרים ללקוחות לחוות חוויה חיובית תוך אימוץ פלטפורמת AWS. כשהוא לא בעבודה, ג'סטין נהנה לשחק משחקי וידאו עם שני הבנים שלו, הוקי קרח, ולטייל בשטח בג'יפ שלו.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/how-ccc-intelligent-solutions-created-a-custom-approach-for-hosting-complex-ai-models-using-amazon-sagemaker/