שיפור הפרודוקטיביות של מפתחים: כיצד Deloitte משתמשת באמזון SageMaker Canvas ללמידה חישובית ללא קוד/קוד נמוך | שירותי האינטרנט של אמזון

היכולת לבנות ולפרוס במהירות מודלים של למידת מכונה (ML) הופכת חשובה יותר ויותר בעולם מונע הנתונים של היום. עם זאת, בניית מודלים של ML דורשת זמן משמעותי, מאמץ ומומחיות מיוחדת. מאיסוף וניקוי נתונים ועד להנדסת תכונות, בניית מודלים, כוונון ופריסה, פרויקטי ML לוקחים לעתים חודשים עד להשלמת מפתחים. וקשה להשיג מדעני נתונים מנוסים.

זה המקום שבו חבילת AWS של שירותי ML בקוד נמוך וללא קוד הופכת לכלי חיוני. עם רק כמה קליקים באמצעות אמזון SageMaker Canvas, אתה יכול לנצל את הכוח של ML ללא צורך בכתיבת קוד כלשהו.

כמשלבת מערכות אסטרטגית עם ניסיון ML עמוק, Deloitte משתמשת בכלי ML ללא קוד וקוד נמוך מ-AWS כדי לבנות ולפרוס ביעילות מודלים של ML עבור לקוחות Deloitte ועבור נכסים פנימיים. כלים אלו מאפשרים ל-Deloitte לפתח פתרונות ML ללא צורך בקידוד ידני של מודלים וצינורות. זה יכול לעזור להאיץ את לוחות הזמנים של אספקת הפרויקט ולאפשר ל-Deloitte לקחת על עצמה יותר עבודה של לקוחות.

להלן כמה סיבות ספציפיות מדוע Deloitte משתמשת בכלים אלה:

• נגישות למי שאינם מתכנתים – כלים ללא קוד פותחים בניית מודל ML למתכנתים. חברי צוות בעלי מומחיות בתחום ומיומנויות קידוד מועטות ביותר יכולים לפתח מודלים של ML.
• אימוץ מהיר של טכנולוגיה חדשה – זמינות ושיפור מתמיד בדגמים מוכנים לשימוש ו-AutoML עוזרים להבטיח שהמשתמשים משתמשים כל הזמן בטכנולוגיה מהשורה הראשונה.
• פיתוח חסכוני - כלים ללא קוד עוזרים להפחית את העלות והזמן הנדרשים לפיתוח מודל ML, מה שהופך אותו לנגיש יותר ללקוחות, מה שיכול לעזור להם להשיג החזר גבוה יותר על ההשקעה.

בנוסף, כלים אלה מספקים פתרון מקיף לזרימות עבודה מהירות יותר, המאפשרים את הדברים הבאים:

• הכנת נתונים מהירה יותר – ל- SageMaker Canvas יש למעלה מ-300 טרנספורמציות מובנות ויכולת להשתמש בשפה טבעית שיכולה להאיץ את הכנת הנתונים והכנת הנתונים לבניית מודל.
• בניית דגמים מהירה יותר – SageMaker Canvas מציעה דגמים מוכנים לשימוש או Amazon AutoML טכנולוגיה המאפשרת לך לבנות מודלים מותאמים אישית על נתונים ארגוניים בכמה קליקים בלבד. זה עוזר להאיץ את התהליך לעומת קידוד מודלים מהיסוד.
• פריסה קלה יותר - SageMaker Canvas מציעה את היכולת לפרוס דגמים מוכנים לייצור אמזון Sagmaker נקודת קצה בכמה קליקים תוך רישום זה רישום הדגמים של אמזון SageMaker.

וישוושווארה ואסה, CTO בענן עבור Deloitte, אומר:

"באמצעות שירותי ה-ML ללא קוד של AWS כגון SageMaker Canvas ו- SageMaker Data Wrangler, אנו ב-Deloitte Consulting פתחנו יעילות חדשה, והגברו את מהירות הפיתוח והפרודוקטיביות של הפריסה ב-30-40% על פני הפרויקטים מול הלקוחות והפנימיים שלנו."

בפוסט זה, אנו מדגימים את הכוח של בניית מודל ML מקצה לקצה ללא קוד באמצעות SageMaker Canvas על ידי כך שנראה לכם כיצד לבנות מודל סיווג לניבוי אם לקוח יעמוד ברירת מחדל בהלוואה. על ידי חיזוי חדירת מחדל בהלוואות בצורה מדויקת יותר, המודל יכול לעזור לחברת שירותים פיננסיים לנהל סיכונים, לתמחר הלוואות כראוי, לשפר את התפעול, לספק שירותים נוספים ולהשיג יתרון תחרותי. אנו מדגימים כיצד SageMaker Canvas יכול לעזור לך לעבור במהירות מנתונים גולמיים למודל סיווג בינארי פרוס לחיזוי ברירת המחדל של הלוואות.

SageMaker Canvas מציע יכולות הכנת נתונים מקיפות המופעלות על ידי רנגלר הנתונים של אמזון SageMaker בסביבת העבודה של SageMaker Canvas. זה מאפשר לך לעבור את כל השלבים של זרימת עבודה סטנדרטית של ML, מהכנת נתונים ועד לבניית מודל ופריסה, בפלטפורמה אחת.

הכנת נתונים היא בדרך כלל השלב הרב ביותר של זרימת העבודה של ML. כדי להפחית את הזמן המושקע בהכנת נתונים, SageMaker Canvas מאפשר לך להכין את הנתונים שלך באמצעות למעלה מ-300 טרנספורמציות מובנות. לחלופין, אתה יכול לכתוב הנחיות בשפה טבעית, כגון "שחרר את השורות עבור עמודה c שהן חריגות", ויוצגו עם קטע הקוד הדרוש לשלב הכנת הנתונים הזה. לאחר מכן תוכל להוסיף את זה לזרימת העבודה של הכנת הנתונים שלך בכמה קליקים. אנו מראים לך כיצד להשתמש בזה גם בפוסט הזה.

סקירת פתרונות

הדיאגרמה הבאה מתארת ​​את הארכיטקטורה של מודל סיווג ברירת המחדל של הלוואה באמצעות כלים של SageMaker עם קוד נמוך וללא קוד.

החל ממערך נתונים שיש בו פרטים על נתוני ברירת המחדל של הלוואות שירות אחסון פשוט של אמזון (Amazon S3), אנו משתמשים ב- SageMaker Canvas כדי לקבל תובנות לגבי הנתונים. לאחר מכן אנו מבצעים הנדסת תכונות כדי להחיל טרנספורמציות כגון קידוד תכונות קטגוריות, ביטול תכונות שאינן נחוצות ועוד. לאחר מכן, אנו מאחסנים את הנתונים המנוקים בחזרה באמזון S3. אנו משתמשים במערך הנתונים המנוקה כדי ליצור מודל סיווג לחיזוי ברירת המחדל של הלוואות. אז יש לנו מודל מוכן לייצור להסקת מסקנות.

תנאים מוקדמים

ודא שהדברים הבאים תנאים מוקדמים הושלמו וכי הפעלת את ה קנבס דגמים מוכנים לשימוש אפשרות בעת הגדרת דומיין SageMaker. אם כבר הגדרת את הדומיין שלך, ערוך את הגדרות הדומיין שלך וללכת ל הגדרות קנבס כדי לאפשר את הפעל דגמי Canvas מוכנים לשימוש אוֹפְּצִיָה. בנוסף, הגדר ו צור את אפליקציית SageMaker Canvas, ולאחר מכן בקש והפעל גישה לדגם קלוד האנתרופי on סלע אמזון.

מערך נתונים

אנו משתמשים במערך נתונים ציבורי מ קאגלה שמכיל מידע על הלוואות פיננסיות. כל שורה במערך הנתונים מייצגת הלוואה בודדת, והעמודות מספקות פרטים על כל עסקה. הורד את מערך הנתונים הזה ואחסן אותו בדלי S3 לבחירתך. הטבלה הבאה מפרטת את השדות במערך הנתונים.

שם עמודה	סוג מידע	תיאור
Person_age	מספר שלם	גיל מי שלקח הלוואה
Person_income	מספר שלם	הכנסה של הלווה
Person_home_ownership	מחרוזת	מצב בעלות על דירה (בעלות או שכירות)
Person_emp_length	עֶשׂרוֹנִי	מספר השנים שהם מועסקים
Loan_intent	מחרוזת	סיבת ההלוואה (אישית, רפואית, חינוכית וכן הלאה)
Loan_grade	מחרוזת	דרגת הלוואה (A–E)
Loan_int_rate	עֶשׂרוֹנִי	שער ריבית
Loan_amnt	מספר שלם	סכום ההלוואה הכולל
Loan_status	מספר שלם	יעד (בין אם ברירת המחדל או לא)
Loan_percent_income	עֶשׂרוֹנִי	סכום ההלוואה בהשוואה לאחוז ההכנסה
Cb_person_default_on_file	מספר שלם	ברירות מחדל קודמות (אם יש)
Cb_person_credit_history_length	מחרוזת	אורך היסטוריית האשראי שלהם

פשט את הכנת הנתונים עם SageMaker Canvas

הכנת נתונים יכולה לקחת עד 80% מהמאמץ בפרויקטים של ML. הכנת נתונים נכונה מובילה לביצועי מודל טובים יותר ותחזיות מדויקות יותר. SageMaker Canvas מאפשר חקר נתונים אינטראקטיביים, טרנספורמציה והכנה מבלי לכתוב שום קוד SQL או Python.

בצע את השלבים הבאים כדי להכין את הנתונים שלך:

1. במסוף SageMaker Canvas, בחר הכנת נתונים בחלונית הניווט.
2. על צור בתפריט, בחר מסמך.
3. בעד שם ערכת נתונים, הזן שם עבור מערך הנתונים שלך.
4. בחרו צור.
   
5. בחר Amazon S3 כמקור הנתונים וחבר אותו למערך הנתונים.
6. לאחר טעינת מערך הנתונים, צור זרימת נתונים באמצעות מערך הנתונים.
   
7. עבור ללשונית ניתוחים וצור א דוח איכות נתונים ותובנות.

זהו שלב מומלץ לניתוח איכות מערך הקלט. הפלט של דוח זה מייצר תובנות מיידיות המופעלות על ידי ML ​​כגון הטיית נתונים, כפילויות בנתונים, ערכים חסרים ועוד הרבה יותר. צילום המסך הבא מציג דוגמה של הדוח שנוצר עבור מערך הנתונים של ההלוואה.

על ידי הפקת התובנות הללו בשמך, SageMaker Canvas מספקת לך קבוצה של בעיות בנתונים שזקוקים לתיקון בשלב הכנת הנתונים. כדי לבחור את שתי הבעיות המובילות שזוהו על ידי SageMaker Canvas, עליך לקודד את התכונות הקטגוריות ולהסיר את השורות הכפולות כך שאיכות הדגם שלך תהיה גבוהה. אתה יכול לעשות את שני אלה ועוד בזרימת עבודה ויזואלית עם SageMaker Canvas.

1. ראשית, קידוד חם אחד את loan_intent, loan_grade, ו person_home_ownership
2. אתה יכול להוריד את cb_person_cred_history_length עמודה מכיוון שלעמודה זו יש את עוצמת החיזוי הנמוכה ביותר, כפי שמוצג בדוח איכות הנתונים והתובנות.
   
   SageMaker Canvas הוסיפה לאחרונה א צ'אט עם נתונים אוֹפְּצִיָה. תכונה זו משתמשת בכוחם של מודלים בסיסיים כדי לפרש שאילתות שפה טבעית וליצור קוד מבוסס Python כדי ליישם טרנספורמציות הנדסיות של תכונות. תכונה זו מופעלת על ידי Amazon Bedrock, וניתן להגדיר אותה כך שתפעל במלואה ב-VPC שלך כך שהנתונים לעולם לא יעזבו את הסביבה שלך.
3. כדי להשתמש בתכונה זו כדי להסיר שורות כפולות, בחר את סימן הפלוס שליד זרוק טור להפוך, ולאחר מכן לבחור צ'אט עם נתונים.
   
4. הזן את השאילתה שלך בשפה טבעית (לדוגמה, "הסר שורות כפולות ממערך הנתונים").
5. סקור את השינוי שנוצר ובחר הוסף לשלבים כדי להוסיף את הטרנספורמציה לזרימה.
   
6. לבסוף, ייצא את הפלט של טרנספורמציות אלה לאמזון S3 או אופציונלי חנות הפונקציות של אמזון SageMaker כדי להשתמש בתכונות אלה בפרוייקטים מרובים.

אתה יכול גם להוסיף שלב נוסף ליצירת יעד Amazon S3 עבור מערך הנתונים כדי להתאים את זרימת העבודה עבור מערך נתונים גדול. התרשים הבא מציג את זרימת הנתונים של SageMaker Canvas לאחר הוספת טרנספורמציות חזותיות.

השלמת את כל שלב עיבוד הנתונים והנדסת התכונות באמצעות זרימות עבודה חזותיות ב- SageMaker Canvas. זה עוזר להפחית את הזמן שמהנדס נתונים מקדיש לניקוי והכנת הנתונים לפיתוח מודל משבועות לימים. השלב הבא הוא בניית מודל ה-ML.

בנה דגם עם SageMaker Canvas

Amazon SageMaker Canvas מספקת זרימת עבודה מקצה לקצה ללא קוד לבנייה, ניתוח, בדיקה ופריסה של מודל הסיווג הבינארי הזה. השלם את השלבים הבאים:

1. צור מערך נתונים ב- SageMaker Canvas.
2. ציין את מיקום S3 ששימש לייצוא הנתונים או את מיקום S3 שנמצא ביעד של עבודת SageMaker Canvas.
   
   עכשיו אתה מוכן לבנות את המודל.
3. בחרו מודלים בחלונית הניווט ובחר מודל חדש.
4. תן שם לדגם ובחר ניתוח חיזוי כסוג הדגם.
5. בחר את מערך הנתונים שנוצר בשלב הקודם.
   
   השלב הבא הוא הגדרת סוג הדגם.
6. בחר את עמודת היעד וסוג הדגם יוגדר אוטומטית כ חיזוי 2 קטגוריות.
7. בחר את סוג הבנייה שלך, מבנה סטנדרטי or בנייה מהירה.
   
   SageMaker Canvas מציג את זמן הבנייה הצפוי ברגע שמתחילים לבנות את הדגם. בנייה רגילה לוקחת בדרך כלל בין 2-4 שעות; אתה יכול להשתמש באפשרות בנייה מהירה עבור מערכי נתונים קטנים יותר, שלוקח רק 2-15 דקות. עבור מערך הנתונים המסוים הזה, זה אמור לקחת בערך 45 דקות כדי להשלים את בניית המודל. SageMaker Canvas מעדכן אותך בהתקדמות תהליך הבנייה.
8. לאחר בניית הדגם, תוכל להסתכל על ביצועי הדגם.
   
   SageMaker Canvas מספקת מדדים שונים כמו דיוק, דיוק וציון F1 בהתאם לסוג הדגם. צילום המסך הבא מציג את הדיוק ועוד כמה מדדים מתקדמים עבור מודל הסיווג הבינארי הזה.
9. השלב הבא הוא ביצוע תחזיות מבחן.
   SageMaker Canvas מאפשר לך לבצע תחזיות אצווה במספר כניסות או חיזוי בודד כדי לאמת במהירות את איכות הדגם. צילום המסך הבא מציג הסקה לדוגמה.
   
10. השלב האחרון הוא לפרוס את המודל המאומן.
    SageMaker Canvas פורס את המודל בנקודות קצה של SageMaker, ועכשיו יש לך מודל ייצור מוכן להסקת מסקנות. צילום המסך הבא מציג את נקודת הקצה שנפרסה.
    

לאחר פריסת המודל, אתה יכול לקרוא לו דרך AWS SDK או ממשק שורת הפקודה של AWS (AWS CLI) או בצע קריאות API לכל אפליקציה שתבחר כדי לחזות בביטחון את הסיכון של לווה פוטנציאלי. למידע נוסף על בדיקת הדגם שלך, עיין ב הפעל נקודות קצה בזמן אמת.

לנקות את

כדי להימנע מחיובים נוספים, התנתק מ- SageMaker Canvas or למחוק את הדומיין של SageMaker שנוצרה. בנוסף, מחק את נקודת הקצה של דגם SageMaker ו מחק את מערך הנתונים שהועלה לאמזון S3.

סיכום

No-code ML מאיץ את הפיתוח, מפשט את הפריסה, אינו דורש מיומנויות תכנות, מגביר את הסטנדרטיזציה ומפחית עלויות. יתרונות אלה הפכו את ML ללא קוד לאטרקטיבי עבור Deloitte כדי לשפר את היצע שירותי ה-ML שלה, והם קיצרו את לוחות הזמנים של בניית מודל ה-ML שלהם ב-30-40%.

Deloitte היא אינטגרטור מערכות גלובלי אסטרטגי עם למעלה מ-17,000 מתרגלי AWS מוסמכים ברחבי העולם. היא ממשיכה להעלות את הרף באמצעות השתתפות בתוכנית הכשירות של AWS עם 25 כישורים, כולל Machine Learning. התחבר עם Deloitte כדי להתחיל להשתמש בפתרונות AWS ללא קוד וללא קוד לארגון שלך.

---

על המחברים

צ'ידה סדאיאפאן מוביל את תרגול ה-Cloud AI/Machine Learning של Deloitte. הוא מביא ניסיון חזק במנהיגות מחשבתית למעורבות ומשגשג בתמיכה בבעלי עניין מנהלים בהשגת יעדי שיפור ביצועים ומודרניזציה בתעשיות באמצעות AI/ML. צ'ידה היא יזם טק סדרתי ובונה קהילתי נלהב במערכות האקולוגיות של הסטארט-אפים והמפתחים.

קולדייב סינג, מנהיג AI/ML עולמי ראשי ב-AWS עם למעלה מ-20 שנה בטכנולוגיה, משלב במיומנות את מומחיות המכירות והיזמות שלו עם הבנה עמוקה של AI, ML ואבטחת סייבר. הוא מצטיין ביצירת שותפויות אסטרטגיות גלובליות, בהנעת פתרונות ואסטרטגיות טרנספורמטיביות בתעשיות שונות עם התמקדות בבינה מלאכותית ו-GSI.

קאסי מוטו הוא ארכיטקט פתרונות שותפים בכיר המתמקד בנתונים ובינה מלאכותית/ML ב-AWS שבסיסה מיוסטון, טקסס. הוא נלהב לעזור לשותפים וללקוחות להאיץ את מסע הנתונים בענן שלהם. הוא יועץ מהימן בתחום זה ובעל ניסיון רב באדריכלות ובניית עומסי עבודה ניתנים להרחבה, עמידים וביצועיים בענן. מחוץ לעבודה, הוא נהנה לבלות עם משפחתו.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/