הכנת נתונים ואימון מודלים מאוחדים עם Amazon SageMaker Data Wrangler ו-Amazon SageMaker Autopilot

נתונים מתדלקים למידת מכונה (ML); לאיכות הנתונים יש השפעה ישירה על איכות מודלים של ML. לכן, שיפור איכות הנתונים ושימוש בטכניקות הנדסת תכונות נכונות הם קריטיים ליצירת מודלים מדויקים של ML. מתרגלי ML חוזרים באופן מייגע על הנדסת תכונות, בחירת אלגוריתמים והיבטים אחרים של ML בחיפוש אחר מודלים אופטימליים שמכלילים היטב על נתונים מהעולם האמיתי ומספקים את התוצאות הרצויות. מכיוון שהמהירות בעשיית עסקים חשובה באופן לא פרופורציונלי, תהליך מייגע ואיטרטיבי זה עלול להוביל לעיכובים בפרויקטים ולאיבוד הזדמנויות עסקיות.

רנגלר הנתונים של אמזון SageMaker מפחית את הזמן לצבירה והכנת נתונים עבור ML משבועות לדקות, וכן טייס אוטומטי של אמזון בונה, מאמן ומכוון אוטומטית את דגמי ה-ML הטובים ביותר על סמך הנתונים שלך. עם טייס אוטומטי, אתה עדיין שומר על שליטה מלאה ונראות של הנתונים והמודל שלך. שני השירותים נבנו ייעודיים כדי להפוך את מתרגלי ה-ML לפרודוקטיביים יותר ולהאיץ את זמן הערך.

Data Wrangler מספק כעת חוויה מאוחדת המאפשרת לך להכין נתונים ולאמן בצורה חלקה מודל ML בטייס אוטומטי. עם תכונה זו שהושקה לאחרונה, כעת תוכל להכין את הנתונים שלך ב-Data Wrangler ולהפעיל בקלות ניסויי טייס אוטומטי ישירות מממשק המשתמש של Data Wrangler (UI). בכמה לחיצות בלבד, אתה יכול לבנות, לאמן ולכוון באופן אוטומטי מודלים של ML, מה שמקל על השימוש בטכניקות הנדסת תכונות מתקדמות, להכשיר מודלים של ML באיכות גבוהה ולהשיג תובנות מהנתונים שלך מהר יותר.

בפוסט זה, אנו דנים כיצד ניתן להשתמש בחוויה המשולבת החדשה הזו ב-Data Wrangler כדי לנתח מערכי נתונים ולבנות בקלות מודלים של ML באיכות גבוהה בטייס אוטומטי.

סקירת מערך נתונים

אינדיאני פימה הם קבוצה ילידים שחיה במקסיקו ובאריזונה, ארה"ב. מחקרים להראות את אינדיאני פימה כקבוצת אוכלוסייה בסיכון גבוה לסוכרת. חיזוי ההסתברות של הסיכון והרגישות של אדם למחלה כרונית כמו סוכרת היא משימה חשובה בשיפור הבריאות והרווחה של קבוצת מיעוט זו שלעתים קרובות אינה מיוצגת.

אנו משתמשים מערך הנתונים הציבורי של Pima Indian Diabetes לחזות את הרגישות של אדם לסוכרת. אנו מתמקדים באינטגרציה החדשה בין Data Wrangler וטייס אוטומטי כדי להכין נתונים וליצור אוטומטית מודל ML מבלי לכתוב שורת קוד אחת.

מערך הנתונים מכיל מידע על נקבות הודיות של Pima בנות 21 ומעלה וכולל מספר משתני מנבא רפואי (בלתי תלוי) ומשתנה יעד (תלוי), תוצאה. התרשים הבא מתאר את העמודות במערך הנתונים שלנו.

טור שם	תיאור
הריונות	מספר הפעמים בהריון
גלוקוז	ריכוז גלוקוז בפלזמה בבדיקת סבילות גלוקוז דרך הפה תוך שעתיים
לחץ דם	לחץ דם דיאסטולי (מ"מ כספית)
עובי העור	עובי קפל העור התלת ראשי (מ"מ)
אינסולין	אינסולין בסרום של שעתיים (mu U/ml)
ה-BMI	מדד מסת הגוף (משקל בק"ג/(גובה במטר)^2)
אילן יוחסין סוכרת	תפקוד אילן היוחסין של סוכרת
גיל	גיל בשנים
תוֹצָאָה	משתנה היעד

מערך הנתונים מכיל 768 רשומות, עם 9 תכונות בסך הכל. אנו מאחסנים את מערך הנתונים הזה ב דלי אחסון פשוט של אמזון (Amazon S3) כקובץ CSV ולאחר מכן ייבא את ה-CSV ישירות לזרימת Data Wrangler מאמזון S3.

סקירת פתרונות

התרשים הבא מסכם את מה שאנו משיגים בפוסט זה.[KT1]

מדעני נתונים, רופאים ומומחי תחום רפואי אחרים מספקים לנתוני המטופל מידע על רמות גלוקוז, לחץ דם, אינדקס מסת גוף ומאפיינים אחרים המשמשים לניבוי הסבירות ללקות בסוכרת. עם מערך הנתונים ב-Amazon S3, אנו מייבאים את מערך הנתונים ל-Data Wrangler כדי לבצע ניתוח נתונים חקרניים (EDA), פרופיל נתונים, הנדסת תכונות ופיצול מערך הנתונים לרכב ובדיקה לצורך בניית מודל והערכה.

לאחר מכן אנו משתמשים באינטגרציה החדשה של הטייס האוטומטי כדי לבנות במהירות מודל ישירות מממשק Data Wrangler. אנו בוחרים את הדגם הטוב ביותר של טייס אוטומטי על סמך הדגם עם ציון ה-F בטא הגבוה ביותר. לאחר שהטייס האוטומטי ימצא את הדגם הטוב ביותר, אנו מפעילים א טרנספורמציה אצווה של SageMaker עבודה במבחן (החזקה) עם חפצי המודל של המודל הטוב ביותר להערכה.

מומחים רפואיים יכולים לספק נתונים חדשים למודל המאומת כדי לקבל תחזית כדי לראות אם סביר למטופל יהיה סוכרת. עם תובנות אלו, מומחים רפואיים יכולים להתחיל טיפול מוקדם כדי לשפר את הבריאות והרווחה של אוכלוסיות פגיעות. מומחים רפואיים יכולים גם להסביר את חיזוי המודל על ידי התייחסות לפרטי המודל בטייס אוטומטי מכיוון שיש להם נראות מלאה לגבי יכולת ההסבר, הביצועים והחפצים של המודל. נראות זו בנוסף לאימות המודל ממערך הבדיקות מעניקה למומחים רפואיים אמון רב יותר ביכולת הניבוי של המודל.

אנו מלווים אותך בשלבים הגבוהים הבאים.

1. ייבא את מערך הנתונים מאמזון S3.
2. בצע EDA ופרופיל נתונים עם Data Wrangler.
3. בצע הנדסת תכונות כדי להתמודד עם חריגים וערכים חסרים.
4. פיצול נתונים למערכות רכבת ובדיקות.
5. אימון ובנה דגם עם טייס אוטומטי.
6. בדוק את הדגם על מדגם מחזיק עם מחברת SageMaker.
7. נתח אימות וביצועי ערכת בדיקות.

תנאים מוקדמים

השלם את השלבים המוקדמים הבאים:

1. העלה את מערך הנתונים לדלי S3 לבחירתך.
2. ודא שיש לך את ההרשאות הנדרשות. למידע נוסף, עיין ב התחל לעבוד עם Data Wrangler.
3. הגדר תחום SageMaker המוגדר לשימוש ב-Data Wrangler. להנחיות, עיין ב נכלל ב-Amazon SageMaker Domain.

ייבא את מערך הנתונים שלך עם Data Wrangler

אתה יכול לשלב זרימת נתונים של Data Wrangler בזרימות העבודה שלך ב-ML כדי לפשט ולייעל את עיבוד הנתונים מראש והנדסת תכונות תוך שימוש בקידוד מועט או ללא קידוד. השלם את השלבים הבאים:

1. ליצור חדש זרימת רנגלר נתונים.

אם זו הפעם הראשונה שאתה פותח את Data Wrangler, ייתכן שתצטרך לחכות כמה דקות עד שהוא יהיה מוכן.

2. בחר את מערך הנתונים המאוחסן באמזון S3 וייבא אותו אל Data Wrangler.

לאחר ייבוא ​​מערך הנתונים, אתה אמור לראות את ההתחלה של זרימת נתונים בתוך ממשק המשתמש של Data Wrangler. כעת יש לך דיאגרמת זרימה.

3. בחר את סימן הפלוס שליד סוגי מידע ולבחור ערוך כדי לאשר ש-Data Wrangler הסיק אוטומטית את סוגי הנתונים הנכונים עבור עמודות הנתונים שלך.

אם סוגי הנתונים אינם נכונים, תוכל לשנות אותם בקלות דרך ממשק המשתמש. אם קיימים מספר מקורות נתונים, תוכל להצטרף או לשרשר אותם.

כעת אנו יכולים ליצור ניתוח ולהוסיף טרנספורמציות.

בצע ניתוח נתונים חקרני עם דוח תובנות הנתונים

ניתוח נתונים חקרני הוא חלק קריטי בזרימת העבודה של ML. אנחנו יכולים להשתמש בדוח תובנות הנתונים החדש של Data Wrangler כדי להבין טוב יותר את הפרופיל וההפצה של הנתונים שלנו. הדוח כולל סטטיסטיקות סיכום, אזהרות על איכות נתונים, תובנות של עמודות יעד, מודל מהיר ומידע על שורות חריגות וכפולות.

1. בחר את סימן הפלוס שליד סוגי מידע ולבחור קבל תובנות נתונים.

2. בעד יעד סקירה, בחר תוֹצָאָה.
3. בעד סוג הבעיה, ו (אופציונלי) בחר מִיוּן.
4. לבחור צור.

התוצאות מציגות נתוני סיכום עם הנתונים הסטטיסטיים של מערך הנתונים.

אנו יכולים גם להציג את התפלגות השורות המסומנות עם היסטוגרמה, אומדן של האיכות החזויה הצפויה של המודל עם תכונת המודל המהיר וטבלת סיכום תכונות.

אנחנו לא נכנסים לפרטים של ניתוח דוח תובנות הנתונים; מתייחס האץ את הכנת הנתונים עם איכות הנתונים והתובנות באמזון SageMaker Data Wrangler לפרטים נוספים על האופן שבו תוכל להשתמש בדוח תובנות הנתונים כדי להאיץ את שלבי הכנת הנתונים שלך.

בצע הנדסת תכונות

כעת, לאחר שיצרנו פרופיל וניתחנו את התפלגות עמודות הקלט שלנו ברמה גבוהה, השיקול הראשון לשיפור איכות הנתונים שלנו יכול להיות טיפול בערכים חסרים.

לדוגמה, אנו יודעים שאפסים (0) עבור ה Insulin העמודה מייצגת ערכים חסרים. נוכל לעקוב אחר ההמלצה להחליף את האפסים בהם NaN. אבל בבדיקה מעמיקה יותר, אנו מגלים שהערך המינימלי הוא 0 עבור עמודות אחרות כגון Glucose, BloodPressure, SkinThickness, ו BMI. אנחנו צריכים דרך לטפל בערכים חסרים, אבל אנחנו צריכים להיות רגישים לעמודות עם אפסים כנתונים חוקיים. בוא נראה איך נוכל לתקן את זה.

ב פרטי התכונה בסעיף, הדוח מעלה א ערך חסר מוסווה אזהרה עבור התכונה Insulin.

כי אפסים ב Insulin בעמודה למעשה חסרים נתונים, אנו משתמשים ב- המרת regex לחסר טרנספורמציה כדי להפוך אפס ערכים לריק (ערכים חסרים).

1. בחר את סימן הפלוס שליד נתונים סוגים ולבחור להוסיף לשנות.
2.  לבחור חפש וערוך.
3. בעד לשנות, בחר המרת regex לחסר.
4. בעד קֶלֶט עמודות, בחר את העמודות Insulin, Glucose, BloodPressure, SkinThickness, ו BMI.
5. בעד תבנית, להיכנס 0.
6. לבחור תצוגה מקדימה ו להוסיף כדי לשמור את הצעד הזה.

0 הערכים מתחת Insulin, Glucose, BloodPressure, SkinThickness, ו BMI חסרים כעת ערכים.

Data Wrangler נותן לך כמה אפשרויות אחרות לתקן ערכים חסרים.

7. אנו מטפלים בערכים חסרים על ידי זקיפת החציון המשוער עבור ה Glucose עמודה.

אנחנו גם רוצים להבטיח שהתכונות שלנו יהיו באותו קנה מידה. אנחנו לא רוצים בטעות לתת משקל רב יותר לתכונה מסוימת רק בגלל שהיא מכילה טווח מספרי גדול יותר. אנו מנרמלים את התכונות שלנו כדי לעשות זאת.

8. הוסף חדש תהליך מספרי להפוך ולבחור ערכי קנה מידה.
9. בעד סקאלר, בחר קנה מידה מינימום.
10. בעד עמודות קלט, בחר את העמודות Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMI, ו Age.
11. לקבוע דקות ל 0 ו מקס ל 1.

זה מוודא שהתכונות שלנו נמצאות בין הערכים 0 ו 1.

עכשיו, זה שיצרנו כמה תכונות, חילקנו את מערך הנתונים שלנו לאימון ובדיקות לפני שאנחנו בונים מודל.

פיצול נתונים לאימון ובדיקות

בשלב בניית המודל של זרימת העבודה שלך ב-ML, אתה בודק את היעילות של המודל שלך על ידי הפעלת תחזיות אצווה. אתה יכול לשים בצד מערך נתונים של בדיקה או החזקה להערכה כדי לראות כיצד המודל שלך מתפקד על ידי השוואת התחזיות לאמת. בדרך כלל, אם יותר מהתחזיות של המודל תואמות את true תוויות, אנו יכולים לקבוע שהמודל מתפקד היטב.

אנו משתמשים ב-Data Wrangler כדי לפצל את מערך הנתונים שלנו לבדיקה. אנו שומרים 90% ממערך הנתונים שלנו להדרכה מכיוון שיש לנו מערך נתונים קטן יחסית. 10% הנותרים ממערך הנתונים שלנו משמשים כמערך הנתונים לבדיקה. אנו משתמשים במערך הנתונים הזה כדי לאמת את מודל הטייס האוטומטי בהמשך הפוסט הזה.

חילקנו את הנתונים שלנו על ידי בחירה ב- פיצול נתונים לשנות ולבחור פיצול אקראי בתור השיטה. אנו מייעדים 0.9 כאחוז הפיצול לאימון ו-0.1 לבדיקות.

עם הטרנספורמציה של הנתונים והשלבים ההנדסיים שהושלמו, אנחנו מוכנים כעת להכשיר מודל.

אימון ואימות המודל

אנו יכולים להשתמש באינטגרציה החדשה של Data Wrangler עם טייס אוטומטי כדי לאמן ישירות מודל מממשק המשתמש של זרימת הנתונים של Data Wrangler.

1. בחר את סימן הפלוס שליד מערך נתונים ולבחור דגם רכבת.

2. בעד מיקום אמזון S3, ציין את המיקום של Amazon S3 שבו SageMaker מייצאת את הנתונים שלך.

הטייס האוטומטי משתמש במיקום זה כדי לאמן מודל באופן אוטומטי, וחוסך זמן מהצורך להגדיר את מיקום הפלט של זרימת ה-Data Wrangler, ולאחר מכן להגדיר את מיקום הקלט של נתוני האימון של הטייס האוטומטי. זה גורם לחוויה חלקה יותר.

3. לבחור יצוא ולהתאמן ליזום בניית מודלים עם טייס אוטומטי.

הטייס האוטומטי בוחר אוטומטית את מיקומי הקלט והפלט של נתוני האימון. אתה רק צריך לציין את עמודת היעד וללחוץ צור ניסוי לאמן את הדגם שלך.

בדוק את הדגם על מדגם מחזיק

כאשר הטייס האוטומטי ישלים את הניסוי, נוכל לראות את תוצאות האימון ולחקור את המודל הטוב ביותר.

1. לבחור צפה בפרטי הדגם עבור הדגם הרצוי, ולאחר מכן בחר את ביצוע לשונית בדף פרטי הדגם.

אל האני ביצוע הכרטיסייה מציגה מספר בדיקות מדידה של מודל, כולל מטריצת בלבול, השטח מתחת לעקומת הדיוק/הזכירה (AUCPR), והאזור מתחת לעקומת המאפיין ההפעלה של המקלט (ROC). אלה ממחישים את ביצועי האימות הכוללים של המודל, אבל הם לא אומרים לנו אם המודל יכלל היטב. אנחנו עדיין צריכים להריץ הערכות על נתוני בדיקה בלתי נראים כדי לראות באיזו מידה המודל חוזה אם לאדם יהיה סוכרת.

כדי להבטיח שהמודל מכליל מספיק טוב, אנו מפרידים את מדגם הבדיקה לדגימה עצמאית. אנחנו יכולים לעשות זאת ב-Data Wrangler flow UI.

2.  בחר את סימן הפלוס שליד מערך נתונים, בחר ייצוא ל, ולבחור אמזון S3.

3. ציין נתיב של Amazon S3.

אנו מתייחסים לנתיב זה כאשר אנו מריצים הסקת אצווה לצורך אימות בסעיף הבא.

4. צור מחברת SageMaker חדשה כדי לבצע הסקת מסקנות אצווה על מדגם ה-holdout ולהעריך את ביצועי הבדיקה. עיין בדברים הבאים GitHub ריפו עבור מחברת מדגם להפעיל הסקת אצווה לצורך אימות.

נתח אימות וביצועי ערכת בדיקות

כאשר הטרנספורמציה האצווה הושלמה, אנו יוצרים מטריצת בלבול כדי להשוות את התוצאות בפועל והחזויות של מערך הנתונים החזויים.

אנו רואים 23 חיוביות אמיתיות ו-33 שליליות אמיתיות מהתוצאות שלנו. במקרה שלנו, תוצאות חיוביות אמיתיות מתייחסות למודל החוזה בצורה נכונה אדם כבעל סוכרת. לעומת זאת, שליליים אמיתיים מתייחסים למודל המחזה נכון לאדם שאינו סובל מסוכרת.

במקרה שלנו, דיוק וזכירה הם מדדים חשובים. דיוק מודד בעצם את כל האנשים שצפויים להיות חולים בסוכרת, לכמה באמת יש סוכרת? לעומת זאת, היזכרות עוזרת למדוד את כל האנשים שאכן חולים בסוכרת, לכמה נחזה להיות סכרת? לדוגמה, ייתכן שתרצה להשתמש במודל עם דיוק גבוה מכיוון שאתה רוצה לטפל בכמה שיותר אנשים, במיוחד אם לשלב הראשון של הטיפול אין השפעה על אנשים ללא סוכרת (אלו תוצאות חיוביות שגויות - אלה שסומנו כבעלי סוכרת כאשר למעשה הם לא).

אנו גם משרטטים את השטח מתחת לגרף עקומת ROC (AUC) כדי להעריך את התוצאות. ככל שה-AUC גבוה יותר, כך המודל טוב יותר בהבחנה בין מחלקות, שבמקרה שלנו הוא עד כמה המודל מתפקד בהבחנה בין חולים עם וללא סוכרת.

סיכום

בפוסט זה, הדגמנו כיצד לשלב את עיבוד הנתונים שלך, תכונות הנדסה ובניית מודלים באמצעות Data Wrangler וטייס אוטומטי. הדגשנו כיצד ניתן לאמן ולכוון בקלות דגם עם טייס אוטומטי ישירות מממשק המשתמש של Data Wrangler. עם תכונת האינטגרציה הזו, אנו יכולים לבנות מודל במהירות לאחר השלמת הנדסת תכונות, מבלי לכתוב שום קוד. לאחר מכן התייחסנו למודל הטוב ביותר של טייס אוטומטי להרצת תחזיות אצווה באמצעות מחלקת AutoML עם ה-SDK של SageMaker Python.

פתרונות קוד נמוך ו-AutoML כמו Data Wrangler ו-Autopilot מסירים את הצורך בידע מעמיק בקידוד כדי לבנות מודלים חזקים של ML. התחל להשתמש ב-Data Wrangler היום כדי לחוות כמה קל לבנות מודלים של ML באמצעות טייס אוטומטי SageMaker.

---

על הכותבים

פיטר צ'ונג הוא אדריכל פתרונות עבור AWS, ונלהב לעזור ללקוחות לחשוף תובנות מהנתונים שלהם. הוא בנה פתרונות שיעזרו לארגונים לקבל החלטות מונעות נתונים הן במגזר הציבורי והן במגזר הפרטי. הוא מחזיק בכל אישורי AWS וכן בשתי אישורי GCP. הוא נהנה מקפה, מבישול, להישאר פעיל ולבלות עם משפחתו.

פראדיפ רדי הוא מנהל מוצר בכיר בצוות SageMaker Low/No Code ML, הכולל את SageMaker Autopilot, SageMaker Automatic Model Tuner. מחוץ לעבודה, Pradeep נהנית לקרוא, לרוץ ולחנון עם מחשבים בגודל כף היד כמו Raspberry Pi וטכנולוגיות אחרות לאוטומציה ביתית.

ארונפרשת שנקר הוא אדריכל פתרונות מומחים לבינה מלאכותית ולמידת מכונות (AI / ML) עם AWS, המסייע ללקוחות גלובליים לשנות את פתרונות ה- AI שלהם ביעילות וביעילות בענן. בזמנו הפנוי, ארון נהנה לצפות בסרטי מדע בדיוני ולהאזין למוזיקה קלאסית.

סרוג'אן גופו הוא מהנדס חזית בכיר ב- SageMaker Low Code/No Code ML המסייע ללקוחות של מוצרי טייס אוטומטי ו-Canvas. כשהוא לא מקודד, סרוג'אן נהנה לצאת לריצה עם הכלב שלו מקס, להאזין לספרי אודיו ולפיתוח משחקי VR.

• Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
• CryptoHawk. רדאר אלטקוין. ניסיון חינם.
• מקור: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/