התוכן והדעות בפוסט זה הם של מחבר צד ג 'ו- AWS אינה אחראית לתוכן או לדיוק של פוסט זה.
ככל שיותר ארגונים משתמשים בטכניקות למידה עמוקה כגון ראייה ממוחשבת ועיבוד שפה טבעית, פרסונת מפתחי למידת מכונה (ML) זקוקה לכלים ניתנים להרחבה סביב מעקב אחר ניסויים, שושלת ושיתוף פעולה. מעקב הניסוי כולל מטא נתונים כגון מערכת הפעלה, תשתית בשימוש, ספרייה ומערכי נתונים של קלט ופלט - לעתים קרובות מעקב אחר גיליון אלקטרוני באופן ידני. השושלת כוללת מעקב אחר מערכי הנתונים, הטרנספורמציות והאלגוריתמים המשמשים ליצירת מודל ML. שיתוף הפעולה כולל מפתחי ML שעובדים על פרויקט יחיד וגם מפתחי ML משתפים את התוצאות שלהם בין צוותים ועם בעלי עניין עסקיים - תהליך שנעשה בדרך כלל באמצעות דואר אלקטרוני, צילומי מסך ומצגות PowerPoint.
בפוסט זה, אנו מאמנים מודל לזיהוי אובייקטים עבור מקרה שימוש ברכב אוטונומי באמצעות משקלים והטיות (W&B) ו אמזון SageMaker. אנו מציגים כיצד הפתרון המשותף מפחית עבודה ידנית עבור מפתח ה-ML, יוצר שקיפות רבה יותר בתהליך פיתוח המודל, ומאפשר לצוותים לשתף פעולה בפרויקטים.
אנו מפעילים את הדוגמה הזו סטודיו SageMaker של אמזון כדי שתוכל לנסות בעצמך.
סקירה כללית של משקולות והטיות
משקולות והטיות עוזרות לצוותי ML לבנות מודלים טובים יותר מהר יותר. עם מספר שורות קוד בלבד במחברת SageMaker שלך, אתה יכול לבצע ניפוי באגים, להשוות ולשחזר את המודלים שלך באופן מיידי - ארכיטקטורה, היפרפרמטרים, התחייבויות git, משקלי מודל, שימוש ב-GPU, מערכי נתונים וחיזוי - הכל תוך שיתוף פעולה עם חברי הצוות שלך.
על W&B אמון יותר מ-200,000 מתרגלי ML מכמה מהחברות וארגוני המחקר החדשניים ביותר בעולם. כדי לנסות את זה בחינם, הירשם ב- משקולות והטיות, או לבקר רישום W&B AWS Marketplace.
תחילת העבודה עם SageMaker Studio
SageMaker Studio הוא סביבת הפיתוח המשולבת המלאה הראשונה (IDE) עבור ML. Studio מספק ממשק מבוסס אינטרנט יחיד שבו מתרגלי ML ומדעני נתונים יכולים לבנות, לאמן ולפרוס מודלים בכמה לחיצות, והכל במקום אחד.
כדי להתחיל עם Studio, אתה צריך חשבון AWS וחשבון AWS זהות וניהול גישה (IAM) משתמש או תפקיד עם הרשאות ליצור דומיין של Studio. מתייחס נכלל ב-Amazon SageMaker Domain כדי ליצור דומיין, ואת תיעוד סטודיו לסקירה כללית על השימוש בממשק ויזואלי ומחברות של Studio.
הגדר את הסביבה
עבור פוסט זה, אנו מעוניינים להריץ קוד משלנו, אז בואו לייבא כמה מחברות מ-GitHub. אנו משתמשים בדברים הבאים GitHub ריפו כדוגמה, אז בואו נטען המחברת הזו.
אתה יכול לשכפל מאגר דרך הטרמינל או ממשק המשתמש של Studio. כדי לשכפל מאגר דרך המסוף, פתח מסוף מערכת (ב- שלח בתפריט, בחר חדש ו מסוף) והזן את הפקודה הבאה:
כדי לשכפל מאגר מממשק המשתמש של Studio, ראה שיבוט מאגר Git ב-SageMaker Studio.
כדי להתחיל, בחר את 01_data_processing.ipynb מחברת. אתה מתבקש עם הנחיה של מחליף ליבה. דוגמה זו משתמשת ב- PyTorch, כך שנוכל לבחור את המבנה המוכן מראש PyTorch 1.10 Python 3.8 GPU מותאם תמונה כדי להתחיל את המחברת שלנו. אתה יכול לראות את האפליקציה מתחילה, וכאשר הליבה מוכנה, היא מציגה את סוג המופע והקרנל בפינה השמאלית העליונה של המחברת שלך.
המחברת שלנו זקוקה לכמה תלות נוספות. מאגר זה מספק קובץ requirements.txt עם התלות הנוספת. הפעל את התא הראשון כדי להתקין את התלות הנדרשת:
אתה יכול גם ליצור תצורת מחזור חיים כדי להתקין את החבילות באופן אוטומטי בכל פעם שאתה מפעיל את אפליקציית PyTorch. לִרְאוֹת התאם אישית את Amazon SageMaker Studio באמצעות תצורות מחזור חיים להוראות ויישום לדוגמה.
השתמש במשקלים והטיות בסטודיו SageMaker
משקולות והטיות (wandb
) היא ספריית Python סטנדרטית. לאחר ההתקנה, זה פשוט כמו הוספת כמה שורות קוד לסקריפט האימון שלך ואתה מוכן לרשום ניסויים. כבר התקנו אותו דרך קובץ requirements.txt שלנו. אתה יכול גם להתקין אותו באופן ידני עם הקוד הבא:
מקרה מבחן: פילוח סמנטי של רכב אוטונומי
מערך נתונים
אנו משתמשים מסד נתונים וידאו מתויג בנהיגה בקיימברידג' (CamVid) עבור דוגמה זו. הוא מכיל אוסף של סרטונים עם תוויות סמנטיות של מחלקת אובייקטים, עם מטא נתונים. מסד הנתונים מספק תוויות אמת שמשייכות כל פיקסל לאחת מ-32 מחלקות סמנטיות. אנחנו יכולים לגרס את מערך הנתונים שלנו כ-a wandb.Artifact, כך נוכל להתייחס אליו מאוחר יותר. ראה את הקוד הבא:
אתה יכול לעקוב אחרי ב 01_data_processing.ipynb מחברת.
אנו גם רושמים א שולחן של מערך הנתונים. טבלאות הן ישויות דמויות DataFrame עשירות וחזקות המאפשרות לך לבצע שאילתות ולנתח נתונים טבלאיים. אתה יכול להבין את מערכי הנתונים שלך, לדמיין תחזיות מודל ולשתף תובנות בלוח מחוונים מרכזי.
טבלאות משקל והטיות תומכות בפורמטים רבים של מדיה עשירה, כמו תמונה, אודיו וצורות גל. לרשימה מלאה של פורמטי מדיה, עיין ב סוגי מידע.
צילום המסך הבא מציג טבלה עם תמונות גולמיות עם פילוחי האמת הבסיסיים. אתה יכול גם לצפות ב- גרסה אינטראקטיבית של טבלה זו.
לאמן מודל
כעת אנו יכולים ליצור מודל ולאמן אותו במערך הנתונים שלנו. אנו משתמשים PyTorch ו פאסטאי כדי ליצור אב-טיפוס מהיר של קו בסיס ולאחר מכן להשתמש wandb.Sweeps
כדי לייעל את ההיפרפרמטרים שלנו. עקבו אחרי ב- 02_semantic_segmentation.ipynb מחברת. כאשר תתבקש להזין ליבה בפתיחת המחברת, בחר את אותו ליבה מהמחברת הראשונה שלנו, PyTorch 1.10 Python 3.8 GPU מותאם. החבילות שלך כבר מותקנות כי אתה משתמש באותה אפליקציה.
הדגם אמור ללמוד ביאור לכל פיקסל של סצנה שנלכדה מנקודת המבט של הסוכן האוטונומי. המודל צריך לסווג או לפלח כל פיקסל של סצנה נתונה ל-32 קטגוריות רלוונטיות, כגון כביש, הולכי רגל, מדרכה או מכוניות. אתה יכול לבחור כל אחת מהתמונות המפולחות בטבלה ולגשת לממשק האינטראקטיבי הזה כדי לגשת לתוצאות הפילוח ולקטגוריות.
בגלל פאסטאי לספרייה יש אינטגרציה עם wandb
, אתה יכול פשוט לעבור את WandbCallback
ללומד:
עבור הניסויים הבסיסיים, החלטנו להשתמש בארכיטקטורה פשוטה בהשראת ה UNet נייר עם עמודי שדרה שונים מ תים. אימנו את הדוגמניות שלנו עם אובדן מוקד כקריטריון. עם משקלים והטיות, אתה יכול ליצור בקלות לוחות מחוונים עם סיכומים של הניסויים שלך כדי לנתח במהירות את תוצאות האימון, כפי שמוצג בצילום המסך הבא. אתה יכול גם להציג את לוח המחוונים הזה באופן אינטראקטיבי.
חיפוש היפרפרמטרים עם סוויפים
כדי לשפר את הביצועים של מודל הבסיס, עלינו לבחור את המודל הטוב ביותר ואת קבוצת ההיפרפרמטרים הטובה ביותר לאימון. W&B מקל עלינו להשתמש מטאטא.
אנו מבצעים א חיפוש היפרפרמטר בייסיאני במטרה למקסם את דיוק החזית של המודל על מערך האימות. כדי לבצע את הסוויפ, אנו מגדירים את קובץ התצורה sweep.yaml. בתוך קובץ זה, אנו מעבירים את השיטה הרצויה לשימוש: bayes והפרמטרים והערכים המתאימים להם לחיפוש. במקרה שלנו, אנו מנסים עמודי שדרה שונים, גדלי אצווה ופונקציות אובדן שונות. אנו גם בוחנים פרמטרים שונים של אופטימיזציה כמו קצב למידה ודעיכה במשקל. מכיוון שאלו ערכים רציפים, אנו דוגמים מהתפלגות. יש מרובים אפשרויות תצורה זמינות עבור סוויפים.
לאחר מכן, בטרמינל, אתה מפעיל את הסוויפ באמצעות ה- שורת הפקודה wandb:
ולאחר מכן הפעל סוכן סוויפ במחשב זה עם הקוד הבא:
לאחר סיום הסוויפ, נוכל להשתמש בתרשים קואורדינטות מקבילות כדי לחקור את ביצועי המודלים עם עמודי שדרה שונים וקבוצות שונות של היפרפרמטרים. על סמך זה, אנו יכולים לראות איזה דגם מניב את הביצועים הטובים ביותר.
צילום המסך הבא מציג את תוצאות הסוויפים, כולל תרשים קואורדינטות מקבילות ותרשימי מתאם פרמטרים. אתה יכול גם הצג את לוח המחוונים המטאטא הזה באופן אינטראקטיבי.
אנו יכולים להפיק את התובנות העיקריות הבאות מהסריקה:
- קצב למידה נמוך יותר ודעיכה נמוכה יותר במשקל מביאים לדיוק בחזית וציוני הקוביות טובים יותר.
- לגודל אצווה יש מתאמים חיוביים חזקים עם המדדים.
- אל האני עמודי שדרה מבוססי VGG אולי לא תהיה אפשרות טובה לאמן את המודל הסופי שלנו מכיוון שהם נוטים לגרום ל- שיפוע נעלם. (הם מסוננים כשההפסד התפצל.)
- אל האני ResNet עמודי שדרה מביאים לביצועים הכוללים הטובים ביותר ביחס למדדים.
- יש לבחור את עמוד השדרה של ResNet34 או ResNet50 עבור הדגם הסופי בשל הביצועים החזקים שלהם במונחים של מדדים.
שושלת נתונים ומודלים
חפצי W&B תוכננו כדי להפוך את הגרסה של מערכי הנתונים והדגמים שלך ללא מאמץ, בין אם אתה רוצה לאחסן את הקבצים שלך עם W&B או אם כבר יש לך דלי שאתה רוצה ש-W&B יעקוב אחריו. לאחר שאתה עוקב אחר מערכי הנתונים או קבצי המודל שלך, W&B רושם אוטומטית כל שינוי, ומעניק לך היסטוריה מלאה וניתנת לביקורת של שינויים בקבצים שלך.
במקרה שלנו, מערך הנתונים, המודלים והטבלאות השונות שנוצרו במהלך האימון נרשמים לסביבת העבודה. אתה יכול לראות במהירות ולחזות בשושלת זו על ידי מעבר אל חפץ עמוד.
פרש את תחזיות המודל
משקל והטיות שימושיים במיוחד כאשר מעריכים את ביצועי המודל על ידי שימוש בכוח של wandb.טבלאות לדמיין היכן המודל שלנו מתפקד בצורה גרועה. במקרה זה, אנו מעוניינים במיוחד בזיהוי משתמשים פגיעים בצורה נכונה כמו אופניים והולכי רגל.
רשמנו את המסכות החזויות יחד עם מקדם הניקוד של הקוביות לכל כיתה בטבלה. לאחר מכן סיננו לפי שורות המכילות את המחלקות הרצויות ומייננו לפי סדר עולה בציון הקוביות.
בטבלה הבאה, אנו מסננים תחילה על ידי בחירה היכן ציון הקוביות חיובי (הולכי רגל נמצאים בתמונה). אחר כך אנחנו ממיינים בסדר עולה כדי לזהות את הולכי הרגל שלנו שזוהו בצורה הגרועה ביותר. זכור שציון קוביות השווה ל-1 פירושו פילוח נכון של כיתת הולכי הרגל. אתה יכול גם להציג את הטבלה הזו באופן אינטראקטיבי.
אנו יכולים לחזור על ניתוח זה עם כיתות פגיעות אחרות, כגון אופניים או רמזורים.
תכונה זו היא דרך טובה מאוד לזהות תמונות שאינן מסומנות כהלכה ולתייג אותן כדי להוסיף הערות מחדש.
סיכום
פוסט זה הציג את פלטפורמת ה-Wights & Biases MLOps, כיצד להגדיר W&B ב-SageMaker Studio, וכיצד להפעיל מחברת היכרות על הפתרון המשותף. לאחר מכן עברנו על מקרה שימוש בפילוח סמנטי של רכב אוטונומי והדגמנו ריצות אימון מעקב עם ניסויי W&B, אופטימיזציה של היפרפרמטרים באמצעות סוויפי W&B ופירוש תוצאות עם טבלאות W&B.
אם אתה מעוניין ללמוד עוד, אתה יכול לגשת לשידור החי דו"ח W&B. כדי לנסות משקולות והטיות בחינם, הירשם בכתובת משקולות והטיות, או לבקר רישום W&B AWS Marketplace.
על הכותבים
תומאס קאפל הוא מהנדס למידת מכונה במשקולות והטיות. הוא אחראי לשמור על מאגר www.github.com/wandb/examples חי ומעודכן. הוא גם בונה תוכן על MLOPS, יישומים של W&B לתעשיות ולמידה עמוקה מהנה בכלל. בעבר הוא השתמש בלמידה עמוקה כדי לפתור תחזיות לטווח קצר עבור אנרגיה סולארית. יש לו רקע בתכנון ערים, אופטימיזציה קומבינטורית, כלכלת תחבורה ומתמטיקה שימושית.
דורגה סורי הוא אדריכל ML Solutions בצוות Amazon SageMaker Service SA. היא נלהבת להנגיש למידת מכונה לכולם. ב-3 השנים שלה ב-AWS, היא סייעה בהקמת פלטפורמות AI/ML עבור לקוחות ארגוניים. כשהיא לא עובדת, היא אוהבת רכיבה על אופנוע, רומנים מסתוריים וטיולים עם האסקי בן הארבע שלה.
קרתיק בהראתי היא מובילת המוצר של Amazon SageMaker עם למעלה מעשור של ניסיון בניהול מוצר, אסטרטגיית מוצר, ביצוע והשקה.
- Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
- CryptoHawk. רדאר אלטקוין. ניסיון חינם.
- מקור: https://aws.amazon.com/blogs/machine-learning/improve-ml-developer-productivity-with-weights-biases-a-computer-vision-example-on-amazon-sagemaker/
- "
- &
- 000
- 10
- 100
- a
- אודות
- גישה
- נגיש
- גישה
- חֶשְׁבּוֹן
- לרוחב
- נוסף
- AI
- אלגוריתמים
- תעשיות
- כְּבָר
- אמזון בעברית
- אנליזה
- לנתח
- האפליקציה
- יישומים
- יישומית
- ארכיטקטורה
- סביב
- עמית
- אודיו
- באופן אוטומטי
- אוטונומי
- זמין
- AWS
- רקע
- Baseline
- כי
- הטוב ביותר
- לִבנוֹת
- בונה
- עסקים
- מכוניות
- מקרה
- מֶרכָּזִי
- תרשימים
- לבחור
- נבחר
- בכיתה
- כיתות
- קוד
- לשתף פעולה
- שיתוף פעולה
- שיתוף פעולה
- אוסף
- חברות
- להשלים
- המחשב
- תְצוּרָה
- מכיל
- תוכן
- תוֹאֵם
- לִיצוֹר
- יוצר
- לקוחות
- לוח מחוונים
- נתונים
- מסד נתונים
- עָשׂוֹר
- החליט
- עמוק
- מופגן
- לפרוס
- מעוצב
- מפתח
- מפתחים
- צעצועי התפתחות
- אחר
- הפצה
- תחום
- בְּמַהֲלָך
- כל אחד
- בקלות
- כלכלה
- אמייל
- לאפשר
- מאפשר
- אנרגיה
- מהנדס
- זן
- מִפְעָל
- ישויות
- סביבה
- במיוחד
- כולם
- דוגמה
- הוצאת להורג
- ניסיון
- לְנַסוֹת
- לחקור
- מהר
- מהר יותר
- מאפיין
- ראשון
- לעקוב
- הבא
- חופשי
- החל מ-
- מלא
- כֵּיף
- פונקציות
- כללי
- נוצר
- Git
- GitHub
- נתינה
- מטרה
- הולך
- טוב
- GPU
- עזר
- עוזר
- היסטוריה
- איך
- איך
- HTTPS
- לזהות
- זיהוי
- זהות
- תמונה
- תמונות
- הפעלה
- לשפר
- כולל
- כולל
- תעשיות
- תשתית
- חדשני
- קלט
- תובנות
- השראה
- להתקין
- למשל
- משולב
- השתלבות
- אינטראקטיבי
- מעוניין
- מִמְשָׁק
- מבוא
- IT
- שמור
- שמירה
- מפתח
- תוויות
- שפה
- לשגר
- מנהיג
- לִלמוֹד
- למידה
- סִפְרִיָה
- קווים
- רשימה
- לחיות
- לִטעוֹן
- מכונה
- למידת מכונה
- לעשות
- עושה
- עשייה
- ניהול
- מדריך ל
- עבודה ידנית
- באופן ידני
- שוק
- מבחר המסיכות
- מתמטיקה
- אומר
- מדיה
- מדדים
- יכול
- אכפת לי
- ML
- מודל
- מודלים
- יותר
- רוב
- אופנוע
- מספר
- תעלומה
- טבעי
- צרכי
- מחברה
- לפתוח
- פתיחה
- פועל
- מערכת הפעלה
- דעות
- אופטימיזציה
- מטב
- אפשרות
- אפשרויות
- להזמין
- ארגונים
- אחר
- מקיף
- שֶׁלוֹ
- מאמר
- במיוחד
- לוהט
- ביצועים
- הופעות
- תכנון
- פלטפורמה
- פלטפורמות
- נקודה
- נקודת מבט
- חיובי
- כּוֹחַ
- חזק
- התחזיות
- להציג
- מצגות
- תהליך
- תהליך
- המוצר
- ניהול מוצר
- פִּריוֹן
- פּרוֹיֶקט
- פרויקטים
- מספק
- מהירות
- חי
- רלוונטי
- לחזור על
- מאגר
- נדרש
- דרישות
- מחקר
- אחראי
- וכתוצאה מכך
- תוצאות
- כביש
- תפקיד
- הפעלה
- ריצה
- אותו
- להרחבה
- סצינה
- מדענים
- חיפוש
- קטע
- פילוח
- שרות
- סט
- שיתוף
- שיתוף
- טווח קצר
- ראווה
- הראה
- סִימָן
- פָּשׁוּט
- יחיד
- מידה
- So
- סולרי
- אנרגיה סולארית
- פִּתָרוֹן
- פתרונות
- לפתור
- כמה
- תֶקֶן
- התחלה
- החל
- חנות
- אִסטרָטֶגִיָה
- חזק
- סטודיו
- לימוד
- תמיכה
- לטאטא
- מערכת
- נבחרת
- צוותי
- טכניקות
- מסוף
- מונחים
- אל האני
- המקום
- העולם
- צד שלישי
- דרך
- זמן
- חלק עליון
- לעקוב
- מעקב
- תְנוּעָה
- הדרכה
- טרנספורמציות
- שקיפות
- מהימן
- ui
- להבין
- עירוני
- us
- להשתמש
- משתמשים
- אימות
- ערך
- שונים
- רכב
- גרסה
- וִידֵאוֹ
- וידאו
- לצפיה
- חזון
- פגיע
- המבוסס על האינטרנט
- אם
- בזמן
- ויקיפדיה
- תיק עבודות
- עובד
- עוֹלָם
- שנים