מדעני נתונים זקוקים לסביבה עקבית וניתנת לשחזור עבור עומסי עבודה של למידת מכונה (ML) ועומסי עבודה במדעי הנתונים, המאפשרת ניהול תלות ומאובטחת. מיכלי למידה עמוקה של AWS כבר מספקת תמונות Docker מובנות מראש להדרכה והגשה של מודלים במסגרות נפוצות כגון TensorFlow, PyTorch ו-MXNet. כדי לשפר את החוויה הזו, הכרזנו על בטא ציבורית של הפצת הקוד הפתוח של SageMaker ב-2023 JupyterCon. זה מספק חווית ML מאוחדת מקצה לקצה על פני מפתחי ML ברמות שונות של מומחיות. מפתחים כבר לא צריכים לעבור בין מיכלי מסגרת שונים לצורך ניסויים, או כשהם עוברים מסביבות JupyterLab מקומיות ומחברות SageMaker לעבודות ייצור ב- SageMaker. הקוד הפתוח של SageMaker Distribution תומכת בחבילות ובספריות הנפוצות ביותר למדעי נתונים, ML והדמיה, כגון TensorFlow, PyTorch, Scikit-learn, Pandas ו-Matplotlib. אתה יכול להתחיל להשתמש במיכל מה- גלריה ציבורית של אמזון ECR החל מהיום.
בפוסט זה, אנו מראים לך כיצד אתה יכול להשתמש בהפצת הקוד הפתוח של SageMaker כדי להתנסות במהירות בסביבה המקומית שלך ולקדם אותם בקלות למשרות ב- SageMaker.
סקירת פתרונות
לדוגמה שלנו, אנו מציגים הכשרה של מודל סיווג תמונה באמצעות PyTorch. אנו משתמשים ב- KMNIST מערך נתונים זמין באופן ציבורי ב- PyTorch. אנו מאמנים מודל רשת עצבית, בודקים את ביצועי המודל, ולבסוף מדפיסים את האימונים ואובדן הבדיקה. המחברת המלאה עבור דוגמה זו זמינה ב- מאגר דוגמאות של SageMaker Studio Lab. אנחנו מתחילים להתנסות במחשב נייד מקומי באמצעות הפצת הקוד הפתוח, מעבירים אותו ל סטודיו SageMaker של אמזון לשימוש במופע גדול יותר, ולאחר מכן תזמן את המחברת כעבודת מחברת.
תנאים מוקדמים
אתה צריך את התנאים המוקדמים הבאים:
הגדר את הסביבה המקומית שלך
אתה יכול להתחיל להשתמש ישירות בהפצת הקוד הפתוח במחשב הנייד המקומי שלך. כדי להפעיל את JupyterLab, הפעל את הפקודות הבאות בטרמינל שלך:
אתה יכול להחליף ECR_IMAGE_ID
עם כל אחת מתגיות התמונה הזמינות ב- גלריה ציבורית של אמזון ECR, או בחר את latest-gpu
תג אם אתה משתמש במכונה שתומכת ב-GPU.
פקודה זו תפעיל את JupyterLab ותספק כתובת URL בטרמינל, כמו http://127.0.0.1:8888/lab?token=<token>
. העתק את הקישור והזן אותו בדפדפן המועדף עליך כדי להפעיל את JupyterLab.
הגדר את סטודיו
Studio היא סביבת פיתוח משולבת מקצה לקצה (IDE) עבור ML המאפשרת למפתחים ומדעני נתונים לבנות, לאמן, לפרוס ולנטר מודלים של ML בקנה מידה. Studio מספק רשימה נרחבת של תמונות צד ראשון עם מסגרות וחבילות נפוצות, כגון Data Science, TensorFlow, PyTorch ו-Spark. התמונות הללו מקלות על מדעני נתונים להתחיל עם ML פשוט על ידי בחירת מסגרת וסוג מופע לפי בחירתם עבור מחשוב.
כעת תוכל להשתמש בהפצת הקוד הפתוח של SageMaker ב-Studio באמצעות ה-Studio's תביא תמונה משלך תכונה. כדי להוסיף את הפצת הקוד הפתוח לדומיין SageMaker שלך, בצע את השלבים הבאים:
- הוסף את הפצת הקוד הפתוח לחשבון שלך מרשם מיכל אלסטי של אמזון מאגר (Amazon ECR) על ידי הפעלת הפקודות הבאות בטרמינל שלך:
- צור תמונת SageMaker וצרף את התמונה לדומיין Studio:
- במסוף SageMaker, הפעל את Studio על ידי בחירת הדומיין ופרופיל המשתמש הקיים שלך.
- לחלופין, הפעל מחדש את Studio על ידי ביצוע השלבים ב כבה ועדכן את SageMaker Studio.
הורד את המחברת
הורד את המחברת לדוגמה באופן מקומי מה- GitHub ריפו.
פתח את המחברת ב-IDE לבחירתך והוסף תא לתחילת המחברת להתקנה torchsummary
. ה torchsummary
החבילה אינה חלק מההפצה, והתקנת זאת במחברת תבטיח שהמחברת תפעל מקצה לקצה. אנו ממליצים להשתמש conda
or micromamba
לנהל סביבות ותלות. הוסף את התא הבא למחברת ושמור את המחברת:
ניסוי על המחברת המקומית
העלה את המחברת לממשק המשתמש של JupyterLab שהשקת על ידי בחירת סמל ההעלאה כפי שמוצג בצילום המסך הבא.
כאשר הוא נטען, הפעל את ה cv-kmnist.ipynb
מחברת. אתה יכול להתחיל להפעיל את התאים באופן מיידי, מבלי שתצטרך להתקין תלות כלשהי כגון לפיד, matplotlib או ipywidgets.
אם ביצעת את השלבים הקודמים, תוכל לראות שאתה יכול להשתמש בהפצה באופן מקומי מהמחשב הנייד שלך. בשלב הבא, אנו משתמשים באותה הפצה ב-Studio כדי לנצל את התכונות של Studio.
העבר את הניסוי לסטודיו (אופציונלי)
לחלופין, בואו נקדם את הניסוי לסטודיו. אחד היתרונות של Studio הוא שמשאבי המחשוב הבסיסיים הם אלסטיים לחלוטין, כך שתוכל לחייג בקלות את המשאבים הזמינים למעלה או למטה, והשינויים מתרחשים אוטומטית ברקע מבלי להפריע לעבודתך. אם רצית להפעיל את אותה מחברת מקודם על מערך נתונים ומופע מחשוב גדול יותר, תוכל לעבור ל-Studio.
נווט אל ממשק המשתמש של Studio שהשקת קודם לכן ובחר בסמל ההעלאה כדי להעלות את המחברת.
לאחר שתפעיל את המחברת, תתבקש לבחור את התמונה ואת סוג המופע. במפעיל הליבה, בחר sagemaker-runtime
כמו התמונה ו-an ml.t3.medium
דוגמה, ואז בחר בחר.
כעת אתה יכול להפעיל את המחברת מקצה לקצה מבלי להזדקק לשינויים במחברת מסביבת הפיתוח המקומית שלך למחברות Studio!
תזמן את המחברת כעבודה
כשתסיים עם הניסוי שלך, SageMaker מספק אפשרויות מרובות לייצור המחברת שלך, כגון עבודות הדרכה וצינורות SageMaker. אפשרות אחת כזו היא להפעיל ישירות את המחברת עצמה כעבודת מחברת מתוזמנת לא אינטראקטיבית באמצעות משרות מחברת SageMaker. לדוגמה, ייתכן שתרצה לאמן מחדש את המודל שלך מעת לעת, או לקבל מסקנות על נתונים נכנסים מעת לעת ולהפיק דוחות לצריכה על ידי בעלי העניין שלך.
מ-Studio, בחר את סמל עבודת המחברת כדי להפעיל את עבודת המחברת. אם התקנת את התוסף למחשב נייד באופן מקומי על המחשב הנייד שלך, תוכל גם לתזמן את המחברת ישירות מהמחשב הנייד שלך. לִרְאוֹת מדריך להתקנה כדי להגדיר את תוסף משימות המחברת באופן מקומי.
עבודת המחברת משתמשת אוטומטית ב-URI של תמונת ECR של הפצת הקוד הפתוח, כך שתוכל לתזמן את עבודת המחברת ישירות.
בחרו רץ לפי לוח הזמנים, בחרו לוח זמנים, למשל כל שבוע בשבת, ובחרו צור אתה יכול גם לבחור רוץ עכשיו אם תרצה לראות את התוצאות באופן מיידי.
כאשר עבודת המחברת הראשונה הושלמה, תוכל להציג את פלטי המחברת ישירות מממשק המשתמש של סטודיו על ידי בחירה מחברת תחת קבצי פלט.
שיקולים נוספים
בנוסף לשימוש בתמונת ECR הזמינה לציבור ישירות לעומסי עבודה של ML, הפצת הקוד הפתוח מציעה את היתרונות הבאים:
- ה-Dockerfile המשמש לבניית התמונה זמין באופן ציבורי למפתחים כדי לחקור ולבנות תמונות משלהם. אתה יכול גם לרשת תמונה זו בתור תמונת הבסיס ולהתקין את הספריות המותאמות אישית שלך כדי שתהיה לך סביבה ניתנת לשחזור.
- אם אינך רגיל ל-Docker ומעדיף להשתמש בסביבות Conda בסביבת JupyterLab שלך, אנו מספקים
env.out
קובץ עבור כל אחת מהגרסאות שפורסמו. אתה יכול להשתמש בהוראות בקובץ כדי ליצור סביבת Conda משלך שתחקה את אותה סביבה. לדוגמה, עיין בקובץ סביבת המעבד cpu.env.out. - אתה יכול להשתמש בגרסאות ה-GPU של התמונה כדי להפעיל עומסי עבודה תואמים ל-GPU כגון למידה עמוקה ועיבוד תמונה.
לנקות את
השלם את השלבים הבאים כדי לנקות את המשאבים שלך:
- אם תזמנת את המחברת שלך לפעול לפי לוח זמנים, השהה או מחק את לוח הזמנים ב- הגדרות עבודה של מחברת כדי להימנע מתשלום עבור עבודות עתידיות.
- כבה את כל אפליקציות Studio כדי להימנע מתשלום עבור שימוש במחשב שאינו בשימוש. לִרְאוֹת כבה ועדכן את אפליקציות Studio לקבלת הוראות.
- לחלופין, מחק את הדומיין של Studio אם יצרת אחד.
סיכום
שמירה על סביבה ניתנת לשחזור על פני שלבים שונים של מחזור החיים של ML היא אחד האתגרים הגדולים ביותר עבור מדעני ומפתחי נתונים. עם הפצת הקוד הפתוח של SageMaker, אנו מספקים תמונה עם גרסאות תואמות הדדית של מסגרות וחבילות ML הנפוצות ביותר. ההפצה היא גם קוד פתוח, המספקת למפתחים שקיפות בחבילות ובתהליכי בנייה, מה שמקל על התאמה אישית של ההפצה שלהם.
בפוסט זה, הראינו לך כיצד להשתמש בהפצה בסביבה המקומית שלך, בסטודיו וכמיכל לעבודות ההדרכה שלך. תכונה זו נמצאת כעת בגרסת ביטא ציבורית. אנו ממליצים לך לנסות זאת ולשתף את המשוב והבעיות שלך בנושא מאגר GitHub ציבורי!
על המחברים
דורגה סורי הוא אדריכל ML Solutions בצוות Amazon SageMaker Service SA. היא נלהבת להנגיש למידת מכונה לכולם. ב-4 השנים שלה ב-AWS, היא סייעה בהקמת פלטפורמות AI/ML עבור לקוחות ארגוניים. כשהיא לא עובדת, היא אוהבת רכיבה על אופנוע, רומנים מסתוריים וטיולים ארוכים עם האסקי בת ה-5 שלה.
Ketan Vijayvargiya הוא מהנדס פיתוח תוכנה בכיר בשירותי האינטרנט של אמזון (AWS). תחומי המיקוד שלו הם למידת מכונה, מערכות מבוזרות וקוד פתוח. מחוץ לעבודה, הוא אוהב לבלות את זמנו באירוח עצמי וליהנות מהטבע.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- EVM Finance. ממשק מאוחד למימון מבוזר. גישה כאן.
- Quantum Media Group. IR/PR מוגבר. גישה כאן.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- אודות
- נגיש
- לרוחב
- להוסיף
- תוספת
- נוסף
- יתרון
- יתרונות
- AI / ML
- תעשיות
- כְּבָר
- גם
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- אמזון שירותי אינטרנט (AWS)
- an
- ו
- הודיע
- כל
- האפליקציה
- אפליקציות
- ARE
- אזורים
- AS
- At
- לצרף
- באופן אוטומטי
- זמין
- לְהִמָנַע
- AWS
- רקע
- בסיס
- מבוסס
- BE
- ההתחלה
- בטא
- בֵּין
- הגדול ביותר
- דפדפן
- לִבנוֹת
- by
- CAN
- חָתוּל
- תאים
- האתגרים
- שינויים
- בחירה
- בחרו
- בחירה
- מיון
- COM
- Common
- תואם
- להשלים
- לחשב
- תְצוּרָה
- עִקבִי
- קונסול
- צְרִיכָה
- מכולה
- מכולות
- לִיצוֹר
- נוצר
- כיום
- מנהג
- לקוחות
- אישית
- נתונים
- מדע נתונים
- מערכי נתונים
- עמוק
- למידה עמוקה
- בְּרִירַת מֶחדָל
- לפרוס
- לתאר
- מפתחים
- צעצועי התפתחות
- אחר
- ישירות
- מופץ
- מערכות מבוזרות
- הפצה
- סַוָר
- תחום
- עשה
- מטה
- כל אחד
- מוקדם יותר
- קל יותר
- בקלות
- מאפשר
- לעודד
- סוף
- מקצה לקצה
- מהנדס
- לְהַבטִיחַ
- זן
- מִפְעָל
- סביבה
- סביבות
- כל
- כולם
- דוגמה
- דוגמאות
- קיימים
- ניסיון
- לְנַסוֹת
- מומחיות
- לחקור
- יצוא
- הארכה
- נרחב
- מאפיין
- תכונות
- מָשׁוֹב
- שלח
- בסופו של דבר
- ראשון
- להתמקד
- בעקבות
- הבא
- בעד
- מסגרת
- מסגרות
- החל מ-
- מלא
- לגמרי
- עתיד
- ליצור
- לקבל
- GitHub
- GPU
- יש
- יש
- he
- עזר
- לה
- שֶׁלוֹ
- איך
- איך
- HTML
- HTTPS
- ICON
- if
- תמונה
- סיווג תמונות
- תמונות
- מיד
- לשפר
- in
- נכנס
- להתקין
- מותקן
- התקנה
- למשל
- הוראות
- משולב
- אל תוך
- בעיות
- IT
- עצמו
- עבודה
- מקומות תעסוקה
- jpg
- ג'סון
- מעבדה
- מחשב נייד
- גדול יותר
- לשגר
- הושק
- למידה
- מאפשר לי
- רמות
- ספריות
- מעגל החיים
- כמו
- אוהב
- קשר
- רשימה
- מקומי
- באופן מקומי
- התחבר
- ארוך
- עוד
- את
- אוהב
- מכונה
- למידת מכונה
- לעשות
- עשייה
- לנהל
- ניהול
- matplotlib
- יכול
- נודד
- ML
- מודל
- מודלים
- צג
- רוב
- אופנוע
- המהלך
- מספר
- הֲדָדִית
- תעלומה
- שם
- טבע
- צורך
- צורך
- רשת
- רשת עצבית
- חדש
- הבא
- לא
- מחברה
- עַכשָׁיו
- of
- המיוחדות שלנו
- on
- ONE
- לפתוח
- קוד פתוח
- אפשרות
- אפשרויות
- or
- שלנו
- הַחוּצָה
- בחוץ
- שֶׁלוֹ
- חבילה
- חבילות
- דובי פנדה
- חלק
- לוהט
- הפסקה
- משלם
- ביצועים
- מקום
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- הודעה
- לְהַעֲדִיף
- מועדף
- תנאים מוקדמים
- קופונים להדפסה
- פְּרָטִי
- תהליכים
- תהליך
- הפקה
- פּרוֹפִיל
- לקדם
- לספק
- מספק
- מתן
- ציבורי
- בפומבי
- לאור
- דחוף
- פיתון
- פיטורך
- מהירות
- להמליץ
- להחליף
- דוחות לדוגמא
- מאגר
- דרישות
- משאבים
- תוצאות
- הפעלה
- ריצה
- s
- SA
- בעל חכמים
- צינורות SageMaker
- אותו
- יום שבת
- שמור
- סולם
- לוח זמנים
- מתוכנן
- מדע
- מדענים
- סקיקיט-לימוד
- לבטח
- לִרְאוֹת
- לחצני מצוקה לפנסיונרים
- שרות
- שירותים
- הגשה
- סט
- הגדרות
- שיתוף
- היא
- לְהַצִיג
- ראווה
- הראה
- הראה
- פָּשׁוּט
- בפשטות
- So
- תוכנה
- פיתוח תוכנה
- פתרונות
- מָקוֹר
- לעורר
- לבלות
- שלבים
- בעלי עניין
- התחלה
- החל
- החל
- שלב
- צעדים
- סטודיו
- כזה
- תומך
- מתג
- מערכות
- תָג
- לקחת
- נבחרת
- tensorflow
- מסוף
- מבחן
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- אלה
- הֵם
- זֶה
- זמן
- ל
- היום
- לפיד
- רכבת
- הדרכה
- שקיפות
- לנסות
- סוג
- ui
- בְּסִיסִי
- מאוחד
- לא בשימוש
- עדכון
- נטען
- כתובת האתר
- נוֹהָג
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- שימושים
- באמצעות
- גרסה
- לצפיה
- ראיה
- רוצה
- רציתי
- we
- אינטרנט
- שירותי אינטרנט
- שבוע
- מתי
- יצטרך
- עם
- לְלֹא
- תיק עבודות
- עובד
- שנים
- אתה
- זפירנט