מחברות להמחשה באמזון SageMaker JumpStart

אמזון SageMaker JumpStart הוא מרכז למידת מכונה (ML) של SageMaker המספק מודלים מוכשרים וזמינים לציבור עבור מגוון רחב של סוגי בעיות כדי לעזור לך להתחיל עם למידת מכונה.

JumpStart מציעה גם מחברות לדוגמה המשתמשות אמזון SageMaker תכונות כמו אימון מופעים נקודתיים וניסויים במגוון גדול של סוגי מודלים ומקרי שימוש. מחברות לדוגמה אלה מכילות קוד שמראה כיצד ליישם פתרונות ML באמצעות SageMaker ו-JumpStart. ניתן להתאים אותם לצרכים שלך ובכך לזרז את פיתוח האפליקציות.

לאחרונה, הוספנו 10 מחברות חדשות ל-JumpStart in סטודיו SageMaker של אמזון. פוסט זה מתמקד במחברות החדשות הללו. נכון לכתיבת שורות אלה, JumpStart מציעה 56 מחברות, החל משימוש במודלים מתקדמים של עיבוד שפה טבעית (NLP) ועד לתיקון הטיה במערך נתונים בעת אימון מודלים.

10 המחברות החדשות יכולות לעזור לך בדרכים הבאות:

• הם מציעים קוד לדוגמה שתוכל להפעיל כפי שהוא מממשק המשתמש JumpStart בסטודיו ולראות כיצד הקוד עובד
• הם מראים את השימוש בממשקי API שונים של SageMaker ו-JumpStart
• הם מציעים פתרון טכני שתוכל להתאים אישית יותר בהתאם לצרכים שלך

מספר המחברות המוצעות דרך JumpStart גדל על בסיס קבוע ככל שמתווסף מחברות נוספות. מחברות אלו זמינות גם ב GitHub.

סקירה כללית של מחברות

10 המחברות החדשות הן כדלקמן:

• למידה בהקשר עם AlexaTM 20B - מדגים כיצד להשתמש ב-AlexaTM 20B ללמידה תוך-הקשר עם למידה של אפס יריות ומעט יריות בחמש משימות לדוגמה: סיכום טקסט, יצירת שפה טבעית, תרגום מכונה, מענה לשאלות חילוץ והסקת שפה טבעית וסיווג.
• לומד ליניארי הגינות ב- SageMaker - לאחרונה היו חששות לגבי הטיה באלגוריתמי ML כתוצאה מחיקוי דעות קדומות אנושיות קיימות. מחברת זו מיישמת מושגי הגינות כדי להתאים את תחזיות המודל כראוי.
• נהל ניסוי ML באמצעות SageMaker Search - Amazon SageMaker Search מאפשר לך למצוא ולהעריך במהירות את ריצות ההכשרה הרלוונטיות ביותר למודל מתוך מאות ואלפי משרות הדרכה למודל של SageMaker.
• SageMaker מודל נוירוני נושא - SageMaker Neural Topic Model (NTM) הוא אלגוריתם למידה ללא פיקוח המנסה לתאר קבוצה של תצפיות כתערובת של קטגוריות שונות.
• חיזוי עבירות מהירות נהיגה - ניתן להשתמש באלגוריתם SageMaker DeepAR כדי לאמן מודל עבור מספר רחובות בו זמנית, ולחזות הפרות עבור מצלמות רחוב מרובות.
• חיזוי סרטן השד - מחברת זו משתמשת במערך הנתונים לאבחון סרטן השד של UCI כדי לבנות מודל חיזוי של האם תמונת מסת שד מצביעה על גידול שפיר או ממאיר.
• תחזיות אנסמבל ממספר דגמים - על ידי שילוב או ממוצע של תחזיות ממספר מקורות ומודלים, אנו מקבלים בדרך כלל תחזית משופרת. מחברת זו ממחישה מושג זה.
• מסקנות אסינכרוניות של SageMaker - הסקת הסקה אסינכרונית היא אפשרות הסקה חדשה לצרכי הסקה כמעט בזמן אמת. בקשות עשויות להימשך עד 15 דקות לעיבוד והן בגדלים של מטען של עד 1 GB.
• TensorFlow הביאו דגם משלכם - למד כיצד לאמן מודל TensorFlow באופן מקומי ולפרוס אותו ב- SageMaker באמצעות מחברת זו.
• Scikit-למד הביאו דגם משלכם - מחברת זו מראה כיצד להשתמש במודל Scikit-learn מאומן מראש עם הכלי של SageMaker Scikit-learn כדי ליצור במהירות נקודת קצה מתארחת עבור אותו מודל.

תנאים מוקדמים

כדי להשתמש במחברות אלה, ודא שיש לך גישה ל-Studio עם תפקיד ביצוע המאפשר לך להפעיל את הפונקציונליות של SageMaker. הסרטון הקצר למטה יעזור לך לנווט אל מחברות JumpStart.

בסעיפים הבאים, אנו עוברים על כל אחד מ-10 הפתרונות החדשים ונדון בכמה מהפרטים המעניינים שלהם.

למידה בהקשר עם AlexaTM 20B

AlexaTM 20B הוא מודל ריבוי משימות, רב לשוני, בקנה מידה גדול של רצף לרצף (seq2seq), שאומן על תערובת של נתוני סריקה נפוצה (mC4) ו-Wikipedia על פני 12 שפות, תוך שימוש במשימות דה-נוז ומודל שפה סיבתי (CLM). הוא משיג ביצועים מתקדמים במשימות שפות נפוצות בהקשר, כגון סיכום צילום חד-פעמי ותרגום מכונה, ביצועים טובים יותר מדגמי מפענח בלבד כגון GPT3 של Open AI ו-PaLM של גוגל, שגדולים יותר מפי שמונה.

למידה בהקשר, המכונה גם מתבקש, מתייחס לשיטה שבה אתה משתמש במודל NLP במשימה חדשה מבלי שתצטרך לכוונן אותה. מספר דוגמאות למשימות מסופקות למודל רק כחלק מקלט ההסקה, פרדיגמה המכונה למידה בהקשר מועט. במקרים מסוימים, המודל יכול לתפקד היטב ללא נתוני אימון כלל, רק בהינתן הסבר של מה צריך לחזות. זה נקרא למידה בהקשר עם זריקת אפס.

מחברת זו מדגים כיצד לפרוס את AlexaTM 20B דרך ה-API של JumpStart ולהפעיל הסקה. זה גם מדגים כיצד ניתן להשתמש ב-AlexaTM 20B ללמידה תוך-הקשר עם חמש משימות לדוגמה: סיכום טקסט, יצירת שפה טבעית, תרגום מכונה, מענה לשאלות מחלצות והסקת שפה טבעית וסיווג.

המחברת מדגים את הדברים הבאים:

• סיכום טקסט בצילום אחד, יצירת שפה טבעית ותרגום מכונה באמצעות דוגמה אחת לאימון עבור כל אחת מהמשימות הללו
• מענה על שאלות אפס והסקת שפה טבעית בתוספת סיווג באמצעות המודל כפי שהוא, ללא צורך במתן דוגמאות הדרכה כלשהן.

נסה להריץ טקסט משלך מול המודל הזה וראה כיצד הוא מסכם טקסט, מחלץ שאלות ותשובות או מתרגם משפה אחת לאחרת.

לומד לינארי הגינות ב- SageMaker

לאחרונה היו חששות לגבי הטיה באלגוריתמי ML כתוצאה מחיקוי דעות קדומות אנושיות קיימות. כיום, למספר שיטות ML יש השלכות חברתיות חזקות, למשל הן משמשות לניבוי הלוואות בנקאיות, תעריפי ביטוח או פרסום. למרבה הצער, אלגוריתם שלומד מנתונים היסטוריים יירש באופן טבעי הטיות העבר. מחברת זו מציגה כיצד להתגבר על בעיה זו באמצעות SageMaker ואלגוריתמים הוגנים בהקשר של לומדים ליניאריים.

זה מתחיל בהצגת כמה מהמושגים ומהמתמטיקה שמאחורי ההגינות, ואז הוא מוריד נתונים, מאמן מודל, ולבסוף מיישם מושגי הגינות כדי להתאים את תחזיות המודל בצורה מתאימה.

המחברת מדגים את הדברים הבאים:

• הפעלת מודל ליניארי סטנדרטי על מערך הנתונים למבוגרים של UCI.
• מראה חוסר הוגנות בתחזיות המודל
• תיקון נתונים כדי להסיר הטיה
• הדרכה מחדש של הדגם

נסה להריץ נתונים משלך באמצעות קוד לדוגמה זה וגלה אם יש הטיה. לאחר מכן, נסה להסיר הטיה, אם בכלל, במערך הנתונים שלך באמצעות הפונקציות שסופקו במחברת לדוגמה זו.

נהל ניסויים ב-ML באמצעות SageMaker Search

SageMaker Search מאפשר לך למצוא ולהעריך במהירות את ריצות ההכשרה הרלוונטיות ביותר למודל מתוך מאות ואלפי משרות אימון מודל של SageMaker. פיתוח מודל ML דורש ניסוי מתמשך, ניסיון אלגוריתמי למידה חדשים וכוונון היפרפרמטרים, כל זאת תוך התבוננות בהשפעה של שינויים כאלה על ביצועי ודיוק המודל. תרגיל איטרטיבי זה מוביל לרוב לפיצוץ של מאות ניסויי אימון מודלים וגרסאות מודל, ומאט את ההתכנסות והגילוי של מודל מנצח. בנוסף, פיצוץ המידע מקשה מאוד על התחקות אחר השושלת של גרסת מודל - השילוב הייחודי של מערכי נתונים, אלגוריתמים ופרמטרים שרקח את המודל הזה מלכתחילה.

מחברת זו מראה כיצד להשתמש ב-SageMaker Search כדי לארגן, לעקוב, ולהעריך במהירות ובקלות את עבודות הכשרת המודל שלך ב- SageMaker. אתה יכול לחפש על כל המאפיינים המגדירים מאלגוריתם הלמידה בו נעשה שימוש, הגדרות היפרפרמטר, מערכי נתונים של אימון בשימוש ואפילו התגים שהוספת בעבודות ההדרכה של המודל. אתה יכול גם להשוות ולדרג במהירות את ריצות האימון שלך על סמך מדדי הביצועים שלהן, כגון אובדן אימונים ודיוק אימות, ובכך ליצור לוחות הישגים לזיהוי המודלים המנצחים שניתן לפרוס בסביבות ייצור. SageMaker Search יכול לאתר במהירות את השושלת המלאה של גרסת מודל שנפרסה בסביבה חיה, ממש עד מערכי הנתונים המשמשים באימון ובאימות המודל.

המחברת מדגים את הדברים הבאים:

• אימון מודל ליניארי שלוש פעמים
• שימוש ב-SageMaker Search כדי לארגן ולהעריך את הניסויים הללו
• הדמיית התוצאות בטבלת הישגים
• פריסת מודל לנקודת קצה
• מעקב אחר שושלת המודל החל מנקודת הקצה

בפיתוח משלך של מודלים חזויים, ייתכן שאתה מפעיל מספר ניסויים. נסה להשתמש ב-SageMaker Search בניסויים כאלה ותנסה כיצד זה יכול לעזור לך במספר דרכים.

SageMaker מודל נוירוני נושא

SageMaker Neural Topic Model (NTM) הוא אלגוריתם למידה ללא פיקוח המנסה לתאר קבוצה של תצפיות כתערובת של קטגוריות שונות. NTM משמש לרוב לגילוי מספר נושאים שצוין על ידי המשתמש המשותפים למסמכים בתוך קורפוס טקסט. כאן כל תצפית היא מסמך, המאפיינים הם הנוכחות (או ספירת ההתרחשויות) של כל מילה, והקטגוריות הן הנושאים. מכיוון שהשיטה אינה מפוקחת, הנושאים אינם מצוינים מראש ואינם מובטחים שיתאימו לאופן שבו אדם עשוי לסווג מסמכים באופן טבעי. הנושאים נלמדים כהתפלגות הסתברות על פני המילים המופיעות בכל מסמך. כל מסמך, בתורו, מתואר כתערובת של נושאים.

מחברת זו משתמשת באלגוריתם SageMaker NTM כדי לאמן מודל במערך הנתונים של 20NewsGroups. מערך נתונים זה נמצא בשימוש נרחב כמדד דוגמנות נושא.

המחברת מדגים את הדברים הבאים:

• יצירת עבודת הדרכה של SageMaker על מערך נתונים להפקת מודל NTM
• שימוש במודל לביצוע הסקה עם נקודת קצה של SageMaker
• חקר המודל המאומן והצגה של נושאים שנלמדו

אתה יכול בקלות לשנות מחברת זו כך שתפעל על מסמכי הטקסט שלך ולחלק אותם לנושאים שונים.

חזה עבירות מהירות נהיגה

מחברת זו מדגים חיזוי סדרות זמן באמצעות אלגוריתם SageMaker DeepAR על ידי ניתוח מערך ההפרות של מצלמת המהירות של העיר שיקגו. מערך הנתונים מתארח על ידי Data.gov, ומנוהל על ידי מינהל השירותים הכלליים של ארה"ב, Technology Transformation Service.

הפרות אלו נלכדות על ידי מערכות מצלמות וזמינות כדי לשפר את חיי הציבור באמצעות פורטל הנתונים של העיר שיקגו. ניתן להשתמש במערך הנתונים של Speed ​​Camera Violation כדי להבחין בדפוסים בנתונים ולקבל תובנות משמעותיות.

מערך הנתונים מכיל מיקומי מצלמה מרובים וספירות הפרות יומיות. כל ספירת הפרות יומית עבור מצלמה יכולה להיחשב כסדרת זמן נפרדת. אתה יכול להשתמש באלגוריתם SageMaker DeepAR כדי לאמן מודל עבור מספר רחובות בו זמנית, ולחזות הפרות עבור מצלמות רחוב מרובות.

המחברת מדגים את הדברים הבאים:

• אימון אלגוריתם SageMaker DeepAR על מערך הנתונים של סדרת הזמן באמצעות מופעי נקודתיים
• הסקת מסקנות על המודל המאומן לביצוע תחזיות של עבירות תנועה

עם מחברת זו, אתה יכול ללמוד כיצד ניתן לפתור בעיות בסדרות זמן באמצעות אלגוריתם DeepAR ב- SageMaker ולנסות ליישם אותו על מערכי הנתונים של סדרות הזמן שלך.

חיזוי סרטן השד

מחברת זו לוקחת דוגמה לחיזוי סרטן השד באמצעות מערך האבחון של סרטן השד של UCI. הוא משתמש במערך נתונים זה כדי לבנות מודל חיזוי של האם תמונת מסת שד מצביעה על גידול שפיר או ממאיר.

המחברת מדגים את הדברים הבאים:

• הגדרה בסיסית לשימוש ב- SageMaker
• המרת מערכי נתונים לפורמט Protobuf המשמש את האלגוריתמים של SageMaker והעלאה ל שירות אחסון פשוט של אמזון (אמזון S3)
• הכשרת מודל לומד לינארי של SageMaker על מערך הנתונים
• אירוח הדגם המאומן
• ניקוד באמצעות המודל המאומן

אתה יכול לעבור על מחברת זו כדי ללמוד כיצד לפתור בעיה עסקית באמצעות SageMaker, ולהבין את השלבים הכרוכים בהכשרה ואירוח מודל.

תחזיות אנסמבל ממספר דגמים

ביישומים מעשיים של ML על משימות חיזוי, מודל אחד לרוב אינו מספיק. רוב תחרויות החיזוי דורשות בדרך כלל שילוב תחזיות ממספר מקורות כדי לקבל תחזית משופרת. על ידי שילוב או ממוצע של תחזיות ממספר מקורות או מודלים, אנו מקבלים בדרך כלל תחזית משופרת. זה קורה מכיוון שיש אי ודאות ניכרת בבחירת הדגם ואין מודל אמיתי אחד ביישומים פרקטיים רבים. לכן, כדאי לשלב תחזיות ממודלים שונים. בספרות הבייסיאנית, רעיון זה מכונה ממוצע מודל בייסיאני, והוכח כי הוא עובד הרבה יותר מאשר רק בחירת דגם אחד.

מחברת זו מציגה דוגמה להמחשה לניבוי אם אדם מרוויח מעל 50,000 דולר בשנה על סמך מידע על השכלתו, ניסיון העבודה, המין ועוד.

המחברת מדגים את הדברים הבאים:

• הכנת מחברת SageMaker שלך
• טעינת מערך נתונים מאמזון S3 באמצעות SageMaker
• חקירה והפיכת הנתונים כך שניתן יהיה להזין אותם לאלגוריתם של SageMaker
• הערכת מודל באמצעות אלגוריתם SageMaker XGBoost (Extreme Gradient Boosting)
• אירוח הדגם ב- SageMaker כדי לבצע תחזיות מתמשכות
• הערכת מודל שני בשיטת הלומד הליניארי של SageMaker
• שילוב התחזיות משני המודלים והערכת התחזית המשולבת
• הפקת תחזיות סופיות במערך הנתונים של הבדיקה

נסה להפעיל מחברת זו על מערך הנתונים שלך ולהשתמש באלגוריתמים מרובים. נסה להתנסות בשילובים שונים של דגמים המוצעים על ידי SageMaker ו-JumpStart וראה איזה שילוב של הרכבת מודלים נותן את התוצאות הטובות ביותר על הנתונים שלך.

מסקנות אסינכרוניות של SageMaker

הסקה אסינכרונית של SageMaker היא יכולת חדשה ב- SageMaker שמעמידה בתור בקשות נכנסות ומעבדת אותן באופן אסינכרוני. SageMaker מציעה כיום שתי אפשרויות הסקת מסקנות עבור לקוחות לפריסת מודלים של ML: אפשרות בזמן אמת לעומסי עבודה עם אחזור נמוך, ו-batch transformation, אפשרות לא מקוונת לעיבוד בקשות הסקת מסקנות על אצווה של נתונים הזמינים מראש. הסקת מסקנות בזמן אמת מתאימה לעומסי עבודה עם גדלי עומס של פחות מ-6 מגה-בייט ודורשת עיבוד של בקשות הסקה תוך 60 שניות. טרנספורמציה אצווה מתאימה להסקה לא מקוונת על קבוצות נתונים.

הסקת הסקה אסינכרונית היא אפשרות הסקה חדשה לצרכי הסקה כמעט בזמן אמת. בקשות עשויות להימשך עד 15 דקות לעיבוד והן בגדלים של מטען של עד 1 GB. הסקה אסינכרונית מתאימה לעומסי עבודה שאין להם דרישות חביון תת-שניות ויש להם דרישות חביון רגועות. לדוגמה, ייתכן שיהיה עליך לעבד הסקה על תמונה גדולה של מספר MBs בתוך 5 דקות. בנוסף, נקודות קצה אסינכרוניות מאפשרות לך לשלוט בעלויות על ידי הקטנת ספירת מופעי נקודות הקצה לאפס כשהן לא פעילות, כך שאתה משלם רק כאשר נקודות הקצה שלך מעבדות בקשות.

המחברת מדגים את הדברים הבאים:

• יצירת דגם SageMaker
• יצירת נקודת קצה באמצעות מודל זה ותצורת הסקה אסינכרונית
• ביצוע תחזיות נגד נקודת קצה אסינכרונית זו

מחברת זו מציגה לך דוגמה עובדת להרכבת נקודת קצה אסינכרונית עבור דגם SageMaker.

TensorFlow הביאו דגם משלכם

מודל TensorFlow מאומן באופן מקומי במשימת סיווג שבה מחברת זו מופעלת. לאחר מכן הוא נפרס על נקודת קצה של SageMaker.

המחברת מדגים את הדברים הבאים:

• הכשרת מודל TensorFlow באופן מקומי על מערך הנתונים של IRIS
• מייבא את הדגם הזה לתוך SageMaker
• מארח אותו בנקודת קצה

אם יש לך דגמי TensorFlow שפיתחת בעצמך, מחברת לדוגמה זו יכולה לעזור לך לארח את הדגם שלך בנקודת קצה מנוהלת של SageMaker.

Scikit-למד הביאו דגם משלכם

SageMaker כולל פונקציונליות לתמיכה בסביבת מחברת מתארחת, הדרכה מבוזרת ללא שרת ואירוח בזמן אמת. זה עובד הכי טוב כאשר כל שלושת השירותים הללו משמשים יחד, אך ניתן להשתמש בהם גם באופן עצמאי. מקרי שימוש מסוימים עשויים לדרוש רק אירוח. אולי הדגם הוכשר לפני ש- SageMaker קיים, בשירות אחר.

המחברת מדגים את הדברים הבאים:

• שימוש במודל Scikit-learn מאומן מראש עם הכלי של SageMaker Scikit-learn כדי ליצור במהירות נקודת קצה מתארחת עבור מודל זה

אם יש לך מודלים של Scikit-learn שפיתחת בעצמך, מחברת לדוגמה זו יכולה לעזור לך לארח את המודל שלך בנקודת קצה מנוהלת של SageMaker.

לנקות משאבים

לאחר שתסיים להפעיל מחברת ב-JumpStart, הקפד לעשות זאת מחק את כל המשאבים כך שכל המשאבים שיצרת בתהליך יימחקו והחיוב שלך יופסק. התא האחרון במחברות אלה מוחק בדרך כלל נקודות קצה שנוצרות.

<br> סיכום

פוסט זה הוביל אותך דרך 10 מחברות לדוגמה חדשות שנוספו לאחרונה ל-JumpStart. למרות שפוסט זה התמקד ב-10 המחברות החדשות הללו, ישנן בסך הכל 56 מחברות זמינות נכון לכתיבת שורות אלו. אנו ממליצים לכם להיכנס לסטודיו ולחקור בעצמכם את מחברות JumpStart ולהתחיל להפיק מהם ערך מיידי. למידע נוסף, עיין ב סטודיו SageMaker של אמזון ו SageMaker JumpStart.

---

על המחבר

ד"ר ראג'ו פנמאצ'ה הוא אדריכל פתרונות AI/ML מומחה בפלטפורמות AI ב-AWS. הוא קיבל את הדוקטורט שלו מאוניברסיטת סטנפורד. הוא עובד בשיתוף פעולה הדוק על שירותי חבילת חבילות נמוכות/ללא קוד ב- SageMaker המסייעות ללקוחות לבנות ולפרוס בקלות מודלים ופתרונות למידת מכונה.