להגיע לנתונים ברמה ייצור מהר יותר על ידי שימוש בממשקים מובנים חדשים עם Amazon SageMaker Ground Truth Plus

הושק ב-AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus עוזר לך ליצור מערכי הדרכה באיכות גבוהה על ידי הסרת ההרמה הכבדה הבלתי מובחנת הקשורה לבניית יישומי תיוג נתונים וניהול כוח העבודה לתיוג. כל מה שאתה עושה הוא לשתף נתונים יחד עם דרישות תיוג, ו-Ground Truth Plus מגדיר ומנהל את זרימת העבודה שלך לתיוג הנתונים על סמך דרישות אלה. משם, צוות עובדים מומחה שמאומן במגוון משימות למידת מכונה (ML) מסמן את הנתונים שלך. אתה אפילו לא צריך מומחיות עמוקה ב-ML או ידע בתכנון זרימת עבודה וניהול איכות כדי להשתמש ב-Ground Truth Plus.

היום, אנו נרגשים להכריז על השקת ממשקים מובנים חדשים ב-Ground Truth Plus. עם היכולת החדשה הזו, מספר משתמשי Ground Truth Plus יכולים כעת ליצור חדש פּרוֹיֶקט ו קְבוּצָה, שתף נתונים וקבל נתונים באמצעות אותו חשבון AWS באמצעות ממשקי שירות עצמי. זה מאפשר לך להאיץ את הפיתוח של מערכי הדרכה באיכות גבוהה על ידי צמצום זמן הקמת הפרויקט. בנוסף, אתה יכול לשלוט בגישה דקיקה לנתונים שלך על ידי בדיקת היקף שלך AWS זהות וניהול גישה (IAM) הרשאות תפקיד שיתאימו לרמה האישית שלך של שירות אחסון פשוט של אמזון גישה (Amazon S3), ותמיד יש לך אפשרות לבטל גישה לדליים מסוימים.

עד עכשיו, היית צריך לפנות למנהל תוכנית התפעול שלך ב-Ground Truth Plus (OPM) כדי ליצור תיוג נתונים חדש פרויקטים ו קבוצות. לתהליך הזה היו כמה הגבלות מכיוון שהוא אפשר רק למשתמש אחד לבקש פרויקט ואצווה חדשים - אם משתמשים מרובים בתוך הארגון השתמשו באותו חשבון AWS, אז רק משתמש אחד יכול לבקש פרויקט ואצווה חדשה של תיוג נתונים באמצעות Ground Truth Plus לְנַחֵם. בנוסף, התהליך יצר עיכובים מלאכותיים בהתחלת תהליך התיוג עקב מספר נקודות מגע ידניות ופתרון בעיות הנדרשים במקרה של בעיות. בנפרד, כל הפרויקטים השתמשו באותו תפקיד IAM לגישה לנתונים. לכן, כדי להפעיל פרויקטים ואצוות שהצריכו גישה למקורות נתונים שונים כמו דליים שונים של Amazon S3, היית צריך להסתמך על Ground Truth Plus OPM שלך כדי לספק מדיניות S3 ספציפית לחשבון שלך, שהיית צריך להחיל באופן ידני על דלי S3 שלך. כל המבצע הזה היה אינטנסיבי באופן ידני והביא להוצאות תקורה תפעוליות.

פוסט זה מנחה אותך בשלבים ליצירת פרויקט ואצווה חדשים, שיתוף נתונים וקבלת נתונים באמצעות ממשקי השירות העצמי החדשים כדי להתחיל ביעילות את תהליך התיוג. הפוסט הזה מניח שאתה מכיר את Ground Truth Plus. למידע נוסף, ראה Amazon SageMaker Ground Truth Plus - צור מערכי נתונים של הדרכה ללא קוד או משאבים פנימיים.

סקירת פתרונות

אנו מדגימים כיצד לבצע את הפעולות הבאות:

• עדכון פרויקטים קיימים
• בקש פרויקט חדש
• להקים צוות פרויקט
• צור אצווה

תנאים מוקדמים

לפני שתתחיל, ודא שיש לך את התנאים המוקדמים הבאים:

• An חשבון AWS
• משתמש IAM עם גישה ליצירת תפקידי IAM
• השמיים Amazon S3 URI של הדלי שבו מאוחסנים חפצי התיוג שלך

עדכון פרויקטים קיימים

אם יש לך פרויקט Ground Truth Plus לפני ההשקה (9 בדצמבר 2022) של התכונות החדשות המתוארות בפוסט זה, עליך ליצור ולשתף תפקיד של IAM כדי שתוכל להשתמש בתכונות אלה עם פרויקט Ground Truth Plus הקיים שלך . אם אתה משתמש חדש ב-Ground Truth Plus, אתה יכול לדלג על סעיף זה.

כדי ליצור תפקיד IAM, בצע את השלבים הבאים:

1. במסוף IAM בחר צור תפקיד.
2. בחר מדיניות אמון מותאמת אישית.
3. ציין את יחסי האמון הבאים עבור התפקיד:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. בחרו הַבָּא.
5. בחרו צור מדיניות.
6. בכרטיסייה JSON, ציין את המדיניות הבאה. עדכן את המאפיין Resource על ידי ציון שני ערכים עבור כל דלי: אחד עם הדלי ARN בלבד, ואחר עם הדלי ARN ואחריו /*. למשל, להחליף עם arn:aws:s3:::my-bucket/myprefix/ ו /* עם arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. בחרו הבא: תגיות ו הבא: סקירה.
8. הזן את שם המדיניות ותיאור אופציונלי.
9. בחרו צור מדיניות.
10. סגור כרטיסייה זו וחזור לכרטיסייה הקודמת כדי ליצור את התפקיד שלך.

בכרטיסייה הוסף הרשאות, אתה אמור לראות את המדיניות החדשה שיצרת (רענן את הדף אם אינך רואה אותה).

11. בחר את המדיניות החדשה שנוצרה ובחר הַבָּא.
12. הזן שם (לדוגמה, GTPlusExecutionRole) ובאופן אופציונלי תיאור של התפקיד.
13. בחרו צור תפקיד.
14. ספק את התפקיד ARN ל-Ground Truth Plus OPM שלך, אשר לאחר מכן יעדכן את הפרויקט הקיים שלך בתפקיד החדש שנוצר.

בקש פרויקט חדש

כדי לבקש פרויקט חדש, בצע את השלבים הבאים:

1. על קונסולת Ground Truth Plus, לנווט אל פרויקטים סָעִיף.

זה המקום שבו כל הפרויקטים שלך מפורטים.

2. בחרו בקש פרויקט.

השמיים בקש פרויקט הדף הוא ההזדמנות שלך לספק פרטים שיעזרו לנו לקבוע שיחת ייעוץ ראשונית ולהגדיר את הפרויקט שלך.

3. בנוסף לציון מידע כללי כמו שם הפרויקט והתיאור, עליך לציין את סוג המשימה של הפרויקט והאם הוא מכיל מידע אישי מזהה (PII).

כדי לתייג את הנתונים שלך, Ground Truth Plus זקוק לגישה זמנית לנתונים הגולמיים שלך בדלי S3. לאחר השלמת תהליך התיוג, Ground Truth Plus מספק את פלט התיוג בחזרה לדלי ה-S3 שלך. זה נעשה באמצעות תפקיד IAM. אתה יכול ליצור תפקיד חדש, או שאתה יכול לנווט למסוף IAM כדי ליצור תפקיד חדש (עיין בסעיף הקודם להוראות).

4. אם תבחר ליצור תפקיד, בחר הזן תפקיד IAM מותאם אישית ARN והכנס לתפקיד IAM שלך ARN, שהוא בפורמט של arn:aws:iam:::role/.
5. כדי להשתמש בכלי המובנה, בתפריט הנפתח מתחת תפקיד IAM, בחר צור תפקיד חדש.
6. ציין את מיקום הדלי של נתוני התיוג שלך. אם אינך יודע את המיקום של נתוני התוויות שלך או אם אין לך נתוני תיוג שהועלו, בחר כל דלי S3, אשר יעניק ל-Ground Truth Plus גישה לכל הדליים של חשבונך.
7. בחרו צור ליצור את התפקיד.

תפקיד IAM שלך יאפשר Ground Truth Plus, מזוהה כ sagemaker-ground-truth-plus.amazonaws.com בתפקיד מדיניות אמון, כדי להפעיל את הפעולות הבאות על דלי S3 שלך:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. בחרו בקש פרויקט להשלמת הבקשה.

A Ground Truth Plus OPM יקבע איתך שיחת ייעוץ ראשונית כדי לדון בדרישות ובתמחור של פרויקט תיוג הנתונים שלך.

להקים צוות פרויקט

לאחר שתבקש פרויקט, עליך ליצור צוות פרויקט כדי להיכנס לפורטל הפרויקט שלך. צוות פרויקט מספק גישה לחברים מהארגון או הצוות שלך כדי לעקוב אחר פרויקטים, להציג מדדים ולבדוק תוויות. אתה יכול להשתמש באפשרות הזמן חברים חדשים במייל or יבא חברים מקיימים אמזון קוגניטו קבוצות משתמשים. בפוסט זה, אנו מראים כיצד לייבא חברים מקיימים אמזון קוגניטו קבוצות משתמשים כדי להוסיף משתמשים לצוות הפרויקט שלך.

1. על קונסולת Ground Truth Plus, לנווט אל קבוצת פרוייקט סָעִיף.
2. בחרו יצירת צוות פרויקט.
3. בחרו ייבא חברים מקבוצות משתמשים קיימות של Amazon Cognito.
4. בחר מאגר משתמשים של Amazon Cognito.

מאגרי משתמשים דורשים דומיין וקבוצת משתמשים קיימת.

5. בחר לקוח אפליקציה.

אנו ממליצים להשתמש בלקוח שנוצר על ידי אמזון SageMaker.

6. בחר קבוצת משתמשים מהמאגר שלך כדי לייבא חברים.
7. בחרו יצירת צוות פרויקט.
   

תוכל להוסיף עוד חברי צוות לאחר יצירת צוות הפרויקט על ידי בחירה הזמן חברים חדשים על להרשם/להתחבר עמוד של קונסולת Ground Truth Plus.

צור אצווה

לאחר שהגשת בהצלחה את בקשת הפרויקט ויצרת צוות פרויקט, תוכל לגשת לפורטל הפרויקט Ground Truth Plus על ידי לחיצה פתח את פורטל הפרויקט בקונסולת Ground Truth Plus.

ניתן להשתמש בפורטל הפרוייקט ליצירת אצוות לפרוייקט, אך רק לאחר שסטטוס הפרוייקט השתנה ל Request approved.

1. הצג את הפרטים והאצווה של הפרויקט על ידי בחירת שם הפרויקט.
   נפתח עמוד בשם הפרויקט.
2. ב אצוותים סעיף, בחר צור אצווה.
   
3. הזן שם אצווה ותיאור אופציונלי.
4. הזן את מיקומי S3 של מערכי הקלט והפלט.

כדי להבטיח שהאצווה נוצרת בהצלחה, עליך לעמוד בדרישות הבאות:

4. • הדלי והקידומת S3 צריכים להיות קיימים, ומספר הקבצים הכולל צריך להיות גדול מ-0
   • המספר הכולל של אובייקטים צריך להיות פחות מ-10,000
   • הגודל של כל אובייקט צריך להיות פחות מ-2 GB
   • הגודל הכולל של כל האובייקטים המשולבים הוא פחות מ-100 GB
   • לתפקיד IAM שסופק ליצירת פרויקט יש הרשאה לגשת לקובצי דלי הקלט, דלי הפלט וקבצי S3 המשמשים ליצירת האצווה
   • אין להצפין את הקבצים מתחת למיקום S3 שסופק עבור מערכי הנתונים הקלט שירות ניהול מפתח AWS (AWS KMS)
5. בחרו חפש.

סטטוס האצווה שלך יוצג כ Request submitted. לאחר של-Ground Truth Plus תהיה גישה זמנית לנתונים שלך, מומחי AWS יקימו זרימות עבודה של תיוג נתונים ויפעילו אותם בשמך, מה שישנה את סטטוס האצווה ל In-progress. כשהתיוג הושלם, סטטוס האצווה משתנה מ In-progress ל Ready for review. אם ברצונך לסקור את התוויות שלך לפני קבלת התוויות, בחר סקירת אצווה. משם, יש לך אפשרות לבחור קבל אצווה כדי לקבל את הנתונים המסומנים שלך.

סיכום

פוסט זה הראה לכם כיצד מספר משתמשי Ground Truth Plus יכולים כעת ליצור פרויקט חדש ואצווה, לשתף נתונים ולקבל נתונים באמצעות אותו חשבון AWS באמצעות ממשקים חדשים לשירות עצמי. יכולת חדשה זו מאפשרת לך להתחיל את פרויקטי התיוג שלך מהר יותר ומפחיתה את התקורה התפעולית. כמו כן, הדגמנו כיצד תוכל לשלוט בגישה דקיקה לנתונים על ידי הגדרת הרשאות תפקיד IAM שלך כך שיתאימו לרמת הגישה האישית שלך.

אנו ממליצים לך לנסות את הפונקציונליות החדשה הזו, ולהתחבר ל- קהילת למידת מכונה ובינה מלאכותית אם יש לך שאלות או משוב!

על המחברים

מאניש גואל הוא מנהל המוצר של Amazon SageMaker Ground Truth Plus. הוא מתמקד בבניית מוצרים שמקלים על לקוחות לאמץ למידת מכונה. בזמנו הפנוי הוא נהנה מנסיעות דרכים וקריאת ספרים.

קרתיק גנדורי הוא מהנדס פיתוח תוכנה באמזון AWS, שם הוא עובד על בניית כלי ML ללקוחות ופתרונות פנימיים. מחוץ לעבודה, הוא נהנה ללחוץ על תמונות.  

ז'ולינג באי הוא מהנדס פיתוח תוכנה באמזון AWS. היא עובדת על פיתוח מערכות מבוזרות בקנה מידה גדול לפתרון בעיות למידת מכונה.

עאטף ברנסי הוא מהנדס Frontend באמזון AWS. הוא כותב תוכנה מהירה, אמינה ובדוקה ביסודיות כדי לטפח ולהצמיח את יישומי הבינה המלאכותית החדישים ביותר בתעשייה.

מוחמד עדנאן הוא מהנדס בכיר ל-AI ו-ML ב-AWS. הוא היה חלק מהשקות רבות של שירותי AWS, בעיקר Amazon Lookout for Metrics ו-AWS Panorama. נכון לעכשיו, הוא מתמקד בהצעות אנושיות של AWS (AWS SageMaker's Ground truth, Ground truth plus ו-Augmented AI). הוא תומך קוד נקי ומומחה לנושאים בארכיטקטורה נטולת שרתים ומונעת אירועים. אתה יכול לעקוב אחריו בלינקדאין, mohammad-adnan-6a99a829.