מגמות טכנולוגיות והתקדמות במדיה הדיגיטלית בעשור האחרון לערך הביאו להתרבות של נתונים מבוססי טקסט. היתרונות הפוטנציאליים של כריית טקסט זה כדי להפיק תובנות, טקטיות ואסטרטגיות, הן עצומות. זה נקרא עיבוד שפה טבעית (NLP). אתה יכול להשתמש ב-NLP, למשל, כדי לנתח את סקירות המוצרים שלך עבור סנטימנטים של לקוחות, להכשיר מודל זיהוי ישויות מותאם אישית כדי לזהות סוגי מוצרים של עניין בהתבסס על הערות לקוחות, או לאמן מודל סיווג טקסט מותאם אישית כדי לקבוע את קטגוריות המוצרים הפופולריות ביותר.
אמזון להתבונן הוא שירות NLP עם מודיעין מוכן לחילוץ תובנות לגבי תוכן המסמכים. הוא מפתח תובנות על ידי זיהוי הישויות, ביטויי המפתח, השפה, הרגשות ומרכיבים נפוצים אחרים במסמך. Amazon Comprehend Custom משתמשת למידת מכונה אוטומטית (Auto ML) כדי לבנות מודלים של NLP בשמך באמצעות הנתונים שלך. זה מאפשר לך לזהות ישויות ייחודיות לעסק שלך או לסווג טקסט או מסמכים לפי הדרישות שלך. בנוסף, אתה יכול להפוך את כל זרימת העבודה שלך ל-NLP עם ממשקי API קלים לשימוש.
היום אנו שמחים להכריז על השקת תכונת העתקת המודל המותאם אישית של Amazon Comprehend, המאפשרת לך להעתיק אוטומטית את המודלים המותאמים אישית של Amazon Comprehend מחשבון מקור לחשבונות יעד ייעודיים באותו אזור מבלי לדרוש גישה למערכי הנתונים של המודל. הוכשר והוערך על. החל מהיום, אתה יכול להשתמש ב- קונסולת הניהול של AWS, ממשק שורת הפקודה של AWS (AWS CLI), או ה ממשקי API של boto3 (Python SDK עבור AWS) כדי להעתיק מודלים מותאמים אישית מאומנים מחשבון מקור לחשבון יעד ייעודי. תכונה חדשה זו זמינה הן עבור סיווג מותאם אישית של Amazon Comprehend והן עבור מודלים מותאמים אישית של זיהוי ישויות.
היתרונות של תכונת העתקת הדגם
לתכונה החדשה הזו יש את היתרונות הבאים:
- אסטרטגיית MLOps מרובה חשבונות - אימון מודל פעם אחת והבטח פריסה צפויה במספר סביבות בחשבונות שונים.
- פריסה מהירה יותר - אתה יכול להעתיק במהירות מודל מאומן בין חשבונות, תוך הימנעות מהזמן שלוקח להכשיר מחדש בכל חשבון.
- הגן על מערכי נתונים רגישים - כעת אינך צריך יותר לשתף את מערכי הנתונים בין חשבונות או משתמשים שונים. נתוני האימון צריכים להיות זמינים רק בחשבון שבו מתבצעת ההדרכה. זה חשוב מאוד עבור תעשיות מסוימות כמו שירותים פיננסיים, שבהם בידוד נתונים וארגזי חול חיוניים כדי לעמוד בדרישות הרגולטוריות.
- שיתוף פעולה קל – שותפים או ספקים יכולים כעת להתאמן בקלות ב-Amazon Comprehend Custom ולשתף את הדגמים עם הלקוחות שלהם.
איך עותק דגם עובד
עם תכונת העתקת המודל החדשה, אתה יכול להעתיק מודלים מותאמים אישית בין חשבונות AWS באותו אזור בתהליך דו-שלבי. ראשית, משתמש בחשבון AWS אחד (חשבון A), חולק מודל מותאם אישית שנמצא בחשבון שלו. לאחר מכן, משתמש בחשבון AWS אחר (חשבון ב') מייבא את המודל לחשבון שלו.
שתף דגם
כדי לשתף מודל מותאם אישית בחשבון A, המשתמש מצרף AWS זהות וניהול גישה (IAM) מדיניות מבוססת משאבים לגרסת דגם. מדיניות זו מאפשרת לישות בחשבון B, כגון משתמש או תפקיד של IAM, לייבא את גרסת הדגם לתוך Amazon Comprehend בחשבון ה-AWS שלהם. אתה יכול להגדיר מדיניות מבוססת משאבים דרך המסוף או עם ה-Amazon Comprehend המותאם אישית PutResourcePolicy
ה-API.
ייבוא דגם
כדי לייבא את המודל לחשבון B, המשתמש בחשבון זה מספק ל-Amazon Comprehend את הפרטים הדרושים, כגון שם המשאב של אמזון (ARN) של המודל. כאשר הם מייבאים את המודל, משתמש זה יוצר מודל מותאם אישית חדש בחשבון ה-AWS שלו, המשכפל את המודל שהוא ייבא. מודל זה מאומן במלואו ומוכן לעבודות מסקנות, כגון סיווג מסמכים או זיהוי ישויות. אם הדגם מוצפן באמצעות an שירות ניהול מפתח AWS מפתח (AWS KMS) במקור, ולאחר מכן לתפקיד השירות שצוין בעת ייבוא המודל צריך להיות גישה למפתח KMS כדי לפענח את המודל במהלך הייבוא. חשבון היעד יכול גם לציין מפתח KMS כדי להצפין את המודל במהלך הייבוא. הייבוא של הדגם המשותף זמין גם בקונסולה וגם כ-API.
סקירת פתרונות
כדי להדגים את הפונקציונליות של תכונת העתקת המודל, אנו מראים לך כיצד לאמן, לשתף ולייבא מודל זיהוי ישות מותאם אישית של Amazon Comprehend באמצעות קונסולת Amazon Comprehend ו-AWS CLI. להדגמה זו אנו משתמשים בשני חשבונות שונים. השלבים חלים גם על סיווג מותאם אישית של Amazon Comprehend. השלבים הנדרשים הם כדלקמן:
- אימון מודל זיהוי ישויות מותאם אישית של Amazon Comprehend בחשבון המקור.
- הגדר את מדיניות המשאבים של IAM עבור המודל המאומן כדי לאפשר גישה חוצת חשבונות.
- העתק את המודל המאומן מחשבון המקור לחשבון היעד.
- בדוק את המודל שהועתק באמצעות עבודת אצווה.
אימון מודל זיהוי ישויות מותאם אישית של Amazon Comprehend בחשבון המקור
הצעד הראשון הוא להכשיר מודל זיהוי ישויות מותאם אישית של Amazon Comprehend בחשבון המקור. בתור מערך נתונים לאימון, אנו משתמשים ב-CSV רשימת ישויות ו מסמכי הדרכה לזיהוי הצעות שירותי AWS במסמך נתון. ודא שרשימת הישויות ומסמכי ההדרכה נמצאים ב- שירות אחסון פשוט של אמזון (Amazon S3) דלי בחשבון המקור. להנחיות, ראה הוספת מסמכים לאמזון S3.
צור תפקיד IAM עבור Amazon Comprehend ולספק גישה נדרשת לדלי S3 עם נתוני ההדרכה. שימו לב לנתיבי הדלי של ARN ו-S3 לשימוש בשלבים מאוחרים יותר.
אימון דגם עם AWS CLI
צור מזהה ישויות באמצעות פקודת AWS CLI הבאה. החלף את הפרמטרים שלך בנתיבי S3, תפקיד IAM ואזור. התגובה מחזירה את EntityRecognizerArn
.
ניתן לעקוב אחר מצב משרת ההדרכה על ידי קריאה לזיהוי הישות ובדיקת הסטטוס בתגובה.
אימון דגם דרך הקונסולה
כדי לאמן דגם דרך הקונסולה, בצע את השלבים הבאים:
- בקונסולת ה- Comprehend של אמזון, תחת התאמה אישית, צור מודל חדש לזיהוי ישויות מותאם אישית.
- ספק שם דגם וגרסה.
- בעד שפה, בחר אנגליג'.
- בעד סוג ישות מותאם אישית, להוסיף
AWS_OFFERING
.
כדי להכשיר מודל זיהוי ישויות מותאם אישית, אתה יכול לבחור באחת משתי דרכים לספק נתונים ל-Amazon Comprehend: הערות or רשימות ישויות. למען הפשטות, השתמש בשיטת רשימת הישויות.
- בעד פורמט נתונים, בחר קובץ CSV.
- בעד סוג אימונים, בחר באמצעות רשימת ישויות ומסמכי הדרכה.
- ספק את נתיבי המיקום של S3 עבור רשימת הישויות CSV ונתוני הדרכה.
- כדי להעניק הרשאות ל-Amazon Comprehend לגשת לדלי S3 שלך, צור תפקיד מקושר לשירות IAM.
ב מדיניות מבוססת משאבים בסעיף, תוכל לאשר גישה לגרסת הדגם. החשבונות שאתה מעניק להם גישה יכולים לייבא את המודל הזה לחשבון שלהם. אנו מדלגים על שלב זה לעת עתה ומוסיפים את המדיניות לאחר הדרכה של המודל ואנו מרוצים מביצועי הדגם.
- בחרו צור.
זה שולח את מזהה הישות המותאם אישית שלך, שעובר על מספר דגמים, מכוון את הפרמטרים ההיפר, ובודק אימות צולב כדי לוודא שהמודל שלך חזק. כל אלה הן אותן פעילויות שמבצעים מדעני נתונים.
הגדר את מדיניות המשאבים של IAM עבור המודל המאומן כדי לאפשר גישה חוצת חשבונות
כאשר נהיה מרוצים מביצועי האימון, נוכל להמשיך ולשתף את גרסת הדגם הספציפית על ידי הוספת מדיניות משאבים.
הוסף מדיניות מבוססת משאבים מה-AWS CLI
אישור ייבוא המודל מחשבון היעד על ידי הוספת מדיניות משאבים על המודל, כפי שמוצג בקוד הבא. ניתן להגדיר את המדיניות באופן הדוק לגרסת דגם מסוימת ולמנהל היעד. החלף את מזהה הישות המיומן שלך ARN וחשבון היעד כדי לספק גישה אליו.
הוסף מדיניות מבוססת משאבים דרך המסוף
לאחר השלמת ההדרכה, נוצרת גרסת מודל זיהוי ישות מותאמת אישית. אנו יכולים לבחור את הדגם המאומן ואת הגרסה לצפייה בפרטי האימון, כולל ביצועי הדגם המאומן.
כדי לעדכן את המדיניות, בצע את השלבים הבאים:
- על תגים, VPC ומדיניות בכרטיסייה, ערוך את המדיניות המבוססת על משאבים.
- ספק את שם המדיניות, מנהל שירות Amazon Comprehend (
comprehend.amazonaws.com
), מזהה חשבון יעד ומשתמשי IAM בחשבון היעד המורשים לייבא את גרסת הדגם.
אנו מציינים root
כישות IAM לאשר את כל המשתמשים בחשבון היעד.
העתק את המודל המאומן מחשבון המקור לחשבון היעד
כעת המודל מאומן ומשותף מחשבון המקור. משתמש חשבון היעד המורשה יכול לייבא את המודל וליצור עותק של המודל בחשבון שלו.
כדי לייבא מודל, עליך לציין את מודל המקור ARN ואת תפקיד השירות עבור Amazon Comprehend כדי לבצע את פעולת ההעתקה בחשבונך. אתה יכול לציין מזהה AWS KMS אופציונלי כדי להצפין את המודל בחשבון היעד שלך.
ייבא את הדגם דרך AWS CLI
כדי לייבא את הדגם שלך עם AWS CLI, הזן את הקוד הבא:
ייבא את הדגם דרך הקונסולה
כדי לייבא את הדגם דרך המסוף, בצע את השלבים הבאים:
- בקונסולת ה- Comprehend של אמזון, תחת זיהוי ישויות מותאמות אישית, בחר גרסת ייבוא.
- בעד גרסת דגם ARN, הזן את ה-ARN עבור המודל שהוכשר בחשבון המקור.
- הזן שם דגם וגרסה עבור היעד.
- ספק תפקיד של חשבון שירות ובחר לאשר כדי להתחיל את תהליך ייבוא המודל.
לאחר שמצב הדגם משתנה ל Imported
, נוכל להציג את פרטי הדגם, כולל פרטי הביצועים של הדגם המאומן.
בדוק את המודל שהועתק באמצעות עבודת אצווה
אנו בודקים את המודל המועתק בחשבון היעד על ידי זיהוי ישויות מותאמות אישית עם עבודת אצווה. כדי לבדוק את הדגם, הורד את ה קובץ בדיקה והנח אותו בדלי S3 בחשבון היעד שלך. צור תפקיד IAM עבור Amazon Comprehend וספק את הגישה הנדרשת לדלי S3 עם נתוני הבדיקה. אתה משתמש בנתיבי דלי התפקיד ARN ו-S3 שציינת קודם לכן.
לאחר השלמת העבודה, תוכל לאמת את נתוני ההסקה בדלי הפלט שצוין S3.
בדוק את הדגם עם AWS CLI
כדי לבדוק את המודל באמצעות AWS CLI, הזן את הקוד הבא:
בדוק את הדגם דרך הקונסולה
כדי לבדוק את הדגם דרך המסוף, בצע את השלבים הבאים:
- במסוף Comprehend של אמזון, בחר עבודות ניתוח ולבחור צור עבודה.
- בעד שם, הזן שם למשרה.
- בעד סוג ניתוחבחר זיהוי ישויות מותאמות אישית.
- בחר את שם הדגם והגרסה של הדגם המיובא.
- ספק את נתיבים S3 עבור קובץ הבדיקה עבור העבודה ואת מיקום הפלט שבו Amazon Comprehend מאחסנת את התוצאה.
- בחר או צור תפקיד IAM עם הרשאה לגשת לדלי S3.
- בחרו צור עבודה.
כאשר עבודת הניתוח שלך תושלם, יש לך קבצי JSON בנתיב דלי הפלט S3, אותם תוכל להוריד כדי לאמת את תוצאות זיהוי הישות מהמודל המיובא.
סיכום
בפוסט זה, הדגמנו את תכונת ההעתקה של מודל הישות המותאם אישית של Amazon Comprehend. תכונה זו נותנת לך את היכולת להכשיר מודל זיהוי או סיווג מותאם אישית של ישות Amazon Comprehend בחשבון אחד ולאחר מכן לשתף את המודל עם חשבון אחר באותו אזור. זה מפשט את האסטרטגיה מרובת החשבונות שבה ניתן לאמן את המודל פעם אחת ולחלוק אותו בין חשבונות באותו אזור מבלי צורך להכשיר מחדש או לשתף את מערכי ההדרכה. זה מאפשר פריסה צפויה בכל חשבון כחלק מזרימת העבודה של MLOps. למידע נוסף, עיין בתיעוד שלנו בנושא הבן עותק מותאם אישית, או נסה את ההליכה בפוסט זה באמצעות הקונסולה או באמצעות מעטפת ענן עם AWS CLI.
נכון לכתיבת שורות אלה, תכונת העתקת הדגם ב- Amazon Comprehend זמינה באזורים הבאים:
- מזרח ארה"ב (אוהיו)
- מזרח ארה"ב (נ. וירג'יניה)
- מערב ארצות הברית (אורגון)
- אסיה פסיפיק (מומביי)
- אסיה פסיפיק (סיאול)
- אסיה פסיפיק (סינגפור)
- אסיה פסיפיק (סידני)
- אסיה פסיפיק (טוקיו)
- האיחוד האירופי (פרנקפורט)
- האיחוד האירופי (אירלנד)
- האיחוד האירופי (לונדון)
- AWS GovCloud (ארה"ב-מערב)
נסה את התכונה, ובבקשה שלח לנו משוב דרך ה- פורום AWS עבור Amazon Comprehend או דרך אנשי הקשר הרגילים שלך לתמיכה ב-AWS.
על הכותבים
Premkumar Rangarajan הוא ארכיטקט פתרונות AI/ML ב-Amazon Web Services וחיבר בעבר את הספר Natural Language Processing with AWS AI Services. יש לו ניסיון של 26 שנים בתעשיית ה-IT במגוון תפקידים, כולל מוביל מסירה, מומחה אינטגרציה וארכיטקט ארגוני. הוא עוזר לארגונים מכל הגדלים לאמץ AI ו-ML כדי לפתור את האתגרים האמיתיים שלהם.
צ'ת'ן קרישנה הוא אדריכל פתרונות שותפים בכיר בהודו. הוא עובד עם שותפי AWS אסטרטגיים לביסוס יכולת ענן חזקה, אימוץ שיטות עבודה מומלצות של AWS ופתרון אתגרי לקוחות. הוא בונה ונהנה להתנסות עם AI/ML, IoT ואנליטיקה.
Sriharsha MS הוא ארכיטקט פתרונות מומחה בינה מלאכותית/ML בצוות המומחים האסטרטגיים של Amazon Web Services. הוא עובד עם לקוחות AWS אסטרטגיים המנצלים את ה-AI/ML כדי לפתור בעיות עסקיות מורכבות. הוא מספק הדרכה טכנית וייעוץ עיצובי להטמעת יישומי AI/ML בקנה מידה. המומחיות שלו משתרעת על ארכיטקטורת יישומים, ביג-דאטה, אנליטיקה ולמידת מכונה.
- "
- &
- 100
- 9
- אודות
- גישה
- חֶשְׁבּוֹן
- פעולה
- פעילויות
- התקדמות
- יתרון
- עצה
- AI
- שירותי AI
- תעשיות
- אמזון בעברית
- אמזון שירותי אינטרנט
- אנליזה
- ניתוח
- להכריז
- מכריז
- אחר
- API
- ממשקי API
- ישים
- בקשה
- יישומים
- ארכיטקטורה
- המכונית
- זמין
- AWS
- הטבות
- הטוב ביותר
- שיטות עבודה מומלצות
- גבול
- לִבנוֹת
- בונה
- עסקים
- האתגרים
- בדיקה
- בדיקות
- מיון
- ענן
- קוד
- הערות
- Common
- מורכב
- קונסול
- תוכן
- לקוחות
- נתונים
- עָשׂוֹר
- מסירה
- פריסה
- עיצוב
- אחר
- דיגיטלי
- מסמכים
- בקלות
- השפעה
- עֲנָקִי
- מִפְעָל
- חיוני
- דוגמה
- ניסיון
- מומחיות
- מאפיין
- מָשׁוֹב
- כספי
- שירותים פיננסיים
- ראשון
- הבא
- פונקציונלי
- שמח
- יש
- עוזר
- איך
- איך
- HTTPS
- לזהות
- זהות
- ליישם
- חשוב
- יבוא
- כולל
- הודו
- תעשיות
- תעשייה
- מידע
- תובנות
- השתלבות
- מוֹדִיעִין
- אינטרס
- IOT
- אירלנד
- בדידות
- IT
- עבודה
- מקומות תעסוקה
- מפתח
- שפה
- לשגר
- עוֹפֶרֶת
- למידה
- קו
- רשימה
- מיקום
- לונדון
- מכונה
- למידת מכונה
- ניהול
- מדיה
- כרייה
- ML
- מודל
- מודלים
- רוב
- הכי פופולארי
- מומבאי
- טבעי
- הצעות
- אוהיו
- להזמין
- אורגון
- אחר
- פסיפיק
- שותף
- שותפים
- ביצועים
- ביטויים
- מדיניות
- פופולרי
- מנהל
- בעיות
- תהליך
- המוצר
- לספק
- מספק
- מהירות
- רגולטורים
- נדרש
- דרישות
- משאב
- תגובה
- תוצאות
- החזרות
- חוות דעת של לקוחותינו
- סולם
- מדענים
- Sdk
- סיאול
- שרות
- שירותים
- שיתוף
- משותף
- שיתופים
- פָּגָז
- פָּשׁוּט
- סינגפור
- So
- פתרונות
- לפתור
- התחלה
- הצהרה
- מצב
- אחסון
- חנויות
- אסטרטגי
- אִסטרָטֶגִיָה
- תמיכה
- סידני
- יעד
- נבחרת
- טכני
- מבחן
- המקור
- דרך
- זמן
- היום
- טוקיו
- הדרכה
- מגמות
- ייחודי
- עדכון
- us
- להשתמש
- משתמשים
- ספקים
- לצפיה
- וירג'יניה
- אינטרנט
- שירותי אינטרנט
- מערב
- מי
- בתוך
- לְלֹא
- עובד
- כתיבה
- שנים