תיוג מסכת פילוח בכמה קליקים באמזון SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus הוא שירות תיוג נתונים מנוהל המקל על תיוג נתונים עבור יישומי למידת מכונה (ML). מקרה שימוש נפוץ אחד הוא סגמנטציה סמנטית, שהיא טכניקת ML ראיית מחשב הכוללת הקצאת תוויות מחלקות לפיקסלים בודדים בתמונה. לדוגמה, במסגרות וידאו שצולמו על ידי רכב בתנועה, תוויות מחלקות יכולות לכלול כלי רכב, הולכי רגל, כבישים, אותות תנועה, מבנים או רקע. הוא מספק הבנה מדויקת של מיקומם של עצמים שונים בתמונה ומשמש לעתים קרובות לבניית מערכות תפיסה עבור כלי רכב אוטונומיים או רובוטיקה. כדי לבנות מודל ML לפילוח סמנטי, תחילה יש צורך לתייג נפח גדול של נתונים ברמת הפיקסלים. תהליך תיוג זה מורכב. זה דורש מתויגים מיומנים וזמן משמעותי - חלק מהתמונות עשויות להימשך עד שעתיים או יותר לתיוג מדויק!

ב2019, שחררנו כלי תיוג אינטראקטיבי המופעל על ידי ML ​​בשם Auto-segment for Ground Truth המאפשר לך ליצור במהירות ובקלות מסכות פילוח איכותיות. למידע נוסף, ראה כלי פילוח אוטומטי. תכונה זו פועלת בכך שהיא מאפשרת לך ללחוץ על ה"נקודות הקיצוניות" העליונה, השמאלית, התחתונה והימנית ביותר על אובייקט. מודל ML הפועל ברקע יבלע את קלט המשתמש הזה ויחזיר מסכת פילוח איכותית שמוצגת מיד בכלי התווית Ground Truth. עם זאת, תכונה זו מאפשרת לך לבצע ארבע קליקים בלבד. במקרים מסוימים, המסכה שנוצרה ב-ML עלולה לפספס בטעות חלקים מסוימים בתמונה, כגון סביב גבול האובייקט שבו הקצוות אינם ברורים או היכן שצבע, רוויה או צללים משתלבים בסביבה.

לחיצה נקודתית קיצונית עם מספר גמיש של לחיצות מתקנות

כעת שיפרנו את הכלי כדי לאפשר לחיצות נוספות של נקודות גבול, מה שמספק משוב בזמן אמת למודל ה-ML. זה מאפשר לך ליצור מסכת פילוח מדויקת יותר. בדוגמה הבאה, תוצאת הפילוח הראשונית אינה מדויקת בגלל הגבולות החלשים ליד הצל. חשוב לציין, הכלי הזה פועל במצב המאפשר משוב בזמן אמת - הוא לא מחייב אותך לציין את כל הנקודות בבת אחת. במקום זאת, תחילה תוכל לבצע ארבע לחיצות עכבר, אשר יפעילו את מודל ה-ML לייצר מסכת פילוח. לאחר מכן תוכל לבדוק את המסכה הזו, לאתר אי דיוקים פוטנציאליים, ולאחר מכן לבצע קליקים נוספים לפי הצורך כדי "לדחוף" את המודל לתוצאה הנכונה.

כלי התיוג הקודם שלנו איפשר לך לבצע ארבע לחיצות עכבר בדיוק (נקודות אדומות). תוצאת הפילוח הראשונית (אזור אדום מוצל) אינה מדויקת בגלל הגבולות החלשים ליד הצל (למטה משמאל של המסכה האדומה).

בעזרת כלי התיוג המשופר שלנו, המשתמש שוב מבצע תחילה ארבע לחיצות עכבר (נקודות אדומות באיור העליון). אז יש לך הזדמנות לבדוק את מסכת הפילוח שהתקבלה (אזור אדום מוצל באיור העליון). ניתן לבצע לחיצות עכבר נוספות (נקודות ירוקות באיור התחתונה) כדי לגרום לדגם לחדד את המסכה (אזור אדום מוצל באיור התחתונה).

בהשוואה לגרסה המקורית של הכלי, הגרסה המשופרת מספקת תוצאה משופרת כאשר חפצים ניתנים לעיוות, לא קמור ומשתנים בצורה ומראה.

הדמינו את הביצועים של הכלי המשופר הזה על נתוני דוגמה על ידי הפעלת הכלי הבסיסי (עם ארבע לחיצות קיצוניות בלבד) כדי ליצור מסכת פילוח והערכנו את ממוצע ה-Intersection over Union (mIoU), מדד נפוץ של דיוק עבור מסכות פילוח. לאחר מכן הפעלנו סימולציות של קליקים מתקינים והערכנו את השיפור ב-mIoU לאחר כל קליק מדומה. הטבלה הבאה מסכמת את התוצאות הללו. השורה הראשונה מציגה את ה-mIoU, והשורה השנייה מציגה את השגיאה (שנתונה ב-100% פחות ה-mIoU). עם רק חמש לחיצות עכבר נוספות, נוכל להפחית את השגיאה ב-9% עבור משימה זו!

.	.	מספר קליקים לתיקון	.
.	Baseline	1	2	3	4	5
MIOU	72.72	76.56	77.62	78.89	80.57	81.73
שְׁגִיאָה	27%	23%	22%	21%	19%	18%

אינטגרציה עם Ground Truth ופרופיל ביצועים

כדי לשלב מודל זה עם Ground Truth, אנו עוקבים אחר דפוס ארכיטקטורה סטנדרטי כפי שמוצג בתרשים הבא. ראשית, אנו בונים את מודל ה-ML לתוך תמונת Docker ופורסים אותו מרשם מיכל אלסטי של אמזון (Amazon ECR), רישום קונטיינר של Docker מנוהל במלואו המקל על אחסון, שיתוף ופריסה של תמונות קונטיינר. משתמש ב ערכת הכלים של SageMaker Inference בבניית תמונת Docker מאפשרת לנו להשתמש בקלות בשיטות עבודה מומלצות להגשת מודלים ולהשיג מסקנות עם זמן אחזור נמוך. לאחר מכן אנו יוצרים אמזון SageMaker נקודת קצה בזמן אמת לארח את הדגם. אנו מציגים א AWS למבדה לתפקד כפרוקסי מול נקודת הקצה של SageMaker כדי להציע סוגים שונים של טרנספורמציה של נתונים. לבסוף, אנו משתמשים שער API של אמזון כדרך לשילוב עם הקצה הקדמי שלנו, אפליקציית התווית Ground Truth, כדי לספק אימות מאובטח לחלק האחורי שלנו.

אתה יכול לעקוב אחר הדפוס הגנרי הזה עבור מקרי שימוש משלך עבור כלי ML שנבנו ייעודיים וכדי לשלב אותם עם ממשקי משימות Ground Truth מותאמים אישית. למידע נוסף, עיין ב בנה זרימת עבודה מותאמת אישית לתוויות באמצעות אמזון SageMaker Ground Truth.

לאחר הקצאת ארכיטקטורה זו ופריסה של המודל שלנו באמצעות ה ערכת פיתוח ענן AWS (AWS CDK), הערכנו את מאפייני ההשהיה של המודל שלנו עם סוגי מופעים שונים של SageMaker. זה מאוד פשוט לביצוע מכיוון שאנו משתמשים בנקודות קצה של מסקנות בזמן אמת של SageMaker כדי לשרת את המודל שלנו. נקודות הקצה של SageMaker בזמן אמת משתלבות בצורה חלקה עם אמזון CloudWatch ולפלוט מדדים כמו ניצול זיכרון והשהיית מודל ללא הגדרה נדרשת (ראה מדדי הזמנת נקודת קצה של SageMaker לפרטים נוספים).

באיור הבא, אנו מציגים את המדד ModelLatency הנפלט באופן מקורי על ידי נקודות קצה של מסקנות בזמן אמת של SageMaker. אנו יכולים להשתמש בקלות בפונקציות מתמטיות מטריות שונות ב-CloudWatch כדי להציג אחוזי חביון, כגון זמן השהייה של p50 או p90.

הטבלה הבאה מסכמת את התוצאות הללו עבור כלי ההקלקה הקיצוני המשופר שלנו לפילוח סמנטי עבור שלושה סוגי מופעים: p2.xlarge, p3.2xlarge ו-g4dn.xlarge. למרות שמופע p3.2xlarge מספק את ההשהיה הנמוכה ביותר, מופע g4dn.xlarge מספק את יחס העלות לביצועים הטוב ביותר. מופע g4dn.xlarge איטי רק ב-8% (35 אלפיות שניות) מהמופע p3.2xlarge, אך הוא זול ב-81% על בסיס שעתי מאשר ה-p3.2xlarge (ראה תמחור SageMaker של אמזון לפרטים נוספים על סוגי מופעים ותמחור של SageMaker).

	סוג מופע SageMaker	חביון p90 (ms)
1	p2.xlarge	751
2	p3.2xlarge	424
3	g4dn.xlarge	459

סיכום

בפוסט זה, הצגנו הרחבה לתכונת הפלח האוטומטי של Ground Truth עבור משימות הערות של פילוח סמנטי. בעוד שהגרסה המקורית של הכלי מאפשרת לך לבצע בדיוק ארבע לחיצות עכבר, מה שמפעיל מודל לספק מסכת פילוח איכותית, התוסף מאפשר לך לבצע קליקים מתקינים ובכך לעדכן ולהנחות את מודל ה-ML לביצוע תחזיות טובות יותר. הצגנו גם דפוס ארכיטקטוני בסיסי שבו אתה יכול להשתמש כדי לפרוס ולשלב כלים אינטראקטיביים בממשקי התיוג של Ground Truth. לבסוף, סיכמנו את זמן האחזור של המודל, והראינו כיצד השימוש בנקודות קצה של SageMaker בזמן אמת מקל על ניטור ביצועי המודל.

למידע נוסף על האופן שבו כלי זה יכול להפחית את עלויות התוויות ולהגדיל את הדיוק, בקר תיוג נתונים של Amazon SageMaker להתחיל פגישת ייעוץ עוד היום.

---

על המחברים

ג'ונתן באק הוא מהנדס תוכנה בחברת Amazon Web Services העובד בצומת של למידת מכונה ומערכות מבוזרות. עבודתו כוללת ייצור מודלים של למידת מכונה ופיתוח יישומי תוכנה חדשים המופעלים על ידי למידת מכונה כדי להעביר את היכולות העדכניות ביותר לידי הלקוחות.

לי ארן לי הוא מנהל המדע היישומי ב-humain-in-the-loop services, AWS AI, Amazon. תחומי העניין שלו במחקר הם למידה עמוקה בתלת מימד, ולמידת חזון וייצוג שפה. בעבר הוא היה מדען בכיר ב-Alexa AI, ראש תחום למידת מכונה ב-Scale AI והמדען הראשי ב-Pony.ai. לפני כן, הוא היה עם צוות התפיסה של Uber ATG וצוות פלטפורמת למידת המכונה ב-Uber ועבד על למידת מכונה לנהיגה אוטונומית, מערכות למידת מכונה ויוזמות אסטרטגיות של AI. הוא התחיל את הקריירה שלו ב-Bell Labs והיה פרופסור עזר באוניברסיטת קולומביה. הוא לימד מדריכים ב-ICML'3 ו-ICCV'17, וארגן כמה סדנאות ב-NurIPS, ICML, CVPR, ICCV בנושא למידת מכונה לנהיגה אוטונומית, ראייה תלת-ממדית ורובוטיקה, מערכות למידת מכונה ולמידת מכונה אדוורסרית. יש לו דוקטורט במדעי המחשב באוניברסיטת קורנל. הוא עמית ACM ועמית IEEE.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/