ראייה ממוחשבת באמצעות מערכי נתונים סינתטיים עם התוויות מותאמות אישית של Amazon Rekognition ו-Dassault Systems 3DEXCITE

זהו פוסט שנכתב בשיתוף עם ברנרד פאקס, CTO של Storm Reply, וקארל הרקט, אסטרטג בכיר ב-Dassault Systèmes 3DExcite.

בעוד שראייה ממוחשבת יכולה להיות חיונית עבור תחזוקה תעשייתית, ייצור, לוגיסטיקה ויישומי צרכנים, האימוץ שלה מוגבל על ידי יצירה ידנית של מערכי הדרכה. היצירה של תמונות מתויגות בהקשר תעשייתי נעשית בעיקר באופן ידני, מה שיוצר יכולות זיהוי מוגבלות, לא משתנה, ומביא לעלויות עבודה ועיכובים במימוש הערך העסקי. זה נוגד את הזריזות העסקית שמספקת איטרציות מהירות בעיצוב המוצר, הנדסת המוצר ותצורת המוצר. תהליך זה אינו מתאים למוצרים מורכבים כגון מכוניות, מטוסים או מבנים מודרניים, מכיוון שבתרחישים אלו כל פרויקט תיוג הוא ייחודי (קשור למוצרים ייחודיים). כתוצאה מכך, טכנולוגיית ראייה ממוחשבת לא ניתנת ליישום בקלות על פרויקטים ייחודיים בקנה מידה גדול ללא מאמץ גדול בהכנת נתונים, ולעתים מגבילים את אספקת מקרה השימוש.

בפוסט זה, אנו מציגים גישה חדשה שבה נוצרות מערכות ראייה ממוחשבת מיוחדות מקובצי עיצוב ו-CAD. אנו מתחילים ביצירת תאומים דיגיטליים נכונים ויזואלית ויצירת תמונות עם תווית סינתטית. ואז אנחנו דוחפים את התמונות האלה תוויות מותאמות אישית של Amazon Rekognition לאמן מודל זיהוי אובייקטים מותאם אישית. על ידי שימוש בקניין רוחני קיים עם תוכנה, אנו הופכים את הראייה הממוחשבת למשתלמת ורלוונטית למגוון הקשרים תעשייתיים.

ההתאמה האישית של מערכות זיהוי עוזרת להניע תוצאות עסקיות

למערכות ראייה ממוחשבת מיוחדות המיוצרות מתאומים דיגיטליים יש יתרונות ספציפיים, אותם ניתן להמחיש במקרים הבאים:

• מעקב אחר מוצרים ייחודיים - איירבוס, בואינג ויצרניות מטוסים אחרות מעניקות ייחודיות מספרים סידוריים של יצרן (MSN) לכל מטוס שהם מייצרים. זה מנוהל לאורך כל תהליך הייצור, על מנת לייצר תיעוד כשירות אוויר ולקבל אישורי טיסה. א תאום דיגיטלי (מודל תלת מימד וירטואלי המייצג מוצר פיזי) ניתן להפיק מהתצורה של כל MSN, ומייצר מערכת ראייה ממוחשבת מבוזרת העוקבת אחר התקדמות ה-MSN הזה על פני מתקנים תעשייתיים. זיהוי מותאם אישית ממכן את השקיפות הניתנת לחברות תעופה, ומחליף את רוב המחסומים המבוצעים באופן ידני על ידי חברות התעופה. אבטחת איכות אוטומטית על מוצרים ייחודיים יכולה לחול על מטוסים, מכוניות, מבנים ואפילו ייצורי מלאכה.
• מציאות רבודה בהקשר - מערכות ראייה ממוחשבת ברמה מקצועית יכולות להסתכל על נופים מוגבלים, אך עם יכולות אפליה גבוהות יותר. למשל, בתחזוקה תעשייתית, מציאת מברג בתמונה היא חסרת תועלת; עליך לזהות את דגם המברג או אפילו את המספר הסידורי שלו. בהקשרים מוגבלים כאלה, מערכות זיהוי מותאמות אישית עולות על מערכות זיהוי גנריות מכיוון שהן רלוונטיות יותר בממצאיהן. מערכות זיהוי מותאמות אישית מאפשרות לולאות משוב מדויקות באמצעות מציאות רבודה ייעודית נמסר ב-HMI או במכשירים ניידים.
• בקרת איכות מקצה לקצה - עם הנדסת מערכת, ניתן ליצור תאומים דיגיטליים של מבנים חלקיים, ולייצר מערכות ראייה ממוחשבת המותאמות לשלבים השונים של תהליכי ייצור וייצור. ניתן לשלב בקרות חזותיות עם תחנות עבודה בייצור, מה שמאפשר בדיקה מקצה לקצה וזיהוי מוקדם של פגמים. זיהוי מותאם אישית לבדיקה מקצה לקצה מונעת ביעילות את דליפת הפגמים אל פסי הייצור. הפחתת שיעור הדחייה ומקסום תפוקת הייצור היא המטרה הסופית.
• בדיקת איכות גמישה - בדיקת איכות מודרנית צריכה להתאים לשינויים בעיצוב ולייצור גמיש. שינויים בעיצוב נובעים מלולאות משוב על השימוש במוצר ותחזוקת המוצר. ייצור גמיש מהווה יכולת מפתח לאסטרטגיית ביצוע לפי הזמנה, ומתיישרת עם עקרון הייצור הרזה של אופטימיזציית עלויות. על ידי שילוב וריאציות עיצוב ואפשרויות תצורה בתאומים דיגיטליים, זיהוי מותאם אישית מאפשר התאמה דינמית של מערכות ראייה ממוחשבת לתוכניות הייצור ולווריאציות העיצוביות.

שפר את הראייה הממוחשבת עם Dassault Systèmes 3DEXCITE המופעל על ידי Amazon Rekognition

בתוך דאסו סיסטמס, חברה בעלת מומחיות עמוקה בתאומים דיגיטליים שהיא גם עורך התוכנה השני בגודלו באירופה, צוות 3DEXCITE בוחן דרך אחרת. כפי שהסביר קרל הרקט, "מה אם מודל עצבי שאומן מתמונות סינתטיות יוכל לזהות מוצר פיזי?" 3DEXCITE פתרו בעיה זו על ידי שילוב הטכנולוגיה שלהם עם תשתית ה-AWS, מה שהוכיח את היתכנותה של גישה מוזרה זו. זה ידוע גם בשם זיהוי אובייקטים בין תחומים, שבו מודל הזיהוי לומד מתמונות מסומנות מתחום המקור (תמונות סינתטיות) ומבצע תחזיות לתחום היעד הלא מסומן (רכיבים פיזיים).

דאסו סיסטמס 3DEXCITE וצוות AWS Prototyping איחדו כוחות כדי לבנות מערכת הדגמה המזהה חלקים מתיבת הילוכים תעשייתית. אב טיפוס זה נבנה תוך 3 שבועות, והדגם המאומן השיג ציון F98 של 1%. מודל הזיהוי הוכשר כולו מצינור תוכנה, שאינו כולל תמונות של חלק אמיתי. מקבצי עיצוב ו-CAD של תיבת הילוכים תעשייתית, 3DEXCITE יצרה תאומים דיגיטליים נכונים ויזואלית. הם גם יצרו אלפי תמונות מתויגות סינתטיות מהתאומים הדיגיטליים. לאחר מכן הם השתמשו ב-Rekognition Custom Labels כדי להכשיר מודל עצבי מיוחד מאוד מהתמונות הללו וסיפקו ממשק API לזיהוי קשור. הם בנו אתר כדי לאפשר זיהוי מכל מצלמת אינטרנט של חלק פיזי אחד בתיבת ההילוכים.

אמזון הוא שירות AI המשתמש בטכנולוגיית למידה עמוקה כדי לאפשר לך לחלץ מטא נתונים משמעותיים מתמונות וסרטונים - כולל זיהוי אובייקטים, אנשים, טקסט, סצנות, פעילויות ותוכן שעלול להיות בלתי הולם - ללא צורך במומחיות למידת מכונה (ML). Amazon Rekognition מספקת גם יכולות ניתוח פנים וחיפוש פנים מדויקות ביותר שבהן אתה יכול להשתמש כדי לזהות, לנתח ולהשוות פנים למגוון רחב של אימות משתמשים, ספירת אנשים ומקרי שימוש בטיחותיים. לבסוף, עם תוויות מותאמות אישית של Rekognition, אתה יכול להשתמש בנתונים שלך כדי לבנות מודלים של זיהוי אובייקטים וסיווג תמונות.

השילוב של טכנולוגיית Dassault Systèmes ליצירת תמונות מתויגות סינתטיות עם תוויות מותאמות אישית של Rekognition לראייה ממוחשבת מספקת זרימת עבודה ניתנת להרחבה עבור מערכות זיהוי. קלות השימוש היא גורם חיובי משמעותי כאן, מכיוון שהוספת תוויות מותאמות אישית של Rekognition לצינור התוכנה הכולל אינה קשה - זה פשוט כמו שילוב API בזרימת עבודה. אין צורך להיות מדען ML; פשוט שלח פריימים שנלכדו ל-AWS וקבל תוצאה שתוכל להזין למסד נתונים או להציג בדפדפן אינטרנט.

זה מדגיש עוד יותר את השיפור הדרמטי בהשוואה ליצירה ידנית של מערכי נתונים להדרכה. אתה יכול להשיג תוצאות טובות יותר מהר יותר ובדיוק רב יותר, ללא צורך בשעות עבודה יקרות ומיותרות. עם כל כך הרבה מקרי שימוש פוטנציאליים, לשילוב של Dassault Systems ו-Rekognition Custom Labels יש פוטנציאל לספק לעסקים של היום החזר ROI משמעותי ומיידי.

סקירת פתרונות

הצעד הראשון בפתרון זה הוא עיבוד התמונות שיוצרות את מערך ההדרכה. זה נעשה על ידי פלטפורמת 3DEXCITE. אנו יכולים ליצור את נתוני התיוג באופן פרוגרמטי באמצעות סקריפטים. האמת של אמזון SageMaker מספק כלי הערות לתיוג בקלות תמונות וסרטונים עבור משימות סיווג וזיהוי אובייקטים. כדי להכשיר מודל ב-Amazon Rekognition, קובץ התיוג צריך להתאים לפורמט Ground Truth. התוויות הללו נמצאות ב-JSON, כולל מידע כגון גודל תמונה, קואורדינטות של תיבה תוחמת ומזהי מחלקה.

לאחר מכן העלה את התמונות הסינתטיות ואת המניפסט אל שירות אחסון פשוט של אמזון (Amazon S3), כאשר תוויות מותאמות אישית של זיהוי יכולות לייבא אותן כרכיבים של מערך ההדרכה.

כדי לאפשר ל-Rekognition Custom Labels לבדוק את הדגמים לעומת קבוצה של תמונות רכיבים אמיתיים, אנו מספקים סט תמונות של חלקי המנוע האמיתיים שצולמו עם מצלמה ומעלים אותם לאמזון S3 כדי להשתמש בהם כמערך הנתונים לבדיקה.

לבסוף, Rekognition Custom Labels מאמן את מודל זיהוי האובייקטים הטוב ביותר באמצעות מערך האימון הסינתטי ומערכת הבדיקה המורכבת מתמונות של אובייקטים אמיתיים, ויוצרת את נקודת הקצה עם המודל שאנו יכולים להשתמש בו להפעלת זיהוי אובייקטים באפליקציה שלנו.

התרשים הבא ממחיש את זרימת העבודה של הפתרון שלנו:

צור תמונות סינתטיות

התמונות הסינתטיות נוצרות מפלטפורמת 3Dexperience, שהיא תוצר של דאסו סיסטמס. פלטפורמה זו מאפשרת לך ליצור ולעבד תמונות פוטוריאליסטיות על בסיס קובץ ה-CAD (עיצוב בעזרת מחשב) של האובייקט. אנו יכולים ליצור אלפי גרסאות תוך שעות ספורות על ידי שינוי תצורות שינוי התמונה בפלטפורמה.

באב-טיפוס זה, בחרנו את חמשת חלקי תיבת ההילוכים הבאים ויזואלית לזיהוי אובייקטים. הם כוללים בית גיר, יחס העברה, כיסוי מיסבים, אוגן וציוד תולעת.

השתמשנו בשיטות הגדלת הנתונים הבאות כדי להגדיל את מגוון התמונות, ולהפוך את הנתונים הסינתטיים ליותר פוטו-ריאליסטיים. זה עוזר להפחית את שגיאת ההכללה של המודל.

• זום פנימה / החוצה - שיטה זו מגדילה או מקטינה את האובייקט בתמונות באופן אקראי.
• רוטציה – שיטה זו מסובבת את האובייקט בתמונות, ונראה כאילו מצלמה וירטואלית מצלמת תמונות אקראיות של האובייקט מזוויות של 360 מעלות.
• שפר את המראה והתחושה של החומר – זיהינו שעבור חלקי ציוד מסוימים המראה של החומר פחות מציאותי בעיבוד הראשוני. הוספנו אפקט מתכתי לשיפור התמונות הסינתטיות.
• השתמש בהגדרות תאורה שונות - באב טיפוס זה, דימיינו שני תנאי תאורה:
  • מחסן - פיזור אור מציאותי. צללים והשתקפויות אפשריים.
  • סטודיו - אור הומוגני מוצב סביב האובייקט. זה לא ריאלי אבל אין צללים או השתקפויות.
• השתמש במיקום מציאותי של האופן שבו האובייקט נראה בזמן אמת - בחיים האמיתיים, חפצים מסוימים, כגון אוגן ומכסה מיסבים, מונחים בדרך כלל על משטח, והמודל מזהה את העצמים על סמך ההיבטים העליונים והתחתונים. לכן, הסרנו את תמונות האימון המציגות את הקצה הדק של החלקים, הנקרא גם מיקום הקצה, והגדלנו את התמונות של עצמים במיקום שטוח.
• הוסף מספר אובייקטים בתמונה אחת - בתרחישים אמיתיים, חלקי ציוד מרובים יכולים להופיע כולם בתצוגה אחת, אז הכנו תמונות המכילות מספר חלקי ציוד.

בפלטפורמת 3Dexperience, נוכל להחיל רקעים שונים על התמונות, מה שיכול לעזור להגדיל את גיוון התמונות עוד יותר. עקב מגבלת זמן, לא יישמנו זאת באב טיפוס זה.

ייבא את מערך ההדרכה הסינתטי

ב-ML, נתונים מסומנים פירושם שנתוני האימון מסומנים כדי להציג את היעד, שזו התשובה שאתה רוצה שמודל ה-ML שלך יחזה. הנתונים המסומנים שניתן לצרוך על ידי תוויות מותאמות אישית של Rekognition צריכים לעמוד בדרישות קובץ המניפסט של Ground Truth. קובץ מניפסט עשוי משורה אחת או יותר של JSON; כל שורה מכילה את המידע עבור תמונה בודדת. עבור נתוני אימון סינתטיים, ניתן להפיק את מידע התיוג באופן פרוגרמטי על סמך קובץ ה-CAD ותצורות שינוי התמונה שהזכרנו קודם לכן, מה שחוסך מאמץ ידני משמעותי של עבודת תיוג. למידע נוסף על הדרישות לתיוג פורמטים של קבצים, עיין ב צור קובץ מניפסט ו לוקליזציה של אובייקטים בקבצי מניפסט. להלן דוגמה לתיוג תמונה:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

לאחר הכנת קובץ המניפסט, אנו מעלים אותו ל-S3 bucket, ולאחר מכן יוצרים מערך הדרכה ב-Rekognition Custom Labels על ידי בחירה באפשרות ייבא תמונות שתויגו על ידי אמזון SageMaker Ground Truth.

לאחר ייבוא ​​קובץ המניפסט, נוכל להציג את מידע התוויות באופן חזותי בקונסולת הזיהוי של אמזון. זה עוזר לנו לאשר שקובץ המניפסט נוצר ומיובא. ליתר דיוק, התיבות התוחמות צריכות להתיישר עם האובייקטים בתמונות, ויש להקצות את מזהי המחלקה של האובייקטים בצורה נכונה.

צור את מערך הנתונים לבדיקה

תמונות הבדיקה נלכדות בחיים האמיתיים עם טלפון או מצלמה מזוויות ותנאי תאורה שונים, מכיוון שאנו רוצים לאמת את דיוק הדגם, שאותו אימנו באמצעות נתונים סינתטיים, מול תרחישי החיים האמיתיים. אתה יכול להעלות תמונות בדיקה אלה לדלי S3, ולאחר מכן לייבא אותן כמערכי נתונים ב-Rekognition Custom Tags. או שאתה יכול להעלות אותם ישירות למערכי נתונים מהמחשב המקומי שלך.

Rekognition Custom Labels מספקת יכולת מובנית של הערות תמונה, שיש לה חוויה דומה ל-Ground Truth. אתה יכול להתחיל את עבודת התיוג כאשר נתוני הבדיקה מיובאים. במקרה של שימוש בזיהוי אובייקט, יש ליצור את התיבות התוחמות באופן הדוק סביב האובייקטים המעניינים, מה שעוזר למודל ללמוד במדויק את האזורים והפיקסלים השייכים לאובייקטי היעד. בנוסף, עליך לתייג כל מופע של אובייקטי היעד בכל התמונות, אפילו אלה שאינן ראות חלקית או חסומות על ידי אובייקטים אחרים, אחרת המודל חוזה יותר שליליות שגויות.

צור את מודל זיהוי האובייקטים בין הדומיינים

Rekognition Custom Labels הוא שירות מנוהל במלואו; אתה רק צריך לספק את הרכבת ולבדוק מערכי נתונים. היא מכשירה קבוצה של דגמים ובוחרת את המודל עם הביצועים הטובים ביותר על סמך הנתונים שסופקו. באב טיפוס זה, אנו מכינים את מערכי ההדרכה הסינתטיים באופן איטרטיבי על ידי ניסויים בשילובים שונים של שיטות הגדלת התמונה שהזכרנו קודם לכן. מודל אחד נוצר עבור כל מערך אימון ב-Rekognition Custom Labels, המאפשר לנו להשוות ולמצוא את מערך ההדרכה האופטימלי עבור מקרה שימוש זה באופן ספציפי. לכל דגם יש את המספר המינימלי של תמונות אימון, מכיל גיוון תמונות טוב, ומספק את דיוק הדגם הטוב ביותר. לאחר 15 איטרציות, השגנו ציון F1 של 98% דיוק מודל באמצעות כ-10,000 תמונות אימון סינתטיות, שהם 2,000 תמונות לכל אובייקט בממוצע.

תוצאות של הסקת מודל

התמונה הבאה מציגה את מודל הזיהוי של אמזון בשימוש ביישום הסקת מסקנות בזמן אמת. כל הרכיבים מזוהים בצורה נכונה בביטחון גבוה.

סיכום

בפוסט זה, הדגמנו כיצד לאמן מודל ראייה ממוחשבת על תמונות סינתטיות גרידא, וכיצד המודל עדיין יכול לזהות באופן אמין אובייקטים בעולם האמיתי. זה חוסך מאמץ ידני משמעותי באיסוף ותווית נתוני ההדרכה. עם חקירה זו, דאסו סיסטמס מרחיבה את הערך העסקי של דגמי המוצרים התלת-ממדיים שנוצרו על ידי מעצבים ומהנדסים, מכיוון שכעת ניתן להשתמש בנתוני CAD, CAE ו-PLM במערכות זיהוי לתמונות בעולם הפיזי.

למידע נוסף על תכונות מפתח ומקרי שימוש של זיהוי תוויות מותאמות אישית, ראה תוויות מותאמות אישית של Amazon Rekognition. אם התמונות שלך אינן מתויגות באופן מקורי עם Ground Truth, מה שהיה במקרה של פרויקט זה, ראה יצירת קובץ מניפסט כדי להמיר את נתוני התוויות שלך לפורמט ש-Rekognition Custom Tags יכולים לצרוך.

על הכותבים

וודי בוראצ'ינו הוא כיום ארכיטקט פתרונות בכיר למידת מכונה ב-AWS. ממוקם במילאנו, איטליה, וודי עבד על פיתוח תוכנה לפני שהצטרף ל-AWS ב-2015, שם הצמיחה שלו היא תשוקה לטכנולוגיות ראייה ממוחשבת ומחשוב מרחבי (AR/VR/XR). התשוקה שלו מתמקדת כעת בחדשנות המטאוורסית. עקוב אחריו הלאה Linkedin.

יינג הו, PhD, הוא אדריכל אבות טיפוס למידת מכונה ב-AWS. תחומי העניין העיקריים שלה הם Deep Learning, Computer Vision, NLP וחיזוי נתונים של סדרות זמן. בזמנה הפנוי, היא נהנית לקרוא רומנים ולטייל בפארקים הלאומיים בבריטניה.

ברנרד פאקס הוא כיום CTO של Storm Reply המתמקד בפתרונות תעשייתיים הפרוסים ב-AWS. ברנרד, שבסיסו בפריז, צרפת, עבד בעבר כאדריכל פתרונות ראשי וכיועץ ראשי ב-AWS. תרומותיו למודרניזציה ארגוניות מכסות את AWS for Industrial, AWS CDK, ואלה נובעות כעת מ-IT ירוק ומערכות מבוססות קול. עקוב אחריו הלאה טויטר.

קארל הרקט הוא כיום אסטרטג בכיר ב- Dassault Systèmes 3DExcite. מבוסס במינכן, גרמניה, הוא יוצר יישומים חדשניים של ראייה ממוחשבת המספקים תוצאות מוחשיות. עקוב אחריו הלאה לינקדין.

• Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
• CryptoHawk. רדאר אלטקוין. ניסיון חינם.
• מקור: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/