זהה את המיקום של חריגות באמצעות Amazon Lookout for Vision בקצה מבלי להשתמש ב-GPU

זיהוי פגמים אוטומטי באמצעות ראייה ממוחשבת מסייע לשפר את האיכות ולהוזיל את עלות הבדיקה. איתור ליקויים כולל זיהוי קיומו של ליקוי, סיווג סוגי ליקויים וזיהוי היכן נמצאים הליקויים. תהליכי ייצור רבים דורשים זיהוי בהשהייה נמוכה, עם משאבי מחשוב מוגבלים ועם קישוריות מוגבלת.

תצפית אמזון לחזון הוא שירות למידת מכונה (ML) המסייע לאתר פגמים במוצר באמצעות ראייה ממוחשבת כדי להפוך את תהליך בדיקת האיכות לקווי הייצור שלך לאוטומטי, ללא צורך במומחיות ב-ML. Lookout for Vision כוללת כעת את היכולת לספק את המיקום והסוג של חריגות באמצעות מודלים ML של פילוח סמנטי. ניתן לפרוס את דגמי ה-ML המותאמים אישית הללו לענן AWS באמצעות ממשקי API של ענן או לחומרת קצה מותאמת אישית באמצעות AWS IoT Greengrass. Lookout for Vision תומך כעת בהסקה על פלטפורמת מחשוב x86 המריץ לינוקס עם או בלי מאיץ GPU של NVIDIA ובכל מכשיר קצה מבוסס NVIDIA Jetson. גמישות זו מאפשרת איתור פגמים בחומרה קיימת או חדשה.

בפוסט זה, אנו מראים לך כיצד לזהות חלקים פגומים באמצעות דגמי Lookout for Vision ML הפועלים על מכשיר קצה, שאנו מדמים באמצעות ענן מחשוב אלסטי של אמזון (Amazon EC2). אנו עוברים דרך אימון מודלים של פילוח סמנטי חדשים, מייצאים אותם כרכיבי AWS IoT Greengrass, ומריצים הסקה במצב CPU בלבד עם קוד לדוגמה של Python.

סקירת פתרונות

בפוסט זה, אנו משתמשים בסט תמונות של חייזרים צעצוע מורכב מתמונות תקינות ופגומות כגון איברים חסרים, עיניים או חלקים אחרים. אנו מאמנים מודל Lookout for Vision בענן לזיהוי חייזרים פגומים. אנו מרכיבים את הדגם למעבד X86 יעד, אורזים את דגם Lookout for Vision המיומן כרכיב AWS IoT Greengrass, ופורסים את הדגם למופע EC2 ללא GPU באמצעות קונסולת AWS IoT Greengrass. לבסוף, אנו מדגימים יישום דוגמה מבוסס Python הפועל על מופע EC2 (C5a.2xl) שמקורו בתמונות החייזרים של הצעצוע ממערכת הקבצים של מכשיר הקצה, מריץ את ההסקה על מודל Lookout for Vision באמצעות גר"פ ממשק, ושולח את נתוני ההסקה ל- an MQTT נושא בענן AWS. הסקריפטים מוציאים תמונה הכוללת את הצבע והמיקום של הפגמים בתמונה החריגה.

התרשים הבא ממחיש את ארכיטקטורת הפתרון. חשוב לציין עבור כל סוג פגם שאתה רוצה לזהות בלוקליזציה, עליך להיות בעל 10 תמונות חריגות מסומנות באימון ו-10 בנתוני בדיקה, בסך הכל 20 תמונות מהסוג הזה. עבור פוסט זה, אנו מחפשים איברים חסרים על הצעצוע.

לפתרון יש את זרימת העבודה הבאה:

1. העלה מערך הדרכה ומערך בדיקה אל שירות אחסון פשוט של אמזון (אמזון S3).
2. השתמש בממשק המשתמש החדש של Lookout for Vision כדי להוסיף סוג אנומליה ולסמן היכן חריגות אלה נמצאות בתמונות ההדרכה והבדיקה.
3. אימון מודל Lookout for Vision בענן.
4. הרכיבו את המודל לארכיטקטורת היעד (X86) ופרסו את המודל למופע EC2 (C5a.2xl) באמצעות קונסולת AWS IoT Greengrass.
5. מקור תמונות מהדיסק המקומי.
6. הפעל מסקנות על המודל שנפרס באמצעות ממשק ה-gRPC ואחזר תמונה של מסכות חריגות על גבי התמונה המקורית.
7. פרסם את תוצאות ההסקה ללקוח MQTT הפועל על מופע הקצה.
8. קבל את הודעת MQTT על נושא ב ליבת IoT של AWS בענן AWS להמשך ניטור והדמיה.

שלבים 5, 6 ו-7 מתואמים עם יישום Python לדוגמה.

תנאים מוקדמים

לפני שתתחיל, השלם את התנאים המוקדמים הבאים. עבור פוסט זה, אנו משתמשים במופע EC2 c5.2xl ומתקינים עליו AWS IoT Greengrass V2 כדי לנסות את התכונות החדשות. אם אתה רוצה לרוץ על NVIDIA Jetson, עקוב אחר השלבים בפוסט הקודם שלנו, Amazon Lookout for Vision תומך כעת בבדיקה ויזואלית של פגמים במוצר בקצה.

1. צור חשבון AWS.
2. התחל מופע EC2 שנוכל להתקין עליו AWS IoT Greengrass ולהשתמש במצב ההסקה החדש למעבד בלבד. אתה יכול גם להשתמש במכונת Intel X86 64 סיביות עם 8 גיגה-בייט של זיכרון RAM או יותר (אנחנו משתמשים ב-c5a.2xl, אבל כל דבר עם יותר מ-8 גיגה-בייט בפלטפורמת x86 אמור לעבוד) עם אובונטו 20.04.
3. התקן את AWS IoT Greengrass V2:

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. התקן את המערכת הנדרשת ואת התלות של Python 3 (Ubuntu 20.04):

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

העלה את מערך הנתונים ואמן את המודל

אנו משתמשים מערך נתונים של חייזרים צעצועים להדגים את הפתרון. מערך הנתונים מכיל תמונות רגילות ואנומליות. הנה כמה תמונות לדוגמה מתוך מערך הנתונים.

התמונה הבאה מציגה חייזר צעצוע רגיל.

התמונה הבאה מציגה חייזר צעצוע חסר רגל.

התמונה הבאה מציגה חייזר צעצוע חסר ראש.

בפוסט זה, אנו מחפשים איברים חסרים. אנו משתמשים בממשק המשתמש החדש כדי לצייר מסכה סביב הפגמים בנתוני האימונים והבדיקות שלנו. זה יגיד למודלים של פילוח סמנטי כיצד לזהות סוג זה של פגם.

1. התחל בהעלאת מערך הנתונים שלך, או דרך Amazon S3 או מהמחשב שלך.
2. מיין אותם לתיקיות עם הכותרת normal ו anomaly.
3. בעת יצירת מערך הנתונים שלך, בחר צרף אוטומטית תוויות לתמונות על בסיס שם התיקיה.זה מאפשר לנו למיין את התמונות החריגות מאוחר יותר ולצייר את האזורים שיסומנו עם פגם.
   
4. נסה לעכב כמה תמונות לבדיקה מאוחר יותר של שתיהן normal ו anomaly.
5. לאחר שכל התמונות נוספו למערך הנתונים, בחר הוסף תוויות חריגות.
6. התחל לסמן נתונים על ידי בחירה התחל לתייג.
7. כדי להאיץ את התהליך, אתה יכול לבחור תמונות מרובות ולסווג אותן כ Normal or Anomaly.
   
   אם אתה רוצה להדגיש חריגות בנוסף לסיווגן, אתה צריך להדגיש היכן החריגות ממוקמות.
8. בחר את התמונה שברצונך להוסיף הערות.
9. השתמש בכלי הציור כדי להראות את האזור שבו חלק מהנושא חסר, או צייר מסכה על הפגם.
10. בחרו שלח וסגור לשמור על השינויים הללו.
    
11. חזור על תהליך זה עבור כל התמונות שלך.
12. כשתסיים, בחר שמור כדי להתמיד בשינויים שלך. עכשיו אתה מוכן לאמן את הדגם שלך.
    
13. בחרו דגם רכבת.

לאחר שתשלים את השלבים האלה, תוכל לנווט אל הפרויקט ואל מודלים עמוד כדי לבדוק את הביצועים של הדגם המאומן. אתה יכול להתחיל בתהליך של ייצוא הדגם למכשיר הקצה היעד בכל עת לאחר אימון הדגם.

אמנו מחדש את הדגם עם תמונות מתוקנות

לפעמים תיוג האנומליה עשוי להיות לא ממש נכון. יש לך הזדמנות לעזור למודל שלך ללמוד טוב יותר את החריגות שלך. לדוגמה, התמונה הבאה מזוהה כאנומליה, אך אינה מציגה את missing_limbs תָג.

בואו נפתח את העורך ונתקן את זה.

עברו על כל התמונות שתמצאו כך. אם אתה מוצא שהוא מתויג חריגה באופן שגוי, אתה יכול להשתמש בכלי המחק כדי להסיר את התג השגוי.

כעת תוכל לאמן שוב את הדגם שלך ולהשיג דיוק טוב יותר.

הרכיב וארוז את הדגם כרכיב AWS IoT Greengrass

בסעיף זה, אנו עוברים על השלבים להרכבת דגם החייזר צעצוע למכשיר הקצה שלנו וארוז את הדגם כרכיב AWS IoT Greengrass.

1. במסוף Lookout for Vision, בחר את הפרויקט שלך.
2. בחלונית הניווט בחר חבילות דגם Edge.
3. בחרו יצירת דגם עבודת אריזה.
4. בעד שם העבודה, הכנס שם.
5. בעד תיאור משרה, הזן תיאור אופציונלי.
6. בחרו עיין בדגמים.
7. בחר את גרסת הדגם (דגם החייזרי צעצוע שנבנה בסעיף הקודם).
8. בחרו בחרו.
   
9. אם אתה מפעיל את זה ב-Amazon EC2 או במכשיר X86-64, בחר פלטפורמת יעד ולבחור לינוקס, X86, ו CPU.
   אם אתה משתמש במעבד, אתה יכול להשאיר את אפשרויות המהדר ריקות אם אתה לא בטוח ואין לך NVIDIA GPU. אם יש לך פלטפורמה מבוססת אינטל התומכת ב-AVX512, תוכל להוסיף את אפשרויות המהדר הבאות כדי לבצע אופטימיזציה לביצועים טובים יותר: {"mcpu": "skylake-avx512"}.
   אתה יכול לראות את שם העבודה והסטטוס שלך מוצגים בתור In progress. עבודת האריזה של הדגם עשויה להימשך מספר דקות. כאשר עבודת האריזה של הדגם הושלמה, המצב מופיע כ Success.
10. בחר את שם העבודה שלך (במקרה שלנו זה aliensblogcpux86) כדי לראות את פרטי המשרה.
    
11. בחרו יצירת דגם עבודת אריזה.
    
12. הזן את הפרטים עבור שם רכיב, תיאור הרכיב (אופציונאלי), גרסת רכיב, ו מיקום הרכיב.Lookout for Vision מאחסן את המתכונים והחפצים של הרכיבים במיקום זה של Amazon S3.
13. בחרו המשך הפריסה בגריינגראס כדי לפרוס את הרכיב למכשיר הקצה היעד.
    

רכיב ה-AWS IoT Greengrass וחפצי מודל נוצרו בחשבון ה-AWS שלך.

פרוס את הדגם

ודא שיש לך AWS IoT Greengrass V2 מותקן במכשיר היעד שלך עבור חשבונך לפני שתמשיך. להנחיות, עיין ב התקן את תוכנת AWS IoT Greengrass Core.

בחלק זה, אנו עוברים על השלבים לפריסת דגם החייזר צעצוע למכשיר הקצה באמצעות קונסולת AWS IoT Greengrass.

1. במסוף AWS IoT Greengrass, נווט אל מכשיר הקצה שלך.
2. בחרו לפרוס כדי להתחיל את שלבי הפריסה.
3. בחר מכשיר ליבה (מכיוון שהפריסה היא למכשיר בודד) והזן שם עבור שם היעד.שם היעד הוא אותו השם שבו השתמשת כדי לתת שם למכשיר הליבה במהלך תהליך ההתקנה של AWS IoT Greengrass V2.
4. בחר את הרכיב שלך. במקרה שלנו, שם הרכיב הוא aliensblogcpux86, המכיל את דגם החייזר צעצוע.
5. בחרו הַבָּא.
6. הגדר את הרכיב (אופציונלי).
7. בחרו הַבָּא.
8. לְהַרְחִיב מדיניות פריסה.
9. בעד מדיניות עדכון רכיבים, בחר הודע לרכיבים.זה מאפשר לרכיב שכבר נפרס (גרסה קודמת של הרכיב) לדחות עדכון עד שתהיה מוכן לעדכן.
10. בעד מדיניות טיפול בכשלים, בחר אל תתהפך.במקרה של כשל, אפשרות זו מאפשרת לנו לחקור את השגיאות בפריסה.
11. בחרו הַבָּא.
12. סקור את רשימת הרכיבים שייפרסו במכשיר היעד (הקצה).
13. בחרו הַבָּא.אתה אמור לראות את ההודעה Deployment successfully created.
14. כדי לאמת שפריסת הדגם הצליחה, הפעל את הפקודה הבאה במכשיר ה-Edge שלך:

    sudo /greengrass/v2/bin/greengrass-cli component list

אתה אמור לראות פלט דומה שמריץ את aliensblogcpux86 סקריפט אתחול מחזור החיים:

רכיבים הפועלים כעת ב- Greengrass:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

הפעל מסקנות על המודל

הערות: אם אתה מפעיל את Greengrass כמשתמש אחר ממה שאתה מחובר אליו, תצטרך לשנות את ההרשאות של הקובץ /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

אנחנו מוכנים כעת להסיק מסקנות לגבי המודל. במכשיר הקצה שלך, הפעל את הפקודה הבאה כדי לטעון את הדגם (החלף עם שם הדגם המשמש ברכיב שלך):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

כדי ליצור מסקנות, הפעל את הפקודה הבאה עם שם קובץ המקור (replace עם הנתיב ושם הקובץ של התמונה כדי לבדוק ולהחליף עם שם הדגם המשמש עבור הרכיב שלך):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

המודל מנבא נכון את התמונה כחריגה (missing_limbs) עם ציון ביטחון של 0.9996867775917053. זה אומר לנו את המסכה של תג האנומליה missing_limbs והשטח באחוזים. התגובה מכילה גם נתוני מפת סיביות שתוכל לפענח של מה שהיא מצאה.

הורד ופתח את הקובץ blended.png, שנראה כמו התמונה הבאה. שימו לב לאזור המודגש עם הפגם סביב הרגליים.

סיפורי לקוחות

עם AWS IoT Greengrass ו- Lookout for Vision, אתה יכול כעת להפוך בדיקה ויזואלית לאוטומטית עם ראייה ממוחשבת לתהליכים כמו בקרת איכות והערכת פגמים - הכל על הקצה ובזמן אמת. אתה יכול לזהות באופן יזום בעיות כגון נזק לחלקים (כמו שקעים, שריטות או ריתוך לקוי), רכיבי מוצר חסרים או פגמים עם דפוסים חוזרים על קו הייצור עצמו - חוסך לך זמן וכסף. לקוחות כמו טייסון ובקסטר מגלים את הכוח של Lookout for Vision להגדיל את האיכות ולהפחית עלויות תפעול על ידי אוטומציה של בדיקה ויזואלית.

"מצוינות תפעולית היא בראש סדר העדיפויות בטייסון פודס. תחזוקה חזויה היא נכס חיוני להשגת מטרה זו על ידי שיפור מתמיד של יעילות הציוד הכוללת (OEE). בשנת 2021, Tyson Foods השיקה פרויקט ראייה ממוחשבת מבוסס למידת מכונה כדי לזהות נושאי מוצרים כושלים במהלך הייצור כדי למנוע מהם להשפיע על הבטיחות, התפעול או איכות המוצר של חברי הצוות. הדגמים שאומנו באמצעות Amazon Lookout for Vision פעלו היטב. מודל זיהוי הסיכות השיג דיוק של 95% בשתי המחלקות. דגם Amazon Lookout for Vision היה מכוון לביצועים ברמת דיוק של 99.1% עבור זיהוי סיכות כושלות. ללא ספק התוצאה המרגשת ביותר של הפרויקט הזה הייתה האצה בזמן הפיתוח. למרות שפרויקט זה משתמש בשני מודלים וקוד יישום מורכב יותר, לקח 12% פחות זמן למפתחים להשלמתו. הפרויקט הזה לניטור מצבם של ספקי המוצרים ב-Tyson Foods הושלם בזמן שיא באמצעות שירותים מנוהלים של AWS כמו Amazon Lookout for Vision".

—אודרי טימרמן, מפתחת אפליקציות Sr, Tyson Foods.

"השהייה ומהירות ההסקה היא קריטית להערכה בזמן אמת ולבדיקות איכות קריטיות של תהליכי הייצור שלנו. Amazon Lookout for Vision Edge במכשיר CPU נותנת לנו את היכולת להשיג זאת בציוד ברמה ייצור, ומאפשרת לנו לספק פתרונות ראיית AI חסכוניים בקנה מידה".

—AK Karan, מנהל בכיר גלובלי - טרנספורמציה דיגיטלית, Integrated Supply Chain, Baxter International Inc.

ניקוי

בצע את השלבים הבאים כדי להסיר את הנכסים שיצרת מחשבונך ולהימנע מכל חיוב מתמשך:

1. במסוף Lookout for Vision, נווט אל הפרויקט שלך.
2. על פעולות בתפריט, מחק את מערכי הנתונים שלך.
   
3. מחק את הדגמים שלך.
   
4. בקונסולת Amazon S3, רוקן את הדליים שיצרת ולאחר מכן מחק את הדליים.
5. במסוף אמזון EC2, מחק את המופע שהתחלת להריץ את AWS IoT Greengrass.
6. במסוף AWS IoT Greengrass, בחר פריסות בחלונית הניווט.
7. מחק את גרסאות הרכיב שלך.
   
8. במסוף AWS IoT Greengrass, מחק את הדברים, הקבוצות והמכשירים של AWS IoT.

סיכום

בפוסט זה, תיארנו תרחיש טיפוסי לזיהוי פגמים תעשייתיים בקצה באמצעות לוקליזציה של פגמים ופריסה למכשיר המעבד בלבד. עברנו על מרכיבי המפתח של מחזור החיים של הענן והקצה עם דוגמה מקצה לקצה באמצעות Lookout for Vision ו-AWS IoT Greengrass. עם Lookout for Vision, אימנו מודל זיהוי חריגות בענן באמצעות ה מערך נתונים של צעצוע חייזרים, הידור המודל לארכיטקטורת יעד, וארז את המודל כרכיב AWS IoT Greengrass. עם AWS IoT Greengrass, פרסנו את הדגם למכשיר קצה. הדגמנו אפליקציה לדוגמה מבוססת Python שמביאה תמונות חייזרים צעצועים ממערכת הקבצים המקומית של מכשיר הקצה, מפעילה את ההסקות על מודל Lookout for Vision בקצה באמצעות ממשק gRPC, ושולחת את נתוני ההסקה לנושא MQTT ב-AWS ענן.

בפוסט עתידי, נראה כיצד להפעיל מסקנות על זרם תמונות בזמן אמת באמצעות צינור מדיה של GStreamer.

התחל את המסע שלך לקראת זיהוי וזיהוי אנומליות תעשייתיות על ידי ביקור ב- תצפית אמזון לחזון ו AWS IoT Greengrass דפי משאבים.

על המחברים

מאניש טלרג'ה הוא מנהל מקצועות ML בכיר בתעשייה עם שירותים מקצועיים של AWS. הוא עוזר ללקוחות AWS להשיג את היעדים העסקיים שלהם על ידי ארכיטקטורה ובניית פתרונות חדשניים המשתמשים בשירותי AWS ML ו-IoT בענן AWS.

ריאן ונדרוורף הוא ארכיטקט פתרונות שותף ב- Amazon Web Services. בעבר הוא סיפק ייעוץ ממוקד מכונה וירטואלית ב-Java ופיתוח פרויקטים כמהנדס תוכנה ב-OCI בצוות Grails ו-Micronaut. הוא היה אדריכל ראשי/מנהל מוצרים ב-ReachForce, עם התמקדות בארכיטקטורת תוכנה ומערכת עבור פתרונות AWS Cloud SaaS לניהול נתונים שיווקיים. ריאן בנה מספר פתרונות SaaS בכמה תחומים כגון חברות פיננסיות, מדיה, טלקום ו-e-learning מאז 1996.

פראקש קרישנה הוא מנהל בכיר בפיתוח תוכנה ב- Amazon Web Services. הוא מוביל את צוותי ההנדסה שבונים מערכות מבוזרות בקנה מידה גדול כדי ליישם אלגוריתמים מהירים, יעילים וניתנים להרחבה על בעיות זיהוי תמונות ווידאו מבוססות למידה עמוקה.