حدد موقع الحالات الشاذة باستخدام Amazon Lookout for Vision على الحافة دون استخدام وحدة معالجة الرسومات

يساعد الاكتشاف التلقائي للعيوب باستخدام رؤية الكمبيوتر على تحسين الجودة وخفض تكلفة الفحص. يتضمن اكتشاف العيب تحديد وجود العيب ، وتصنيف أنواع العيوب ، وتحديد مكان وجود العيوب. تتطلب العديد من عمليات التصنيع الكشف في زمن انتقال منخفض ، مع موارد حوسبة محدودة ، واتصال محدود.

أمازون لوك أوت فور فيجن هي خدمة التعلم الآلي (ML) التي تساعد على اكتشاف عيوب المنتج باستخدام رؤية الكمبيوتر لأتمتة عملية فحص الجودة في خطوط التصنيع الخاصة بك ، دون الحاجة إلى خبرة تعلم الآلة. يتضمن Lookout for Vision الآن القدرة على توفير موقع ونوع الحالات الشاذة باستخدام نماذج ML للتجزئة الدلالية. يمكن نشر نماذج ML المخصصة هذه على سحابة AWS باستخدام واجهات برمجة التطبيقات السحابية أو إلى أجهزة الحافة المخصصة باستخدام AWS تقنيات عمليات Greengrass. يدعم Lookout for Vision الآن الاستدلال على منصة حوسبة x86 تعمل بنظام Linux مع أو بدون مسرع NVIDIA GPU وعلى أي جهاز حافة قائم على NVIDIA Jetson. تسمح هذه المرونة باكتشاف العيوب الموجودة في الأجهزة الموجودة أو الجديدة.

في هذا المنشور ، نوضح لك كيفية اكتشاف الأجزاء المعيبة باستخدام نماذج Lookout for Vision ML التي تعمل على جهاز حافة ، والذي نحاكيه باستخدام الأمازون الحوسبة المرنة السحابية (Amazon EC2) مثيل. نقوم بتدريب نماذج التجزئة الدلالية الجديدة ، وتصديرها كمكونات AWS IoT Greengrass ، وتشغيل الاستدلال في وضع CPU فقط باستخدام كود مثال Python.

حل نظرة عامة

في هذا المنشور ، نستخدم مجموعة من الصور لـ لعبة الأجانب تتكون من صور عادية ومعيبة مثل فقد الأطراف أو العينين أو أجزاء أخرى. نقوم بتدريب نموذج Lookout for Vision في السحابة لتحديد الكائنات الفضائية المعيبة. نقوم بتجميع النموذج إلى وحدة معالجة مركزية مستهدفة X86 ، ونقوم بتجميع نموذج Lookout for Vision المدربين كمكون AWS IoT Greengrass ، ونشر النموذج على مثيل EC2 بدون وحدة معالجة رسومات باستخدام وحدة تحكم AWS IoT Greengrass. أخيرًا ، قمنا بتوضيح تطبيق نموذجي قائم على Python يعمل على مثيل EC2 (C5a.2xl) الذي يقوم بمصادر الصور الغريبة للعبة من نظام ملفات جهاز الحافة ، ويقوم بتشغيل الاستدلال على نموذج Lookout for Vision باستخدام جي آر بي سي واجهة ، ويرسل بيانات الاستدلال إلى ملف MQTT موضوع في سحابة AWS. تُخرج البرامج النصية صورة تتضمن لون وموقع العيوب على الصورة الشاذة.

يوضح الرسم البياني التالي بنية الحل. من المهم ملاحظة أنه لكل نوع عيب تريد اكتشافه في الترجمة ، يجب أن يكون لديك 10 صور شاذة محددة في التدريب و 10 في بيانات الاختبار ، ليصبح المجموع 20 صورة من هذا النوع. في هذا المنشور ، نبحث عن أطراف مفقودة في اللعبة.

الحل يحتوي على سير العمل التالي:

1. قم بتحميل مجموعة بيانات التدريب ومجموعة بيانات الاختبار إلى خدمة تخزين أمازون البسيطة (أمازون S3).
2. استخدم Lookout for Vision UI الجديد لإضافة نوع الشذوذ ووضع علامة على هذه الحالات الشاذة في صور التدريب والاختبار.
3. قم بتدريب نموذج Lookout for Vision في السحابة.
4. قم بتجميع النموذج للبنية المستهدفة (X86) ونشر النموذج على مثيل EC2 (C5a.2xl) باستخدام وحدة تحكم AWS IoT Greengrass.
5. مصدر الصور من القرص المحلي.
6. قم بتشغيل الاستنتاجات على النموذج المنشور عبر واجهة gRPC واسترداد صورة أقنعة الشذوذ المتراكبة على الصورة الأصلية.
7. انشر نتائج الاستدلال إلى عميل MQTT يعمل على مثيل الحافة.
8. تلقي رسالة MQTT حول موضوع بتنسيق AWS إنترنت الأشياء الأساسية في سحابة AWS لمزيد من المراقبة والتصور.

يتم تنسيق الخطوات 5 و 6 و 7 مع نموذج تطبيق Python.

المتطلبات الأساسية المسبقة

قبل أن تبدأ ، أكمل المتطلبات الأساسية التالية. في هذا المنشور ، نستخدم مثيل EC2 c5.2xl ونثبت AWS IoT Greengrass V2 عليه لتجربة الميزات الجديدة. إذا كنت تريد التشغيل على NVIDIA Jetson ، فاتبع الخطوات الواردة في منشورنا السابق ، تدعم Amazon Lookout for Vision الآن الفحص البصري لعيوب المنتج عند الحافة.

1. أنشئ حساب AWS.
2. ابدأ مثيل EC2 يمكننا تثبيت AWS IoT Greengrass عليه واستخدام وضع الاستدلال الجديد لوحدة المعالجة المركزية فقط. يمكنك أيضًا استخدام جهاز Intel X86 64 بت بسعة 8 غيغابايت من ذاكرة الوصول العشوائي أو أكثر (نستخدم c5a.2xl ، ولكن أي شيء به يجب أن يعمل أكبر من 8 جيجا بايت على النظام الأساسي x86) بتشغيل Ubuntu 20.04.
3. قم بتثبيت AWS IoT Greengrass V2:

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. قم بتثبيت النظام المطلوب وتبعيات Python 3 (Ubuntu 20.04):

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

قم بتحميل مجموعة البيانات وقم بتدريب النموذج

نستخدم مجموعة بيانات لعبة الأجانب لشرح الحل. تحتوي مجموعة البيانات على صور عادية وشاذة. فيما يلي بعض الصور النموذجية من مجموعة البيانات.

تظهر الصورة التالية لعبة أجنبي عادية.

تُظهر الصورة التالية لعبة أجنبي فقد إحدى ساقها.

تُظهر الصورة التالية لعبة أجنبي فقد رأسها.

في هذا المنشور ، نبحث عن أطراف مفقودة. نستخدم واجهة المستخدم الجديدة لرسم قناع حول العيوب الموجودة في بيانات التدريب والاختبارات الخاصة بنا. سيخبر هذا نماذج التجزئة الدلالية بكيفية تحديد هذا النوع من العيوب.

1. ابدأ بتحميل مجموعة البيانات الخاصة بك ، إما عبر Amazon S3 أو من جهاز الكمبيوتر الخاص بك.
2. قم بفرزهم في مجلدات بعنوان normal و anomaly.
3. عند إنشاء مجموعة البيانات الخاصة بك ، حدد قم تلقائيًا بإرفاق تسميات بالصور بناءً على اسم المجلديسمح لنا هذا بفرز الصور الشاذة لاحقًا ورسم المناطق المراد تصنيفها بعيب.
   
4. حاول كبح بعض الصور لاختبارها لاحقًا normal و anomaly.
5. بعد إضافة جميع الصور إلى مجموعة البيانات ، اختر أضف تسميات شاذة.
6. ابدأ في تسمية البيانات عن طريق الاختيار ابدأ في وضع العلامات.
7. لتسريع العملية ، يمكنك تحديد صور متعددة وتصنيفها على أنها Normal or Anomaly.
   
   إذا كنت ترغب في تسليط الضوء على الحالات الشاذة بالإضافة إلى تصنيفها ، فأنت بحاجة إلى إبراز مكان وجود هذه الحالات الشاذة.
8. اختر الصورة التي تريد التعليق عليها.
9. استخدم أدوات الرسم لإظهار المنطقة التي يكون فيها جزء من الموضوع مفقودًا ، أو ارسم قناعًا فوق العيب.
10. اختار إرسال وإغلاق للحفاظ على هذه التغييرات.
    
11. كرر هذه العملية لجميع صورك.
12. عند الانتهاء ، اختر حفظ لمواصلة التغييرات الخاصة بك. أنت الآن جاهز لتدريب نموذجك.
    
13. اختار نموذج القطار.

بعد إكمال هذه الخطوات ، يمكنك الانتقال إلى المشروع و الموديلات صفحة للتحقق من أداء النموذج المدرب. يمكنك بدء عملية تصدير النموذج إلى جهاز الحافة الهدف في أي وقت بعد تدريب النموذج.

أعد تدريب النموذج بالصور المصححة

في بعض الأحيان ، قد لا يكون وضع العلامات الشاذة صحيحًا تمامًا. لديك فرصة لمساعدة نموذجك على تعلم الأمور الشاذة بشكل أفضل. على سبيل المثال ، تم تحديد الصورة التالية على أنها حالة شاذة ، ولكنها لا تعرض ملف missing_limbs العلامة.

لنفتح المحرر ونصلح هذا.

اذهب من خلال أي صور تجدها مثل هذا. إذا وجدت أنه تم وضع علامة على حالة شاذة بشكل غير صحيح ، فيمكنك استخدام أداة الممحاة لإزالة العلامة غير الصحيحة.

يمكنك الآن تدريب النموذج الخاص بك مرة أخرى وتحقيق دقة أفضل.

قم بتجميع النموذج وحزمه كمكون AWS IoT Greengrass

في هذا القسم ، ننتقل عبر الخطوات اللازمة لتجميع نموذج اللعبة الغريبة إلى جهاز الحافة المستهدفة وتعبئة النموذج كمكون AWS IoT Greengrass.

1. في Lookout for Vision console ، اختر مشروعك.
2. في جزء التنقل ، اختر حزم نموذج الحافة.
3. اختار إنشاء مهمة تغليف نموذج.
4. في حالة اسم العمل، إدخال اسم.
5. في حالة المسمى الوظيفي او المشروع، أدخل وصفًا اختياريًا.
6. اختار تصفح النماذج.
7. حدد إصدار النموذج (نموذج اللعبة الغريبة المبني في القسم السابق).
8. اختار اختار.
   
9. إذا كنت تقوم بتشغيل هذا على Amazon EC2 أو جهاز X86-64 ، فحدد المنصة المستهدفة واختر لينكس, X86و وحدة المعالجة المركزية‏:.
   إذا كنت تستخدم وحدة المعالجة المركزية ، فيمكنك ترك خيارات المترجم فارغة إذا لم تكن متأكدًا وليس لديك وحدة معالجة رسومات NVIDIA. إذا كان لديك نظام أساسي قائم على Intel يدعم AVX512 ، فيمكنك إضافة خيارات المترجم هذه لتحسين الأداء للحصول على أداء أفضل: {"mcpu": "skylake-avx512"}.
   يمكنك رؤية اسم وظيفتك وحالتك يظهران كـ In progress. قد تستغرق مهمة تغليف النموذج بضع دقائق حتى تكتمل. عند اكتمال مهمة تغليف النموذج ، تظهر الحالة كـ Success.
10. اختر اسم وظيفتك (في حالتنا هو aliensblogcpux86) لمشاهدة تفاصيل الوظيفة.
    
11. اختار إنشاء مهمة تغليف نموذج.
    
12. أدخل التفاصيل الخاصة بـ اسم المكون, وصف القطع (اختياري)، إصدار مكونو موقع المكونيخزن Lookout for Vision وصفات المكونات والتحف في موقع Amazon S3 هذا.
13. اختار تواصل الانتشار في Greengrass لنشر المكون على جهاز الحافة المستهدفة.
    

تم إنشاء مكون AWS IoT Greengrass وعناصر نموذجية في حساب AWS الخاص بك.

انشر النموذج

تأكد من تثبيت AWS IoT Greengrass V2 على جهازك المستهدف لحسابك قبل المتابعة. للحصول على تعليمات ، راجع قم بتثبيت برنامج AWS IoT Greengrass Core.

في هذا القسم ، نتصفح الخطوات لنشر نموذج اللعبة الغريبة على جهاز الحافة باستخدام وحدة تحكم AWS IoT Greengrass.

1. في وحدة تحكم AWS IoT Greengrass ، انتقل إلى جهاز Edge الخاص بك.
2. اختار نشر لبدء خطوات النشر.
3. أختار الجهاز الأساسي (لأن النشر على جهاز واحد) وأدخل اسمًا لـ اسم الهدفالاسم الهدف هو نفس الاسم الذي استخدمته لتسمية الجهاز الأساسي أثناء عملية تثبيت AWS IoT Greengrass V2.
4. اختر المكون الخاص بك. في حالتنا ، اسم المكون هو aliensblogcpux86الذي يحتوي على نموذج لعبة غريبة.
5. اختار التالى.
6. تكوين المكون (اختياري).
7. اختار التالى.
8. وسع سياسات النشر.
9. في حالة سياسة تحديث المكون، حدد إخطار المكوناتيسمح هذا للمكون الذي تم نشره بالفعل (إصدار سابق من المكون) بتأجيل التحديث حتى تصبح جاهزًا للتحديث.
10. في حالة سياسة التعامل مع الفشل، حدد لا تتراجعفي حالة حدوث فشل ، يتيح لنا هذا الخيار التحقق من الأخطاء في النشر.
11. اختار التالى.
12. راجع قائمة المكونات التي سيتم نشرها على الجهاز الهدف (الحافة).
13. اختار التالىيجب أن ترى الرسالة Deployment successfully created.
14. للتحقق من نجاح نشر النموذج ، قم بتشغيل الأمر التالي على جهاز Edge الخاص بك:

    sudo /greengrass/v2/bin/greengrass-cli component list

يجب أن تشاهد إخراجًا مشابهًا يشغل ملف aliensblogcpux86 البرنامج النصي لبدء دورة الحياة:

المكونات التي تعمل حاليًا في Greengrass:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

قم بتشغيل الاستدلالات على النموذج

ملاحظات: إذا كنت تقوم بتشغيل Greengrass كمستخدم آخر غير المستخدم الذي قمت بتسجيل الدخول به ، فستحتاج إلى تغيير أذونات الملف /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

نحن الآن جاهزون لتشغيل الاستدلالات على النموذج. على جهاز Edge الخاص بك ، قم بتشغيل الأمر التالي لتحميل النموذج (replace مع اسم الطراز المستخدم في المكون الخاص بك):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

لإنشاء استنتاجات ، قم بتشغيل الأمر التالي باسم الملف المصدر (استبدل بمسار واسم ملف الصورة المراد فحصها واستبدالها مع اسم الطراز المستخدم للمكون الخاص بك):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

يتنبأ النموذج بشكل صحيح بالصورة على أنها شاذة (missing_limbs) بدرجة ثقة 0.9996867775917053. يخبرنا قناع علامة الشذوذ missing_limbs ومنطقة النسبة المئوية. تحتوي الاستجابة أيضًا على بيانات نقطية يمكنك فك تشفير ما وجدته.

قم بتنزيل الملف وافتحه blended.png، والتي تبدو مثل الصورة التالية. لاحظ المنطقة المميزة بالعيب حول الساقين.

قصص العملاء

باستخدام AWS IoT Greengrass و Lookout for Vision ، يمكنك الآن أتمتة الفحص البصري باستخدام رؤية الكمبيوتر لعمليات مثل مراقبة الجودة وتقييم العيوب - كل ذلك على الحافة وفي الوقت الفعلي. يمكنك تحديد المشكلات بشكل استباقي مثل تلف الأجزاء (مثل الخدوش أو الخدوش أو ضعف اللحام) أو مكونات المنتج المفقودة أو العيوب مع تكرار الأنماط على خط الإنتاج نفسه - مما يوفر لك الوقت والمال. يكتشف عملاء مثل Tyson و Baxter قوة Lookout for Vision لزيادة الجودة وتقليل التكاليف التشغيلية عن طريق أتمتة الفحص البصري.

"التميز التشغيلي هو أولوية رئيسية في تايسون فودز. الصيانة التنبؤية هي أحد الأصول الأساسية لتحقيق هذا الهدف من خلال التحسين المستمر للفعالية العامة للمعدات (OEE). في عام 2021 ، أطلقت Tyson Foods مشروع رؤية كمبيوتر قائم على التعلم الآلي لتحديد ناقلات المنتجات الفاشلة أثناء الإنتاج لمنعها من التأثير على سلامة أعضاء الفريق أو العمليات أو جودة المنتج. كان أداء النماذج التي تم تدريبها باستخدام Amazon Lookout for Vision جيدًا. حقق نموذج الكشف عن الدبوس دقة 95٪ في كلا الفئتين. تم ضبط نموذج Amazon Lookout for Vision ليعمل بدقة 99.1٪ لفشل اكتشاف رقم التعريف الشخصي. إلى حد بعيد ، كانت النتيجة الأكثر إثارة لهذا المشروع هي تسريع وقت التطوير. على الرغم من أن هذا المشروع يستخدم نموذجين ورمز تطبيق أكثر تعقيدًا ، إلا أنه استغرق 12٪ أقل من وقت المطور لإكماله. اكتمل هذا المشروع لرصد حالة شركات نقل المنتجات في Tyson Foods في وقت قياسي باستخدام خدمات AWS المُدارة مثل Amazon Lookout for Vision. "

—أودري تيمرمان ، مطور تطبيقات الأب ، تايسون فودز.

"الكمون وسرعة الاستدلال أمران حاسمان للتقييم في الوقت الفعلي وفحوصات الجودة الحاسمة لعمليات التصنيع لدينا. يمنحنا Amazon Lookout for Vision edge على جهاز وحدة المعالجة المركزية القدرة على تحقيق ذلك على معدات من فئة الإنتاج ، مما يمكننا من تقديم حلول رؤية AI فعالة من حيث التكلفة على نطاق واسع. "

—أك كاران ، المدير العالمي الأول - التحول الرقمي ، سلسلة التوريد المتكاملة ، Baxter International Inc.

تنظيف

أكمل الخطوات التالية لإزالة الأصول التي أنشأتها من حسابك وتجنب أي فواتير مستمرة:

1. في Lookout for Vision console ، انتقل إلى مشروعك.
2. على الإجراءات القائمة ، احذف مجموعات البيانات الخاصة بك.
   
3. احذف نماذجك.
   
4. في وحدة التحكم Amazon S3 ، أفرغ الحاويات التي أنشأتها ، ثم احذفها.
5. في وحدة تحكم Amazon EC2 ، احذف المثيل الذي بدأت في تشغيل AWS IoT Greengrass.
6. في وحدة تحكم AWS IoT Greengrass ، اختر نشر في جزء التنقل.
7. احذف إصدارات المكون الخاصة بك.
   
8. في وحدة تحكم AWS IoT Greengrass ، احذف أشياء ومجموعات وأجهزة AWS IoT.

وفي الختام

في هذا المنشور ، وصفنا سيناريو نموذجيًا لاكتشاف العيوب الصناعية عند الحافة باستخدام توطين الخلل ونشرنا على جهاز CPU فقط. استعرضنا المكونات الرئيسية للسحابة ودورة حياة الحافة مع مثال شامل باستخدام Lookout for Vision و AWS IoT Greengrass. من خلال Lookout for Vision ، قمنا بتدريب نموذج اكتشاف الانحراف في السحابة باستخدام مجموعة بيانات لعبة غريبة، قام بتجميع النموذج إلى بنية مستهدفة ، ووضع النموذج في حزم كمكون AWS IoT Greengrass. باستخدام AWS IoT Greengrass ، قمنا بنشر النموذج على جهاز متطور. لقد أظهرنا تطبيقًا نموذجيًا مستندًا إلى Python يقوم بإصدار صور غريبة للعبة من نظام الملفات المحلي لجهاز الحافة ، ويقوم بتشغيل الاستنتاجات على نموذج Lookout for Vision عند الحافة باستخدام واجهة gRPC ، ويرسل بيانات الاستدلال إلى موضوع MQTT في AWS سحاب.

في منشور مستقبلي ، سنعرض كيفية تشغيل الاستدلالات على دفق الصور في الوقت الفعلي باستخدام خط أنابيب وسائط GStreamer.

ابدأ رحلتك نحو اكتشاف الشذوذ الصناعي والتعرف عليه من خلال زيارة أمازون لوك أوت فور فيجن و AWS تقنيات عمليات Greengrass صفحات الموارد.

عن المؤلفين

مانيش تالريجا هو مدير ممارسات ML الصناعية الأول مع خدمات AWS الاحترافية. يساعد عملاء AWS على تحقيق أهداف أعمالهم من خلال تصميم وبناء حلول مبتكرة تستخدم خدمات AWS ML و IoT على سحابة AWS.

ريان فاندويرف مهندس حلول شريك في Amazon Web Services. قدم سابقًا استشارات تركز على الآلة الافتراضية في Java وتطوير المشاريع كمهندس برمجيات في OCI في فريق Grails و Micronaut. شغل منصب كبير المهندسين المعماريين / مدير المنتجات في ReachForce ، مع التركيز على هندسة البرامج والنظام لحلول AWS Cloud SaaS لإدارة بيانات التسويق. قام Ryan ببناء العديد من حلول SaaS في العديد من المجالات مثل الشركات المالية والإعلامية وشركات الاتصالات والتعليم الإلكتروني منذ عام 1996.

براكاش كريشنان هو مدير تطوير برمجيات أول في Amazon Web Services. يقود الفرق الهندسية التي تبني أنظمة موزعة على نطاق واسع لتطبيق خوارزميات سريعة وفعالة وقابلة للتطوير بدرجة كبيرة على مشكلات التعرف على الصور والفيديو القائمة على التعلم العميق.