رؤية الكمبيوتر باستخدام مجموعات البيانات الاصطناعية مع Amazon Rekognition Custom Labels و Dassault Systèmes 3DEXCITE

تمت كتابة هذا المنشور بالاشتراك مع برنارد باكيس ، كبير مسؤولي التكنولوجيا في Storm Reply ، وكارل هيركت ، كبير المحللين الإستراتيجيين في Dassault Systèmes 3DExcite.

في حين أن رؤية الكمبيوتر يمكن أن تكون حاسمة في الصيانة الصناعية والتصنيع والخدمات اللوجستية وتطبيقات المستهلك ، فإن اعتمادها محدود من خلال الإنشاء اليدوي لمجموعات بيانات التدريب. يتم إنشاء الصور المصنفة في سياق صناعي يدويًا بشكل أساسي ، مما يؤدي إلى إنشاء قدرات تمييز محدودة ، ولا يتسع نطاقه ، وينتج عنه تكاليف العمالة والتأخير في تحقيق قيمة الأعمال. هذا يتعارض مع سرعة الأعمال التي توفرها التكرارات السريعة في تصميم المنتج وهندسة المنتج وتكوين المنتج. لا تتناسب هذه العملية مع المنتجات المعقدة مثل السيارات أو الطائرات أو المباني الحديثة ، لأنه في هذه السيناريوهات يكون كل مشروع وضع العلامات فريدًا (يتعلق بمنتجات فريدة). نتيجة لذلك ، لا يمكن تطبيق تقنية رؤية الكمبيوتر بسهولة على المشاريع الفريدة واسعة النطاق دون بذل جهد كبير في إعداد البيانات ، مما يحد أحيانًا من تسليم حالات الاستخدام.

في هذا المنشور ، نقدم نهجًا جديدًا حيث يتم إنشاء أنظمة رؤية كمبيوتر عالية التخصص من التصميم وملفات CAD. نبدأ بإنشاء توائم رقمية صحيحة بصريًا وتوليد صور مُصنَّفة اصطناعية. ثم ندفع هذه الصور إلى تسميات Amazon Rekognition المخصصة لتدريب نموذج مخصص لاكتشاف الكائن. باستخدام الملكية الفكرية الحالية مع البرامج ، نجعل رؤية الكمبيوتر ميسورة التكلفة وذات صلة بمجموعة متنوعة من السياقات الصناعية.

يساعد تخصيص أنظمة التعرف على زيادة نتائج الأعمال

تتمتع أنظمة الرؤية الحاسوبية المتخصصة التي يتم إنتاجها من التوائم الرقمية بمزايا محددة يمكن توضيحها في حالات الاستخدام التالية:

• إمكانية التتبع للمنتجات الفريدة - إيرباص وبوينج وغيرهما من صناع الطائرات تخصص فريدًا الأرقام التسلسلية للشركة المصنعة (MSNs) لكل طائرة ينتجونها. تتم إدارة هذا خلال عملية الإنتاج بأكملها ، من أجل التوليد وثائق الصلاحية للطيران والحصول على تصاريح للطيران. أ التوأم الرقمي (نموذج افتراضي ثلاثي الأبعاد يمثل منتجًا ماديًا) يمكن اشتقاقه من تكوين كل MSN ، ويقوم بإنشاء نظام رؤية كمبيوتر موزع يتتبع تقدم MSN عبر المنشآت الصناعية. يعمل التعرف المخصص على أتمتة الشفافية الممنوحة لشركات الطيران ، ويحل محل معظم نقاط التفتيش التي تقوم بها شركات الطيران يدويًا. يمكن تطبيق ضمان الجودة الآلي للمنتجات الفريدة على الطائرات والسيارات والمباني وحتى المنتجات الحرفية.
• الواقع المعزز في سياقه - يمكن لأنظمة الرؤية الحاسوبية ذات المستوى الاحترافي أن تضع نطاقًا محدودًا للمناظر الطبيعية ، ولكن بقدرات تمييز أعلى. على سبيل المثال ، في الصيانة الصناعية ، لا فائدة من العثور على مفك براغي في الصورة ؛ تحتاج إلى تحديد طراز مفك البراغي أو حتى رقمه التسلسلي. في مثل هذه السياقات المقيدة ، تتفوق أنظمة التعرف المخصصة على أنظمة التعرف العامة لأنها أكثر صلة بالنتائج التي توصلوا إليها. تتيح أنظمة التعرف المخصصة حلقات تغذية مرتدة دقيقة عبر الواقع المعزز المخصص يتم تسليمها في HMI أو في الأجهزة المحمولة.
• مراقبة الجودة الشاملة - مع هندسة النظام، يمكنك إنشاء توائم رقمية من التركيبات الجزئية ، وإنشاء أنظمة رؤية حاسوبية تتكيف مع مختلف مراحل عمليات التصنيع والإنتاج. يمكن أن تتشابك أدوات التحكم المرئية مع محطات عمل التصنيع ، مما يتيح الفحص الشامل والكشف المبكر عن العيوب. التعرف على العرف للفحص الشامل يمنع بشكل فعال تتابع العيوب في خطوط التجميع. الهدف النهائي هو تقليل معدل الرفض وتعظيم ناتج الإنتاج.
• فحص الجودة المرن - يجب أن يتكيف فحص الجودة الحديث مع اختلافات التصميم والتصنيع المرن. تأتي الاختلافات في التصميم من حلقات التغذية الراجعة حول استخدام المنتج وصيانة المنتج. تصنيع مرن هي قدرة أساسية لاستراتيجية التصنيع حسب الطلب ، وتتماشى مع مبدأ التصنيع الخالي من الهدر المتمثل في تحسين التكلفة. من خلال دمج اختلافات التصميم وخيارات التكوين في التوائم الرقمية ، يتيح التعرف المخصص إمكانية التكيف الديناميكي لأنظمة رؤية الكمبيوتر مع خطط الإنتاج واختلافات التصميم.

عزز رؤية الكمبيوتر باستخدام Dassault Systèmes 3DEXCITE المدعوم من Amazon Rekognition

ضمن شركة Dassault Systèmes ، وهي شركة ذات خبرة عميقة في التوائم الرقمية والتي تعد أيضًا ثاني أكبر محرر برمجيات في أوروبا ، يستكشف فريق 3DEXCITE مسارًا مختلفًا. كما أوضح كارل هيركت ، "ماذا لو تمكن نموذج عصبي مُدرب من الصور الاصطناعية من التعرف على منتج مادي؟" قامت 3DEXCITE بحل هذه المشكلة من خلال الجمع بين تقنيتها والبنية التحتية لـ AWS ، مما يثبت جدوى هذا النهج الغريب. يُعرف أيضًا باسم كشف كائن عبر المجال، حيث يتعلم نموذج الاكتشاف من الصور المصنفة من المجال المصدر (الصور الاصطناعية) ويقوم بعمل تنبؤات للمجال الهدف غير المصنف (المكونات المادية).

تضافرت جهود Dassault Systèmes 3DEXCITE وفريق AWS Prototyping لبناء نظام توضيحي يتعرف على أجزاء من علبة التروس الصناعية. تم بناء هذا النموذج الأولي في 3 أسابيع ، وحقق النموذج المدرب 98٪ درجة F1. تم تدريب نموذج التعرف بالكامل من خط أنابيب برمجي لا يحتوي على أي صور لجزء حقيقي. من التصميم وملفات CAD لعلبة تروس صناعية ، أنشأت 3DEXCITE توائم رقمية صحيحة بصريًا. قاموا أيضًا بإنشاء آلاف الصور الاصطناعية ذات العلامات من التوائم الرقمية. ثم استخدموا Rekognition Custom Labels لتدريب نموذج عصبي عالي التخصص من هذه الصور وقدموا واجهة برمجة تطبيقات التعرف ذات الصلة. قاموا ببناء موقع على شبكة الإنترنت لتمكين التعرف من أي كاميرا ويب على جزء مادي واحد من علبة التروس.

الأمازون إعادة الاعتراف هي خدمة ذكاء اصطناعي تستخدم تقنية التعلم العميق للسماح لك باستخراج بيانات وصفية ذات مغزى من الصور ومقاطع الفيديو - بما في ذلك تحديد الكائنات والأشخاص والنصوص والمشاهد والأنشطة والمحتوى الذي يُحتمل أن يكون غير مناسب - دون الحاجة إلى خبرة في التعلم الآلي (ML). يوفر Amazon Rekognition أيضًا تحليلًا عالي الدقة للوجه وإمكانيات بحث عن الوجه يمكنك استخدامها لاكتشاف الوجوه وتحليلها ومقارنتها لمجموعة متنوعة من حالات التحقق من المستخدم وإحصاء الأشخاص وحالات استخدام الأمان. أخيرًا ، باستخدام Rekognition Custom Labels ، يمكنك استخدام بياناتك لبناء نماذج لاكتشاف الكائنات وتصنيف الصور.

يوفر الجمع بين تقنية Dassault Systèmes لتوليد الصور الاصطناعية ذات العلامات مع Rekognition Custom Labels لرؤية الكمبيوتر سير عمل قابل للتطوير لأنظمة التعرف. تعتبر سهولة الاستخدام عاملاً إيجابياً هاماً هنا لأن إضافة Rekognition Custom Labels إلى خط أنابيب البرنامج العام ليس بالأمر الصعب - فهو بسيط مثل دمج API في سير العمل. لا حاجة لأن تكون عالم تعلم الآلة. ما عليك سوى إرسال الإطارات الملتقطة إلى AWS والحصول على نتيجة يمكنك إدخالها في قاعدة بيانات أو عرضها في متصفح الويب.

وهذا يؤكد كذلك على التحسن الهائل في الإنشاء اليدوي لمجموعات بيانات التدريب. يمكنك تحقيق نتائج أفضل بشكل أسرع وبدقة أكبر ، دون الحاجة إلى ساعات عمل مكلفة وغير ضرورية. مع وجود العديد من حالات الاستخدام المحتملة ، فإن الجمع بين Dassault Systèmes و Rekognition Custom Labels لديه القدرة على تزويد أعمال اليوم بعائد استثمار كبير وفوري.

حل نظرة عامة

تتمثل الخطوة الأولى في هذا الحل في عرض الصور التي تنشئ مجموعة بيانات التدريب. يتم ذلك عن طريق منصة 3DEXCITE. يمكننا إنشاء بيانات التسمية برمجيًا باستخدام البرامج النصية. الحقيقة الأمازون SageMaker الأرض يوفر أداة التعليقات التوضيحية لتسمية الصور ومقاطع الفيديو بسهولة لمهام التصنيف واكتشاف الكائنات. لتدريب نموذج في Amazon Rekognition ، يجب أن يتوافق ملف الملصقات مع تنسيق Ground Truth. توجد هذه الملصقات بتنسيق JSON ، بما في ذلك معلومات مثل حجم الصورة وإحداثيات المربع المحيط ومعرفات الفئة.

ثم قم بتحميل الصور التركيبية والبيان إلى خدمة تخزين أمازون البسيطة (Amazon S3) ، حيث يمكن لـ Rekognition Custom Labels استيرادها كمكونات لمجموعة بيانات التدريب.

للسماح لـ Rekognition Custom Labels باختبار النماذج مقابل مجموعة من الصور المكونة الحقيقية ، نقدم مجموعة من الصور لأجزاء المحرك الحقيقية الملتقطة بالكاميرا وتحميلها إلى Amazon S3 لاستخدامها كمجموعة بيانات اختبار.

أخيرًا ، تدرب Rekognition Custom Labels أفضل نموذج للكشف عن الكائنات باستخدام مجموعة بيانات التدريب الاصطناعية ومجموعة بيانات الاختبار المكونة من صور لكائنات حقيقية ، وتقوم بإنشاء نقطة النهاية مع النموذج الذي يمكننا استخدامه لتشغيل التعرف على الكائنات في تطبيقنا.

يوضح الرسم البياني التالي سير عمل الحل لدينا:

إنشاء صور اصطناعية

يتم إنشاء الصور الاصطناعية من منصة 3Dexperience ، وهي من منتجات شركة Dassault Systèmes. تتيح لك هذه المنصة إنشاء صور واقعية وعرضها بناءً على ملف CAD (التصميم بمساعدة الكمبيوتر) الخاص بالكائن. يمكننا إنشاء آلاف المتغيرات في غضون ساعات قليلة عن طريق تغيير تكوينات تحويل الصور على النظام الأساسي.

في هذا النموذج الأولي ، اخترنا الأجزاء الخمسة التالية المتميزة بصريًا لعلبة التروس للكشف عن الأشياء. وهي تشمل مبيت التروس ، ونسبة التروس ، وغطاء المحمل ، والشفة ، والعتاد الدودي.

استخدمنا طرق زيادة البيانات التالية لزيادة تنوع الصور ، وجعل البيانات التركيبية أكثر واقعية. يساعد في تقليل خطأ تعميم النموذج.

• التكبير / التصغير - تقوم هذه الطريقة بتكبير أو تصغير الكائن في الصور بشكل عشوائي.
• تناوب - تقوم هذه الطريقة بتدوير الكائن في الصور ، ويبدو أن الكاميرا الافتراضية تلتقط صورًا عشوائية للكائن من زوايا 360 درجة.
• تحسين شكل ومظهر المادة - حددنا أنه بالنسبة لبعض أجزاء التروس ، يكون مظهر المادة أقل واقعية في العرض الأولي. أضفنا تأثيرًا معدنيًا لتحسين الصور الاصطناعية.
• استخدم إعدادات إضاءة مختلفة - في هذا النموذج الأولي ، قمنا بمحاكاة شرطين للإضاءة:
  • المخزن - توزيع ضوء واقعي. الظلال والانعكاسات ممكنة.
  • استوديو - يتم وضع ضوء متجانس حول الكائن. هذا غير واقعي لكن لا ظلال أو انعكاسات.
• استخدم موقفًا واقعيًا لكيفية عرض الكائن في الوقت الفعلي - في الحياة الواقعية ، يتم وضع بعض الأشياء ، مثل الحافة وغطاء المحمل ، بشكل عام على سطح ، ويكشف النموذج عن الكائنات بناءً على الجوانب العلوية والسفلية. لذلك ، قمنا بإزالة صور التدريب التي تظهر الحافة الرقيقة للأجزاء ، والتي تسمى أيضًا موضع الحافة ، وقمنا بزيادة صور الكائنات في وضع مسطح.
• إضافة كائنات متعددة في صورة واحدة - في سيناريوهات الحياة الواقعية ، يمكن أن تظهر أجزاء تروس متعددة في عرض واحد ، لذلك قمنا بإعداد صور تحتوي على أجزاء تروس متعددة.

على منصة 3Dexperience ، يمكننا تطبيق خلفيات مختلفة على الصور ، والتي يمكن أن تساعد في زيادة تنوع الصور بشكل أكبر. نظرًا لضيق الوقت ، لم ننفذ هذا في هذا النموذج الأولي.

استيراد مجموعة بيانات التدريب الاصطناعية

في ML ، تعني البيانات المصنفة أن بيانات التدريب قد تم شرحها لإظهار الهدف ، وهي الإجابة التي تريد أن يتوقعها نموذج ML الخاص بك. يجب أن تمتثل البيانات المصنفة التي يمكن أن تستهلكها Rekognition Custom Labels مع متطلبات ملف بيان Ground Truth. يتكون ملف البيان من سطر أو أكثر من سطور JSON ؛ يحتوي كل سطر على معلومات لصورة واحدة. بالنسبة لبيانات التدريب التركيبية ، يمكن إنشاء معلومات وضع العلامات برمجيًا استنادًا إلى ملف CAD وتكوينات تحويل الصور التي ذكرناها سابقًا ، مما يوفر جهدًا يدويًا كبيرًا لعمل وضع العلامات. لمزيد من المعلومات حول متطلبات تصنيف تنسيقات الملفات ، راجع قم بإنشاء ملف بيان و توطين الكائن في ملفات البيان. فيما يلي مثال على تسمية الصور:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

بعد إعداد ملف البيان ، نقوم بتحميله إلى حاوية S3 ، ثم نقوم بإنشاء مجموعة بيانات تدريب في Rekognition Custom Labels عن طريق تحديد الخيار استيراد الصور التي تم تسميتها بواسطة Amazon SageMaker Ground Truth.

بعد استيراد ملف البيان ، يمكننا عرض معلومات التسمية بشكل مرئي على وحدة تحكم Amazon Rekognition. يساعدنا هذا في التأكد من إنشاء ملف البيان واستيراده. وبشكل أكثر تحديدًا ، يجب أن تتماشى المربعات المحيطة مع الكائنات الموجودة في الصور ، ويجب تعيين معرفات فئة الكائنات بشكل صحيح.

قم بإنشاء مجموعة بيانات الاختبار

يتم التقاط صور الاختبار في الحياة الواقعية بهاتف أو كاميرا من زوايا مختلفة وظروف الإضاءة ، لأننا نريد التحقق من دقة النموذج ، التي دربناها باستخدام البيانات التركيبية ، مقابل سيناريوهات الحياة الواقعية. يمكنك تحميل صور الاختبار هذه إلى حاوية S3 ، ثم استيرادها كمجموعات بيانات في Rekognition Custom Labels. أو يمكنك تحميلها مباشرة إلى مجموعات البيانات من جهازك المحلي.

توفر Rekognition Custom Labels إمكانية التعليق التوضيحي للصور المضمنة ، والتي تتمتع بتجربة مماثلة لتجربة Ground Truth. يمكنك بدء عمل وضع العلامات عند استيراد بيانات الاختبار. بالنسبة لحالة استخدام اكتشاف الكائن ، يجب إنشاء المربعات المحيطة بإحكام حول الكائنات محل الاهتمام ، مما يساعد النموذج على التعرف بدقة على المناطق والبكسل التي تنتمي إلى الكائنات المستهدفة. بالإضافة إلى ذلك ، يجب عليك تسمية كل مثيل للكائنات المستهدفة في جميع الصور ، حتى تلك التي تكون خارج نطاق الرؤية جزئيًا أو محجوبة بواسطة كائنات أخرى ، وإلا فإن النموذج يتنبأ بمزيد من السلبيات الخاطئة.

إنشاء نموذج الكشف عن كائن عبر المجال

Rekognition Custom Labels هي خدمة مُدارة بالكامل ؛ تحتاج فقط إلى توفير مجموعات بيانات القطار والاختبار. يقوم بتدريب مجموعة من النماذج ويختار النموذج الأفضل أداءً بناءً على البيانات المقدمة. في هذا النموذج الأولي ، نقوم بإعداد مجموعات بيانات التدريب الاصطناعية بشكل متكرر من خلال تجربة مجموعات مختلفة من طرق تكبير الصورة التي ذكرناها سابقًا. يتم إنشاء نموذج واحد لكل مجموعة بيانات تدريب في Rekognition Custom Labels ، مما يسمح لنا بمقارنة والعثور على مجموعة بيانات التدريب المثلى لحالة الاستخدام هذه على وجه التحديد. يحتوي كل نموذج على أقل عدد من صور التدريب ، ويحتوي على تنوع جيد للصور ، ويوفر أفضل دقة للنموذج. بعد 15 تكرارًا ، حققنا درجة F1 بنسبة 98٪ من دقة النموذج باستخدام حوالي 10,000 صورة تدريب تركيبية ، أي 2,000 صورة لكل كائن في المتوسط.

نتائج الاستدلال النموذجي

تُظهر الصورة التالية نموذج Amazon Rekognition المستخدم في تطبيق الاستدلال في الوقت الفعلي. تم الكشف عن جميع المكونات بشكل صحيح وبثقة عالية.

وفي الختام

في هذا المنشور ، أوضحنا كيفية تدريب نموذج رؤية الكمبيوتر على صور اصطناعية بحتة ، وكيف لا يزال بإمكان النموذج التعرف بشكل موثوق على كائنات العالم الحقيقي. هذا يوفر جهدًا يدويًا كبيرًا في جمع بيانات التدريب وتصنيفها. من خلال هذا الاستكشاف ، تعمل Dassault Systèmes على توسيع القيمة التجارية لنماذج المنتجات ثلاثية الأبعاد التي أنشأها المصممون والمهندسون ، لأنه يمكنك الآن استخدام بيانات CAD و CAE و PLM في أنظمة التعرف على الصور في العالم المادي.

لمزيد من المعلومات حول ميزات Rekognition Custom Labels الرئيسية وحالات الاستخدام ، راجع تسميات Amazon Rekognition المخصصة. إذا لم يتم تصنيف صورك محليًا باستخدام Ground Truth ، وكان هذا هو الحال بالنسبة لهذا المشروع ، فراجع إنشاء ملف بيان لتحويل بيانات التسمية الخاصة بك إلى التنسيق الذي يمكن أن تستهلكه Rekognition Custom Labels.

حول المؤلف

وودي بوراتشينو يشغل حاليًا منصب كبير مهندسي حلول التعلم الآلي في AWS. ومقره في ميلانو بإيطاليا ، عمل وودي على تطوير البرمجيات قبل الانضمام إلى AWS في عام 2015 ، حيث ينمو شغفه بتقنيات الرؤية الحاسوبية والحوسبة المكانية (AR / VR / XR). يركز شغفه الآن على الابتكار metaverse. اتبعه لينكد إن.

ينغ هوى، دكتوراه ، مهندس نماذج أولية لتعلم الآلة في AWS. مجالات اهتماماتها الرئيسية هي التعلم العميق ، الرؤية الحاسوبية ، البرمجة اللغوية العصبية والتنبؤ ببيانات السلاسل الزمنية. في أوقات فراغها ، تستمتع بقراءة الروايات والمشي لمسافات طويلة في المنتزهات الوطنية في المملكة المتحدة.

برنارد باك يشغل حاليًا منصب كبير مسؤولي التكنولوجيا في Storm Reply ويركز على الحلول الصناعية المنشورة على AWS. مقره في باريس ، فرنسا ، عمل برنارد سابقًا كمهندس حلول رئيسي وكمستشار رئيسي في AWS. تغطي مساهماته في تحديث المؤسسات AWS for Industrial ، و AWS CDK ، وتنبع هذه المساهمات الآن في تكنولوجيا المعلومات الخضراء والأنظمة القائمة على الصوت. اتبعه تويتر.

كارل هيركت يشغل حاليًا منصب كبير الإستراتيجيين في Dassault Systèmes 3DExcite. مقره في ميونيخ ، ألمانيا ، ابتكر تطبيقات مبتكرة للرؤية الحاسوبية تقدم نتائج ملموسة. اتبعه لينكدين:.

• كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
• كريبتوهوك. الرادار. تجربة مجانية.
• المصدر: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/