هذا منشور ضيف كتبه Andrew Masek ، مهندس برمجيات في The Barcode Registry و إريك كويزلينج ، الرئيس التنفيذي لـ Barcode Registry.
تزييف المنتج هو أكبر مشروع إجرامي في العالم. نمت أكثر من 10,000،1.7٪ في العقدين الماضيين ، وبلغ إجمالي مبيعات السلع المقلدة الآن XNUMX تريليون دولار سنويًا في جميع أنحاء العالم ، وهو أكثر من المخدرات والاتجار بالبشر. على الرغم من أن الطرق التقليدية لمنع التزييف مثل الرموز الشريطية الفريدة والتحقق من المنتج يمكن أن تكون فعالة للغاية ، فإن تقنيات التعلم الآلي الجديدة (ML) مثل اكتشاف الأشياء تبدو واعدة للغاية. من خلال اكتشاف الكائن ، يمكنك الآن التقاط صورة لمنتج ومعرفة ما إذا كان هذا المنتج من المحتمل أن يكون شرعيًا أو احتياليًا على الفور تقريبًا.
• سجل الباركود (بالاشتراك مع شريكها Buyabarcode.com) هو حل متكامل الخدمات يساعد العملاء على منع الاحتيال في المنتجات والتزوير. يقوم بذلك عن طريق بيع الرموز الشريطية الفريدة المسجلة في GS1 ، والتحقق من ملكية المنتج ، وتسجيل منتجات المستخدمين والرموز الشريطية في قاعدة بيانات شاملة. آخر عروضهم ، والتي نناقشها في هذا المنشور ، تستخدم الأمازون SageMaker لإنشاء نماذج للكشف عن الكائنات للمساعدة في التعرف على المنتجات المقلدة على الفور.
نظرة عامة على الحل
لاستخدام نماذج اكتشاف الكائنات هذه ، تحتاج أولاً إلى جمع البيانات لتدريبها. تقوم الشركات بتحميل الصور المشروحة لمنتجاتها إلى The Barcode Registry موقع الكتروني. بعد أن يتم تحميل هذه البيانات إلى خدمة تخزين أمازون البسيطة (Amazon S3) ومعالجتها بواسطة AWS لامدا وظائف ، يمكنك استخدامه لتدريب نموذج اكتشاف كائن SageMaker. تتم استضافة هذا النموذج على نقطة نهاية SageMaker ، حيث يربطها موقع الويب بالمستخدم النهائي.
هناك ثلاث خطوات أساسية لإنشاء سجل الباركود يستخدم لإنشاء نموذج مخصص للكشف عن الكائنات باستخدام SageMaker:
- قم بإنشاء برنامج نصي للتدريب لتشغيل SageMaker.
- قم ببناء حاوية Docker من البرنامج النصي للتدريب وقم بتحميله إلى Amazon ECR.
- استخدم وحدة تحكم SageMaker لتدريب نموذج باستخدام الخوارزمية المخصصة.
بيانات المنتج
كشرط أساسي لتدريب نموذج اكتشاف الكائن ، ستحتاج إلى حساب AWS وصور تدريبية ، تتكون من 100 صورة عالية الجودة على الأقل (عالية الدقة وفي ظروف إضاءة متعددة) للكائن الخاص بك. كما هو الحال مع أي نموذج ML ، تعتبر البيانات عالية الجودة أمرًا بالغ الأهمية. لتدريب نموذج اكتشاف الكائن ، نحتاج إلى صور تحتوي على المنتجات ذات الصلة بالإضافة إلى المربعات المحيطة التي تصف مكان المنتجات في الصور ، كما هو موضح في المثال التالي.
لتدريب نموذج فعال ، يلزم وجود صور لكل منتج من منتجات العلامة التجارية بخلفيات وظروف إضاءة مختلفة - ما يقرب من 30 إلى 100 صورة توضيحية فريدة لكل منتج.
بعد تحميل الصور على خادم الويب ، يتم تحميلها على Amazon S3 باستخدام ملف AWS SDK لـ PHP. يتم تشغيل حدث Lambda في كل مرة يتم فيها تحميل صورة. تزيل الوظيفة بيانات Exif الأولية من الصور ، مما قد يؤدي في بعض الأحيان إلى ظهورها مستديرة عندما تفتحها مكتبات ML المستخدمة لاحقًا لتدريب النموذج. يتم تخزين بيانات الصندوق المحيط المرتبطة في ملفات JSON وتحميلها إلى Amazon S3 لمرافقة الصور.
SageMaker لنماذج الكشف عن الكائنات
SageMaker هي خدمة ML مُدارة تتضمن مجموعة متنوعة من الأدوات لبناء النماذج والتدريب عليها واستضافتها في السحابة. على وجه الخصوص ، يستخدم TheBarcodeRegistry SageMaker لخدمة اكتشاف الكائنات بسبب خدمات الاستضافة والتدريب على نموذج ML الموثوق به والقابل للتطوير من SageMaker. هذا يعني أنه يمكن للعديد من العلامات التجارية أن يكون لديها نماذج خاصة بها للكشف عن الكائنات مدربة واستضافة ، وحتى إذا كان الاستخدام يرتفع بشكل غير متوقع ، فلن يكون هناك أي توقف.
يستخدم Barcode Registry حاويات Docker مخصصة تم تحميلها إلى سجل الأمازون المرنة للحاويات (Amazon ECR) من أجل الحصول على تحكم أكثر دقة في خوارزمية اكتشاف الكائنات المستخدمة للتدريب والاستدلال بالإضافة إلى دعم خادم متعدد النماذج (MMS). تعد MMS مهمة جدًا لحالة استخدام الكشف عن التزوير لأنها تسمح باستضافة نماذج متعددة العلامات التجارية بشكل فعال من حيث التكلفة على نفس الخادم. بدلاً من ذلك ، يمكنك استخدام ملف خوارزمية الكشف عن الكائن لنشر النماذج القياسية التي طورتها AWS بسرعة.
تدريب نموذج مخصص لاكتشاف الكائنات باستخدام SageMaker
أولاً ، تحتاج إلى إضافة خوارزمية الكشف عن الكائنات. في هذه الحالة ، قم بتحميل حاوية Docker تحتوي على نصوص لتدريب نموذج اكتشاف كائن Yolov5 على Amazon ECR:
- على وحدة تحكم SageMaker ، تحت دفتر في جزء التنقل ، اختر مثيلات دفتر الملاحظات.
- اختار إنشاء مثيل لدفتر الملاحظات.
- أدخل اسمًا لمثيل دفتر الملاحظات وتحت الأذونات والتشفير اختيار إدارة الهوية والوصول AWS (IAM) مع الأذونات اللازمة.
- فتح مستودعات Git القائمة.
- أختار استنساخ مستودع Git عام لمثيل دفتر الملاحظات هذا فقط والصق ما يلي عنوان URL لمستودع Git: https://github.com/portoaj/SageMakerObjectDetection
- انقر إنشاء مثيل دفتر وانتظر حوالي خمس دقائق حتى يتم تحديث حالة المثيل من قائمة الانتظار إلى في الخدمة في ال مثيل مفكرة القائمة.
- بمجرد أن يكون دفتر الملاحظات في الخدمة، حدده وانقر الإجراءات و فتح كوكب المشتري لتشغيل مثيل الكمبيوتر الدفتري في علامة تبويب جديدة.
- إختار ال SageMakerObjectDetection الدليل ثم انقر فوق
sagemakerobjectdetection.ipynb
لإطلاق دفتر Jupyter. - إختار ال
conda_python3
kernel وانقر تعيين Kernel. - حدد خلية الرمز وقم بتعيين ملف
aws_account_id
متغير إلى معرّف حساب AWS الخاص بك. - انقر يجري لبدء عملية إنشاء حاوية Docker وتحميلها إلى Amazon ECR. قد تستغرق هذه العملية حوالي 20 دقيقة حتى تكتمل.
- بمجرد تحميل حاوية Docker ، ارجع إلى ملف مثيلات دفتر الملاحظات القائمة ، حدد المثيل الخاص بك ، وانقر فوق الإجراءات و قلة النوم لإغلاق مثيل دفتر الملاحظات الخاص بك.
بعد بناء الخوارزمية ودفعها إلى Amazon ECR ، يمكنك استخدامها لتدريب نموذج عبر وحدة تحكم SageMaker.
- على وحدة تحكم SageMaker ، تحت قادة الإيمان في جزء التنقل ، اختر وظائف التدريب.
- اختار إنشاء وظيفة تدريبية.
- أدخل اسمًا للوظيفة واختر ملف إدارة الهوية والوصول AWS (IAM) مع الأذونات اللازمة.
- في حالة مصدر الخوارزمية، حدد حاوية الخوارزمية الخاصة بك في ECR.
- في حالة وعاء، أدخل مسار التسجيل.
- يجب أن يكون إعداد مثيل ml.p2.xlarge واحد ضمن تكوين الموارد كافيًا لتدريب نموذج Yolov5.
- حدد مواقع Amazon S3 لكل من بيانات الإدخال ومسار الإخراج وأي إعدادات أخرى مثل تكوين VPC عبر سحابة أمازون الافتراضية الخاصة (Amazon VPC) أو تمكين Managed Spot Training.
- اختار إنشاء وظيفة تدريبية.
يمكنك تتبع تقدم تدريب النموذج على وحدة تحكم SageMaker.
تدريب النموذج الآلي
يوضح الرسم البياني التالي سير عمل تدريب النموذج الآلي:
لجعل SageMaker يبدأ في تدريب نموذج اكتشاف الكائن بمجرد انتهاء المستخدم من تحميل بياناته ، يستخدم خادم الويب بوابة أمازون API لإخطار إحدى وظائف Lambda بأن العلامة التجارية قد انتهت والبدء في وظيفة تدريبية.
عندما يتم تدريب نموذج العلامة التجارية بنجاح ، أمازون إيفينت بريدج يستدعي وظيفة Lambda التي تنقل النموذج المدرب إلى دلو S3 الخاص بنقطة النهاية الحية ، حيث يكون جاهزًا أخيرًا للاستدلال. البديل الأحدث لاستخدام Amazon EventBridge لنقل النماذج خلال دورة حياة MLOps التي يجب أن تفكر فيها هو خطوط الأنابيب SageMaker.
استضف النموذج للاستدلال
يوضح الرسم التخطيطي التالي سير عمل الاستدلال:
لاستخدام النماذج المدربة ، يتطلب SageMaker نموذجًا للاستدلال يتم استضافته بواسطة نقطة نهاية. نقطة النهاية هي الخادم أو مجموعة الخوادم المستخدمة بالفعل لاستضافة نموذج الاستدلال. على غرار حاوية التدريب التي أنشأناها ، تتم استضافة حاوية Docker للاستدلال في Amazon ECR. يستخدم نموذج الاستدلال حاوية Docker هذه ويأخذ صورة الإدخال التي التقطها المستخدم بهاتفه ، ويقوم بتشغيلها من خلال نموذج اكتشاف الكائنات المدربة ، وإخراج النتيجة.
مرة أخرى ، يستخدم Barcode Registry حاويات Docker مخصصة لنموذج الاستدلال لتمكين استخدام Multi Model Server ، ولكن إذا كانت هناك حاجة إلى نموذج واحد فقط يمكن استضافته بسهولة من خلال خوارزمية اكتشاف الكائن المضمنة.
وفي الختام
يستخدم Barcode Registry (بالاشتراك مع شريكه Buyabarcode.com) AWS لخط أنابيب اكتشاف الكائنات بالكامل. يقوم خادم الويب بتخزين البيانات بشكل موثوق في Amazon S3 ويستخدم وظائف API Gateway و Lambda لتوصيل خادم الويب بالسحابة. تقوم SageMaker بتدريب نماذج ML واستضافتها بسهولة ، مما يعني أنه يمكن للمستخدم التقاط صورة لمنتج على هاتفه ومعرفة ما إذا كان المنتج مزيفًا أم لا. يوضح هذا المنشور كيفية إنشاء واستضافة نموذج اكتشاف كائن باستخدام SageMaker ، وكذلك كيفية أتمتة العملية.
أثناء الاختبار ، تمكن النموذج من تحقيق دقة تزيد عن 90٪ على مجموعة تدريب مكونة من 62 صورة ومجموعة اختبار مكونة من 32 صورة ، وهو أمر مثير للإعجاب بالنسبة لنموذج تم تدريبه دون أي تدخل بشري. لبدء تدريب نماذج الكشف عن الكائنات بنفسك ، تحقق من المسؤول توثيق أو تعلم كيف نشر نموذج اكتشاف كائن إلى الحافة باستخدام AWS IoT Greengrass.
المحتوى والآراء الواردة في هذا المنشور تخص مؤلف الطرف الثالث ولا تتحمل AWS مسؤولية محتوى هذا المنشور أو دقته.
حول المؤلف
أندرو مسك، Software Engineer في The Barcode Registry.
إريك كويزلينج، الرئيس التنفيذي لشركة The Barcode Registry.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- من نحن
- الوصول
- حسابي
- خوارزمية
- بالرغم ان
- أمازون
- API
- الآلي
- AWS
- الحدود
- صندوق
- العلامات التجارية
- ابني
- مدمج
- سبب
- الرئيس التنفيذي
- سحابة
- الكود
- جمع
- الشركات
- الاعداد
- كنسولات
- وعاء
- حاويات
- محتوى
- مراقبة
- تزوير
- خلق
- مجرم
- على
- العملاء
- البيانات
- قاعدة البيانات
- نشر
- كشف
- المتقدمة
- مختلف
- بحث
- عامل في حوض السفن
- إلى أسفل
- الوقت الضائع
- المخدرات
- بسهولة
- حافة
- الطُرق الفعّالة
- تمكين
- نقطة النهاية
- مهندس
- مشروع
- الحدث/الفعالية
- مثال
- أخيرا
- الاسم الأول
- متابعيك
- احتيال
- وظيفة
- بوابة
- بضائع
- متزايد
- ضيف
- زائر رد
- مساعدة
- يساعد
- كيفية
- كيفية
- HTTPS
- الانسان
- هوية
- صورة
- أهمية
- قام المحفل
- IT
- وظيفة
- القفل
- آخر
- إطلاق
- تعلم
- تعلم
- المواقع
- آلة
- آلة التعلم
- تمكن
- ML
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- خطوة
- قائمة الإختيارات
- مفكرة
- الوهب
- رسمي
- آراء
- طلب
- أخرى
- ملكية
- الشريكة
- صورة
- جميل
- الوقاية
- خاص
- عملية المعالجة
- منتج
- المنتجات
- واعد
- جمهور
- بسرعة
- الاعتراف
- ذات الصلة
- مستودع
- مورد
- مسؤول
- يجري
- الأملاح
- تحجيم
- الإستراحة
- الخدمة
- خدمات
- طقم
- مماثل
- الاشارات
- فرقعة
- تطبيقات الكمبيوتر
- مهندس البرمجيات
- حل
- بقعة
- بداية
- بدأت
- الحالة
- تخزين
- فروعنا
- بنجاح
- الدعم
- التكنولوجيا
- الاختبار
- العالم
- طرف ثالث
- عبر
- الوقت
- أدوات
- مسار
- تقليدي
- قادة الإيمان
- القطارات
- فريد من نوعه
- تحديث
- تستخدم
- التحقق
- افتراضي
- انتظر
- الويب
- خادم الويب
- الموقع الإلكتروني
- بدون
- العالم
- في جميع أنحاء العالم
- عام