זהו פוסט אורח שנכתב על ידי אנדרו מאסק, מהנדס תוכנה ב-The Barcode Registry ואריק קוויזלינג, מנכ"ל The Barcode Registry.
זיוף מוצרים הוא המיזם הפלילי היחיד הגדול בעולם. המכירות של מוצרים מזויפים, שגדלו ביותר מ-10,000% בשני העשורים האחרונים, מסתכמות כעת ב-1.7 טריליון דולר בשנה ברחבי העולם, שזה יותר מסמים וסחר בבני אדם. למרות ששיטות מסורתיות למניעת זיוף כמו ברקודים ייחודיים ואימות מוצר יכולות להיות יעילות מאוד, טכנולוגיות חדשות של למידת מכונה (ML) כגון זיהוי אובייקטים נראות מבטיחות מאוד. עם זיהוי אובייקטים, אתה יכול כעת לצלם תמונה של מוצר ולדעת כמעט באופן מיידי אם המוצר הזה עשוי להיות לגיטימי או הונאה.
השמיים מרשם ברקוד (בשיתוף עם בן זוגה Buyabarcode.com) הוא פתרון שירות מלא המסייע ללקוחות למנוע הונאה וזיוף מוצרים. היא עושה זאת על ידי מכירת ברקודים ייחודיים הרשומים ב-GS1, אימות בעלות על מוצר ורישום מוצרים וברקודים של משתמשים במסד נתונים מקיף. ההצעה האחרונה שלהם, שבה אנו דנים בפוסט זה, משתמשת אמזון SageMaker ליצור מודלים לזיהוי אובייקטים כדי לסייע בזיהוי מיידי של מוצרים מזויפים.
סקירה כללית של הפיתרון
כדי להשתמש במודלים אלה לזיהוי אובייקטים, תחילה עליך לאסוף נתונים כדי לאמן אותם. חברות מעלות תמונות מוערות של המוצרים שלהן ל-The Barcode Registry אתר אינטרנט. לאחר העלאת הנתונים ל שירות אחסון פשוט של אמזון (Amazon S3) ומעובד על ידי AWS למבדה פונקציות, אתה יכול להשתמש בו כדי לאמן מודל זיהוי אובייקטים של SageMaker. מודל זה מתארח בנקודת קצה של SageMaker, כאשר האתר מחבר אותו למשתמש הקצה.
ישנם שלושה שלבים עיקריים ליצירת בריקוד הברקוד שבו משתמשת ליצירת מודל זיהוי אובייקטים מותאם אישית עם SageMaker:
- צור סקריפט הדרכה להפעלת SageMaker.
- בנה קונטיינר Docker מסקריפט ההדרכה והעלה אותו לאמזון ECR.
- השתמש בקונסולת SageMaker כדי לאמן דגם עם האלגוריתם המותאם אישית.
נתוני מוצר
כתנאי הכרחי על מנת להכשיר מודל זיהוי אובייקטים תזדקק לחשבון AWS ותמונות אימון, המורכבות מ-100 תמונות באיכות גבוהה (ברזולוציה גבוהה ובמספר תנאי תאורה) של האובייקט שלך. כמו בכל דגם ML, נתונים איכותיים הם חשיבות עליונה. כדי להכשיר מודל זיהוי אובייקטים, אנו זקוקים לתמונות המכילות את המוצרים הרלוונטיים וכן תיבות תוחמות המתארות היכן המוצרים נמצאים בתמונות, כפי שמוצג בדוגמה הבאה.
כדי להכשיר דוגמנית יעילה, יש צורך בתמונות של כל אחד ממוצרי המותג עם רקע ותנאי תאורה שונים - כ-30–100 תמונות מוערות ייחודיות לכל מוצר.
לאחר העלאת התמונות לשרת האינטרנט, הן מועלות לאמזון S3 באמצעות AWS SDK עבור PHP. אירוע למבדה מופעל בכל פעם שתמונה מועלית. הפונקציה מסירה את המטא-נתונים של Exif מהתמונות, מה שעלול לפעמים לגרום להן להופיע מסובבות כשהן נפתחות על ידי ספריות ML המשמשות מאוחר יותר לאימון המודל. נתוני התיבה התוחמת המשויכים מאוחסנים בקובצי JSON ומועלים לאמזון S3 כדי ללוות את התמונות.
SageMaker לדגמי זיהוי אובייקטים
SageMaker הוא שירות ML מנוהל הכולל מגוון כלים לבנייה, הדרכה ואירוח מודלים בענן. בפרט, TheBarcodeRegistry משתמשת ב-SageMaker עבור שירות זיהוי האובייקטים שלה בגלל שירותי ההדרכה ושירותי האירוח האמינים והניתנים להרחבה של מודל ML של SageMaker. משמעות הדבר היא שמותגים רבים יכולים לקבל מודלים משלהם לזיהוי אובייקטים מאומנים ומתארחים, וגם אם השימוש עולה באופן בלתי צפוי, לא תהיה זמן השבתה.
מרשם הברקוד משתמש בקונטיינרים מותאמים אישית של Docker שהועלו אליהם מרשם מיכל אלסטי של אמזון (Amazon ECR) על מנת לקבל שליטה עדינה יותר באלגוריתם זיהוי האובייקטים המופעל להדרכה והסקת מסקנות, כמו גם תמיכה עבור שרת רב מודל (MMS). MMS חשוב מאוד למקרה השימוש בזיהוי זיוף מכיוון שהוא מאפשר לארח דגמים מרובים של מותגים באותו שרת בצורה חסכונית. לחלופין, אתה יכול להשתמש במובנה אלגוריתם לגילוי אובייקטים לפרוס במהירות מודלים סטנדרטיים שפותחו על ידי AWS.
אימון מודל זיהוי אובייקטים מותאם אישית עם SageMaker
ראשית, עליך להוסיף את אלגוריתם זיהוי האובייקטים שלך. במקרה זה, העלה קונטיינר Docker הכולל סקריפטים לאימון מודל זיהוי אובייקטים של Yolov5 לאמזון ECR:
- במסוף SageMaker, תחת מחברת בחלונית הניווט, בחר מופעי מחברת.
- בחרו צור מופע מחברת.
- הזן שם עבור מופע המחברת ומטה הרשאות והצפנה בחר ב- AWS זהות וניהול גישה תפקיד (IAM) עם ההרשאות הנדרשות.
- פתח את מאגרי גיט תפריט.
- בחר שיבח מאגר Git ציבורי למופע מחברת זה בלבד והדבק את הדברים הבאים כתובת האתר של מאגר Git: https://github.com/portoaj/SageMakerObjectDetection
- נְקִישָׁה צור מופע מחברת והמתן כחמש דקות עד שהסטטוס של המופע יתעדכן ממנו ממתין ל ל בשירות ב מופע מחברת תפריט.
- ברגע שהמחברת היא בשירותבחר אותו ולחץ פעולות ו פתח את צדק כדי להפעיל את מופע המחברת בכרטיסייה חדשה.
- בחר SageMakerObjectDetection ספרייה ולאחר מכן לחץ על
sagemakerobjectdetection.ipynb
כדי להפעיל את המחברת Jupyter. - בחר
conda_python3
קרנל ולחץ הגדר ליבה. - בחר את תא הקוד והגדר את
aws_account_id
משתנה למזהה חשבון AWS שלך. - נְקִישָׁה הפעלה כדי להתחיל בתהליך של בניית קונטיינר Docker והעלאתו לאמזון ECR. תהליך זה עשוי להימשך כ-20 דקות.
- לאחר העלאת המכולה של Docker, חזור אל מופעי מחברת בתפריט, בחר את המופע שלך ולחץ פעולות ו עצור כדי לכבות את מופע המחברת שלך.
לאחר בניית האלגוריתם ודחוף לאמזון ECR, אתה יכול להשתמש בו כדי לאמן דגם דרך קונסולת SageMaker.
- במסוף SageMaker, תחת הדרכה בחלונית הניווט, בחר משרות הדרכה.
- בחרו יצירת עבודת הדרכה.
- הזן שם למשרה ובחר את AWS זהות וניהול גישה תפקיד (IAM) עם ההרשאות הנדרשות.
- בעד מקור אלגוריתם, בחר מיכל אלגוריתם משלך ב-ECR.
- בעד מכולה, הזן את נתיב הרישום.
- הגדרת מופע יחיד של ml.p2.xlarge תחת תצורת המשאב אמורה להספיק לאימון דגם Yolov5.
- ציין מיקומי Amazon S3 הן עבור נתוני הקלט והן עבור נתיב הפלט וכל הגדרות אחרות כגון הגדרת VPC באמצעות ענן וירטואלי פרטי של אמזון (Amazon VPC) או הפעלת Managed Spot Training.
- בחרו יצירת עבודת הדרכה.
ניתן לעקוב אחר התקדמות האימון של הדגם בקונסולת SageMaker.
אימון דגמים אוטומטי
התרשים הבא ממחיש את זרימת העבודה של אימון מודלים אוטומטיים:
כדי לגרום ל-SageMaker להתחיל לאמן את מודל זיהוי האובייקטים ברגע שמשתמש מסיים להעלות את הנתונים שלו, שרת האינטרנט משתמש שער API של אמזון להודיע לפונקציית Lambda שהמותג סיים ולהתחיל בעבודת הדרכה.
כאשר מודל של מותג מאומן בהצלחה, אמזון EventBridge קורא לפונקציית Lambda שמעבירה את הדגם המאומן לתוך דלי S3 של נקודת הקצה החיה, שם הוא סוף סוף מוכן להסקת מסקנות. חלופה חדשה יותר לשימוש ב-Amazon EventBridge כדי להעביר דגמים במחזור החיים של MLOps שעליך לשקול היא צינורות SageMaker.
מארח את המודל להסקת מסקנות
התרשים הבא ממחיש את זרימת העבודה של מסקנות:
כדי להשתמש במודלים המאומנים, SageMaker דורש שמודל מסקנות יתארח בנקודת קצה. נקודת הקצה היא השרת או מערך השרתים המשמשים לאירוח בפועל של מודל ההסקה. בדומה למיכל ההדרכה שיצרנו, קונטיינר Docker להסקת מסקנות מתארח באמזון ECR. מודל ההסקה משתמש במיכל ה-Docker ולוקח את תמונת הקלט שהמשתמש צילם בטלפון שלו, מריץ אותה דרך מודל זיהוי האובייקטים המאומן ומוציא את התוצאה.
שוב, The Barcode Registry משתמש בקונטיינרים מותאמים אישית של Docker עבור מודל ההסקה כדי לאפשר שימוש ב-Multi Model Server, אך אם יש צורך במודל אחד בלבד שניתן לארח אותו בקלות באמצעות אלגוריתם זיהוי האובייקטים המובנה.
סיכום
מרשם הברקודים (בשיתוף עם שותפו Buyabarcode.com) משתמש ב-AWS עבור כל צינור זיהוי האובייקטים שלו. שרת האינטרנט מאחסן נתונים באופן אמין באמזון S3 ומשתמש בפונקציות API Gateway ו- Lambda כדי לחבר את שרת האינטרנט לענן. SageMaker מאמן ומארח בקלות דגמי ML, מה שאומר שמשתמש יכול לצלם תמונה של מוצר בטלפון שלו ולראות אם המוצר הוא מזויף. פוסט זה מראה כיצד ליצור ולארח מודל זיהוי אובייקטים באמצעות SageMaker, כמו גם כיצד להפוך את התהליך לאוטומטי.
בבדיקה, המודל הצליח להשיג דיוק של למעלה מ-90% על סט אימון של 62 תמונות וערכת בדיקות של 32 תמונות, וזה די מרשים עבור דגם מאומן ללא כל התערבות אנושית. כדי להתחיל באימון דגמי זיהוי אובייקטים בעצמך, בדוק את הרשמי תיעוד או ללמוד כיצד לפרוס מודל זיהוי אובייקטים לקצה באמצעות AWS IoT Greengrass.
התוכן והדעות בפוסט זה הם של מחבר צד ג 'ו- AWS אינה אחראית לתוכן או לדיוק של פוסט זה.
על הכותבים
אנדרו מאסק, מהנדס תוכנה ב-The Barcode Registry.
אריק קוויזלינג, מנכ"ל The Barcode Registry.
- Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
- CryptoHawk. רדאר אלטקוין. ניסיון חינם.
- מקור: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- אודות
- גישה
- חֶשְׁבּוֹן
- אַלגוֹרִיתְם
- למרות
- אמזון בעברית
- API
- אוטומטי
- AWS
- גבול
- אריזה מקורית
- מותגים
- בִּניָן
- מובנה
- לגרום
- מנכ"ל
- ענן
- קוד
- לגבות
- חברות
- תְצוּרָה
- קונסול
- מכולה
- מכולות
- תוכן
- לִשְׁלוֹט
- מזויף
- יוצרים
- פלילי
- מנהג
- לקוחות
- נתונים
- מסד נתונים
- לפרוס
- איתור
- מפותח
- אחר
- לדון
- סַוָר
- מטה
- זמן השבתה
- סמים
- בקלות
- אדג '
- אפקטיבי
- מה שמאפשר
- נקודת קצה
- מהנדס
- מִפְעָל
- אירוע
- דוגמה
- בסופו של דבר
- ראשון
- הבא
- הונאה
- פונקציה
- Git
- סחורות
- גדל
- אוֹרֵחַ
- פוסט אורח
- לעזור
- עוזר
- איך
- איך
- HTTPS
- בן אנוש
- זהות
- תמונה
- חשוב
- IOT
- IT
- עבודה
- מפתח
- האחרון
- לשגר
- לִלמוֹד
- למידה
- מקומות
- מכונה
- למידת מכונה
- הצליח
- ML
- מודל
- מודלים
- יותר
- המהלך
- ניווט
- מחברה
- הצעה
- רשמי
- דעות
- להזמין
- אחר
- בעלות
- שותף
- תמונה
- יפה
- מניעה
- פְּרָטִי
- תהליך
- המוצר
- מוצרים
- מבטיח
- ציבורי
- מהירות
- להכיר
- רלוונטי
- מאגר
- משאב
- אחראי
- הפעלה
- מכירות
- להרחבה
- Sdk
- שרות
- שירותים
- סט
- דומה
- פָּשׁוּט
- צמד
- תוכנה
- מהנדס תוכנה
- פִּתָרוֹן
- מסחרי
- התחלה
- החל
- מצב
- אחסון
- חנויות
- בהצלחה
- תמיכה
- טכנולוגיות
- בדיקות
- העולם
- צד שלישי
- דרך
- זמן
- כלים
- לעקוב
- מסורתי
- הדרכה
- רכבות
- ייחודי
- עדכון
- להשתמש
- אימות
- וירטואלי
- לחכות
- אינטרנט
- שרת אינטרנט
- אתר
- לְלֹא
- עוֹלָם
- עולמי
- שנה