Αυτή είναι μια φιλοξενούμενη ανάρτηση που συντάχθηκε από τον Andrew Masek, Μηχανικό Λογισμικού στο The Barcode Registry και τον Erik Quisling, Διευθύνοντα Σύμβουλο του The Barcode Registry.
Η παραποίηση προϊόντων είναι η μεγαλύτερη εγκληματική επιχείρηση στον κόσμο. Αυξάνονται πάνω από 10,000% τις τελευταίες δύο δεκαετίες, οι πωλήσεις απομιμήσεων προϊόντων ανέρχονται πλέον σε 1.7 τρισεκατομμύρια δολάρια ετησίως παγκοσμίως, που είναι περισσότερα από τα ναρκωτικά και τη διακίνηση ανθρώπων. Αν και οι παραδοσιακές μέθοδοι πρόληψης πλαστογραφίας, όπως μοναδικοί γραμμωτοί κώδικες και επαλήθευση προϊόντων, μπορεί να είναι πολύ αποτελεσματικές, οι νέες τεχνολογίες μηχανικής εκμάθησης (ML) όπως ο εντοπισμός αντικειμένων φαίνονται πολλά υποσχόμενες. Με τον εντοπισμό αντικειμένων, μπορείτε τώρα να τραβήξετε μια φωτογραφία ενός προϊόντος και να γνωρίζετε σχεδόν αμέσως εάν αυτό το προϊόν είναι πιθανό να είναι νόμιμο ή δόλιο.
Η Μητρώο Barcode (σε συνεργασία με τον συνεργάτη του Buyabarcode.com) είναι μια λύση πλήρους εξυπηρέτησης που βοηθά τους πελάτες να αποτρέψουν την απάτη και την παραποίηση προϊόντων. Αυτό το επιτυγχάνει πουλώντας μοναδικούς γραμμικούς κώδικες καταχωρισμένους στο GS1, επαληθεύοντας την ιδιοκτησία του προϊόντος και καταχωρώντας τα προϊόντα και τους γραμμωτούς κώδικες των χρηστών σε μια ολοκληρωμένη βάση δεδομένων. Η τελευταία τους προσφορά, την οποία συζητάμε σε αυτήν την ανάρτηση, χρησιμοποιεί Amazon Sage Maker για τη δημιουργία μοντέλων ανίχνευσης αντικειμένων που θα βοηθήσουν στην άμεση αναγνώριση των πλαστών προϊόντων.
Επισκόπηση της λύσης
Για να χρησιμοποιήσετε αυτά τα μοντέλα ανίχνευσης αντικειμένων, πρέπει πρώτα να συλλέξετε δεδομένα για να τα εκπαιδεύσετε. Οι εταιρείες ανεβάζουν σχολιασμένες φωτογραφίες των προϊόντων τους στο The Barcode Registry . Μετά τη μεταφόρτωση αυτών των δεδομένων στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και υποβάλλεται σε επεξεργασία από AWS Lambda λειτουργίες, μπορείτε να το χρησιμοποιήσετε για να εκπαιδεύσετε ένα μοντέλο ανίχνευσης αντικειμένων SageMaker. Αυτό το μοντέλο φιλοξενείται σε ένα τελικό σημείο του SageMaker, όπου ο ιστότοπος το συνδέει με τον τελικό χρήστη.
Υπάρχουν τρία βασικά βήματα για τη δημιουργία του The Barcode Registry που χρησιμοποιεί για τη δημιουργία ενός προσαρμοσμένου μοντέλου εντοπισμού αντικειμένων με το SageMaker:
- Δημιουργήστε ένα εκπαιδευτικό σενάριο για εκτέλεση του SageMaker.
- Δημιουργήστε ένα κοντέινερ Docker από το σενάριο εκπαίδευσης και ανεβάστε το στο Amazon ECR.
- Χρησιμοποιήστε την κονσόλα SageMaker για να εκπαιδεύσετε ένα μοντέλο με τον προσαρμοσμένο αλγόριθμο.
Δεδομένα προϊόντος
Ως προϋπόθεση για να εκπαιδεύσετε ένα μοντέλο ανίχνευσης αντικειμένων, θα χρειαστείτε έναν λογαριασμό AWS και εικόνες εκπαίδευσης, αποτελούμενες από τουλάχιστον 100 εικόνες υψηλής ποιότητας (υψηλής ανάλυσης και σε πολλαπλές συνθήκες φωτισμού) του αντικειμένου σας. Όπως με κάθε μοντέλο ML, τα δεδομένα υψηλής ποιότητας είναι πρωταρχικής σημασίας. Για να εκπαιδεύσουμε ένα μοντέλο ανίχνευσης αντικειμένων, χρειαζόμαστε εικόνες που περιέχουν τα σχετικά προϊόντα καθώς και πλαίσια οριοθέτησης που να περιγράφουν πού βρίσκονται τα προϊόντα στις εικόνες, όπως φαίνεται στο ακόλουθο παράδειγμα.
Για να εκπαιδεύσετε ένα αποτελεσματικό μοντέλο, χρειάζονται εικόνες καθενός από τα προϊόντα μιας μάρκας με διαφορετικό φόντο και συνθήκες φωτισμού—περίπου 30–100 μοναδικές σχολιασμένες εικόνες για κάθε προϊόν.
Μετά τη μεταφόρτωση των εικόνων στον διακομιστή ιστού, μεταφορτώνονται στο Amazon S3 χρησιμοποιώντας το AWS SDK για PHP. Ένα συμβάν Lambda ενεργοποιείται κάθε φορά που μεταφορτώνεται μια εικόνα. Η συνάρτηση αφαιρεί τα μεταδεδομένα Exif από τις εικόνες, κάτι που μερικές φορές μπορεί να τις κάνει να εμφανίζονται περιστραμμένες όταν ανοίγονται από τις βιβλιοθήκες ML που θα χρησιμοποιηθούν αργότερα για την εκπαίδευση του μοντέλου. Τα συσχετισμένα δεδομένα οριοθέτησης αποθηκεύονται σε αρχεία JSON και αποστέλλονται στο Amazon S3 για να συνοδεύουν τις εικόνες.
SageMaker για μοντέλα ανίχνευσης αντικειμένων
Το SageMaker είναι μια διαχειριζόμενη υπηρεσία ML που περιλαμβάνει μια ποικιλία εργαλείων για τη δημιουργία, την εκπαίδευση και τη φιλοξενία μοντέλων στο cloud. Συγκεκριμένα, το TheBarcodeRegistry χρησιμοποιεί το SageMaker για την υπηρεσία ανίχνευσης αντικειμένων λόγω των αξιόπιστων και επεκτάσιμων υπηρεσιών εκπαίδευσης και φιλοξενίας μοντέλων ML του SageMaker. Αυτό σημαίνει ότι πολλές επωνυμίες μπορούν να έχουν τα δικά τους μοντέλα ανίχνευσης αντικειμένων εκπαιδευμένα και φιλοξενούμενα και ακόμη κι αν η χρήση αυξηθεί απρόβλεπτα, δεν θα υπάρχει χρόνος διακοπής λειτουργίας.
Το Μητρώο Barcode χρησιμοποιεί προσαρμοσμένα κοντέινερ Docker που έχουν μεταφορτωθεί σε Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR) προκειμένου να υπάρχει πιο λεπτομερής έλεγχος του αλγόριθμου ανίχνευσης αντικειμένων που χρησιμοποιείται για εκπαίδευση και εξαγωγή συμπερασμάτων καθώς και υποστήριξη για Διακομιστής πολλαπλών μοντέλων (MMS). Το MMS είναι πολύ σημαντικό για την περίπτωση χρήσης ανίχνευσης πλαστών, επειδή επιτρέπει σε μοντέλα πολλών επωνυμιών να φιλοξενούνται οικονομικά στον ίδιο διακομιστή. Εναλλακτικά, μπορείτε να χρησιμοποιήσετε το ενσωματωμένο αλγόριθμος ανίχνευσης αντικειμένων για γρήγορη ανάπτυξη τυπικών μοντέλων που αναπτύχθηκαν από την AWS.
Εκπαιδεύστε ένα προσαρμοσμένο μοντέλο ανίχνευσης αντικειμένων με το SageMaker
Αρχικά, πρέπει να προσθέσετε τον αλγόριθμο ανίχνευσης αντικειμένων. Σε αυτήν την περίπτωση, ανεβάστε ένα κοντέινερ Docker με σενάρια για την εκπαίδευση ενός μοντέλου ανίχνευσης αντικειμένων Yolov5 στο Amazon ECR:
- Στην κονσόλα SageMaker, κάτω σημειωματάριο στο παράθυρο πλοήγησης, επιλέξτε Υποδείγματα σημειωματάριου.
- Επιλέξτε Δημιουργήστε την παρουσία του φορητού υπολογιστή
- Εισαγάγετε ένα όνομα για την παρουσία του σημειωματάριου και κάτω Άδειες και κρυπτογράφηση επιλέξτε ένα Διαχείριση ταυτότητας και πρόσβασης AWS ρόλος (IAM) με τα απαραίτητα δικαιώματα.
- Ανοίξτε το Αποθήκες Git μενού.
- Αγορά Κλωνοποιήστε ένα δημόσιο αποθετήριο Git μόνο σε αυτήν την παρουσία σημειωματάριου και επικολλήστε το παρακάτω URL αποθετηρίου Git: https://github.com/portoaj/SageMakerObjectDetection
- Πατήστε Δημιουργία παρουσίας σημειωματάριου και περιμένετε περίπου πέντε λεπτά για να ενημερωθεί η κατάσταση της παρουσίας εκκρεμής προς την InService στο Παρουσία σημειωματάριου μενού.
- Μόλις το σημειωματάριο είναι InService, επιλέξτε το και κάντε κλικ Δράσεις και Άνοιγμα του Jupyter για να εκκινήσετε την παρουσία του σημειωματάριου σε μια νέα καρτέλα.
- Επιλέξτε το SageMakerObjectDetection κατάλογο και μετά κάντε κλικ στο
sagemakerobjectdetection.ipynb
για να εκκινήσετε το σημειωματάριο Jupyter. - Επιλέξτε το
conda_python3
πυρήνα και κάντε κλικ Ορίστε τον πυρήνα. - Επιλέξτε το κελί κώδικα και ορίστε το
aws_account_id
μεταβλητή στο αναγνωριστικό λογαριασμού AWS. - Πατήστε τρέξιμο για να ξεκινήσει η διαδικασία κατασκευής ενός κοντέινερ Docker και φόρτωσής του στο Amazon ECR. Αυτή η διαδικασία μπορεί να διαρκέσει περίπου 20 λεπτά για να ολοκληρωθεί.
- Μόλις μεταφορτωθεί το κοντέινερ Docker, επιστρέψτε στο Υποδείγματα σημειωματάριου μενού, επιλέξτε την παρουσία σας και κάντε κλικ Δράσεις και στάση για να κλείσετε την παρουσία του φορητού υπολογιστή σας.
Αφού δημιουργηθεί ο αλγόριθμος και προωθηθεί στο Amazon ECR, μπορείτε να τον χρησιμοποιήσετε για να εκπαιδεύσετε ένα μοντέλο μέσω της κονσόλας SageMaker.
- Στην κονσόλα SageMaker, κάτω Εκπαίδευση στο παράθυρο πλοήγησης, επιλέξτε Εργασίες κατάρτισης.
- Επιλέξτε Δημιουργία εργασίας κατάρτισης.
- Εισαγάγετε ένα όνομα για την εργασία και επιλέξτε το Διαχείριση ταυτότητας και πρόσβασης AWS ρόλος (IAM) με τα απαραίτητα δικαιώματα.
- Για Πηγή αλγορίθμου, Επιλέξτε Το δικό σας κοντέινερ αλγορίθμου στο ECR.
- Για Δοχείο, εισαγάγετε τη διαδρομή μητρώου.
- Η ρύθμιση μιας μεμονωμένης παρουσίας ml.p2.xlarge κάτω από τη διαμόρφωση πόρων θα πρέπει να είναι επαρκής για την εκπαίδευση ενός μοντέλου Yolov5.
- Καθορίστε τοποθεσίες Amazon S3 τόσο για τα δεδομένα εισόδου όσο και για τη διαδρομή εξόδου σας και για οποιεσδήποτε άλλες ρυθμίσεις, όπως η διαμόρφωση ενός VPC μέσω Εικονικό ιδιωτικό σύννεφο Amazon (Amazon VPC) ή ενεργοποίηση Managed Spot Training.
- Επιλέξτε Δημιουργία εργασίας κατάρτισης.
Μπορείτε να παρακολουθείτε την πρόοδο της εκπαίδευσης του μοντέλου στην κονσόλα SageMaker.
Αυτοματοποιημένη εκπαίδευση μοντέλων
Το ακόλουθο διάγραμμα απεικονίζει την αυτοματοποιημένη ροή εργασίας εκπαίδευσης μοντέλου:
Για να ξεκινήσει το SageMaker να εκπαιδεύει το μοντέλο ανίχνευσης αντικειμένων μόλις ο χρήστης ολοκληρώσει τη μεταφόρτωση των δεδομένων του, ο διακομιστής web χρησιμοποιεί Amazon API Gateway για να ειδοποιήσετε μια λειτουργία Lambda ότι η επωνυμία έχει τελειώσει και να ξεκινήσετε μια εργασία εκπαίδευσης.
Όταν το μοντέλο μιας μάρκας εκπαιδεύεται με επιτυχία, Amazon EventBridge καλεί μια συνάρτηση Lambda που μετακινεί το εκπαιδευμένο μοντέλο στον κάδο S3 του ζωντανού τερματικού σημείου, όπου είναι τελικά έτοιμο για συμπέρασμα. Μια νεότερη εναλλακτική λύση στη χρήση του Amazon EventBridge για τη μετακίνηση μοντέλων στον κύκλο ζωής του MLOps που θα πρέπει να εξετάσετε είναι Αγωγοί SageMaker.
Φιλοξενήστε το μοντέλο για συμπέρασμα
Το ακόλουθο διάγραμμα απεικονίζει τη ροή εργασίας εξαγωγής συμπερασμάτων:
Για να χρησιμοποιήσει τα εκπαιδευμένα μοντέλα, το SageMaker απαιτεί ένα μοντέλο συμπερασμάτων να φιλοξενείται από ένα τελικό σημείο. Το τελικό σημείο είναι ο διακομιστής ή η συστοιχία διακομιστών που χρησιμοποιούνται για να φιλοξενήσουν πραγματικά το μοντέλο συμπερασμάτων. Παρόμοια με το κοντέινερ εκπαίδευσης που δημιουργήσαμε, ένα κοντέινερ Docker για συμπέρασμα φιλοξενείται στο Amazon ECR. Το μοντέλο συμπερασμάτων χρησιμοποιεί αυτό το κοντέινερ Docker και λαμβάνει την εικόνα εισόδου που τράβηξε ο χρήστης με το τηλέφωνό του, την εκτελεί μέσω του εκπαιδευμένου μοντέλου ανίχνευσης αντικειμένων και εξάγει το αποτέλεσμα.
Και πάλι, το Μητρώο Barcode χρησιμοποιεί προσαρμοσμένα κοντέινερ Docker για το μοντέλο συμπερασμάτων για να ενεργοποιήσει τη χρήση του διακομιστή πολλαπλών μοντέλων, αλλά εάν χρειάζεται μόνο ένα μοντέλο που μπορεί να φιλοξενηθεί εύκολα μέσω του ενσωματωμένου αλγόριθμου ανίχνευσης αντικειμένων.
Συμπέρασμα
Το μητρώο γραμμωτού κώδικα (σε συνδυασμό με τον συνεργάτη του Buyabarcode.com) χρησιμοποιεί το AWS για ολόκληρη τη γραμμή ανίχνευσης αντικειμένων. Ο διακομιστής ιστού αποθηκεύει αξιόπιστα δεδομένα στο Amazon S3 και χρησιμοποιεί λειτουργίες API Gateway και Lambda για να συνδέσει τον διακομιστή ιστού στο cloud. Το SageMaker εκπαιδεύει και φιλοξενεί εύκολα μοντέλα ML, πράγμα που σημαίνει ότι ένας χρήστης μπορεί να τραβήξει μια φωτογραφία ενός προϊόντος στο τηλέφωνό του και να δει εάν το προϊόν είναι πλαστό. Αυτή η ανάρτηση δείχνει πώς να δημιουργήσετε και να φιλοξενήσετε ένα μοντέλο ανίχνευσης αντικειμένων χρησιμοποιώντας το SageMaker, καθώς και πώς να αυτοματοποιήσετε τη διαδικασία.
Κατά τη δοκιμή, το μοντέλο κατάφερε να επιτύχει πάνω από 90% ακρίβεια σε ένα σετ εκπαίδευσης 62 εικόνων και σε ένα σετ δοκιμών 32 εικόνων, κάτι που είναι αρκετά εντυπωσιακό για ένα μοντέλο που έχει εκπαιδευτεί χωρίς ανθρώπινη παρέμβαση. Για να ξεκινήσετε την εκπαίδευση μοντέλων ανίχνευσης αντικειμένων, ρίξτε μια ματιά στον επίσημο τεκμηρίωση ή μάθετε πώς να αναπτύξτε ένα μοντέλο ανίχνευσης αντικειμένων στην άκρη χρησιμοποιώντας το AWS IoT Greengrass.
Το περιεχόμενο και οι απόψεις σε αυτήν την ανάρτηση είναι αυτές του τρίτου συντάκτη και η AWS δεν φέρει καμία ευθύνη για το περιεχόμενο ή την ακρίβεια αυτής της ανάρτησης.
Σχετικά με τους Συγγραφείς
Άντριου Μάσεκ, Μηχανικός Λογισμικού στο The Barcode Registry.
Έρικ Κουίσλινγκ, Διευθύνων Σύμβουλος του The Barcode Registry.
- Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
- CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
- Πηγή: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- Σχετικά
- πρόσβαση
- Λογαριασμός
- αλγόριθμος
- Αν και
- Amazon
- api
- Αυτοματοποιημένη
- AWS
- σύνορο
- Κουτί
- μάρκες
- Κτίριο
- ενσωματωμένο
- Αιτία
- Διευθύνων Σύμβουλος
- Backup
- κωδικός
- συλλέγουν
- Εταιρείες
- διαμόρφωση
- πρόξενος
- Δοχείο
- Εμπορευματοκιβώτια
- περιεχόμενο
- έλεγχος
- Πλαστό
- δημιουργία
- εγκληματίας
- έθιμο
- Πελάτες
- ημερομηνία
- βάση δεδομένων
- παρατάσσω
- Ανίχνευση
- αναπτύχθηκε
- διαφορετικές
- συζητήσουν
- Λιμενεργάτης
- κάτω
- downtime
- Ναρκωτικά
- εύκολα
- άκρη
- Αποτελεσματικός
- ενεργοποίηση
- Τελικό σημείο
- μηχανικός
- Εταιρεία
- Συμβάν
- παράδειγμα
- Τελικά
- Όνομα
- Εξής
- απάτη
- λειτουργία
- Git
- εμπορεύματα
- Μεγαλώνοντας
- Επισκέπτης
- Κείμενο
- βοήθεια
- βοηθά
- Πως
- Πώς να
- HTTPS
- ανθρώπινος
- Ταυτότητα
- εικόνα
- σημαντικό
- IoT
- IT
- Δουλειά
- Κλειδί
- αργότερο
- ξεκινήσει
- ΜΑΘΑΊΝΩ
- μάθηση
- θέσεις
- μηχανή
- μάθηση μηχανής
- διαχειρίζεται
- ML
- μοντέλο
- μοντέλα
- περισσότερο
- μετακινήσετε
- Πλοήγηση
- σημειωματάριο
- προσφορά
- επίσημος ανώτερος υπάλληλος
- Απόψεις
- τάξη
- ΑΛΛΑ
- ιδιοκτησία
- εταίρος
- εικόνα
- αρκετά
- Πρόληψη
- ιδιωτικός
- διαδικασια μας
- Προϊόν
- Προϊόντα
- υποσχόμενος
- δημόσιο
- γρήγορα
- αναγνωρίζω
- Αποθήκη
- πόρος
- υπεύθυνος
- τρέξιμο
- εμπορικός
- επεκτάσιμη
- SDK
- υπηρεσία
- Υπηρεσίες
- σειρά
- παρόμοιες
- Απλούς
- Θραύση
- λογισμικό
- Μηχανικός Λογισμικού
- λύση
- Spot
- Εκκίνηση
- ξεκίνησε
- Κατάσταση
- χώρος στο δίσκο
- καταστήματα
- Επιτυχώς
- υποστήριξη
- Τεχνολογίες
- Δοκιμές
- ο κόσμος
- τρίτους
- Μέσω
- ώρα
- εργαλεία
- τροχιά
- παραδοσιακός
- Εκπαίδευση
- τρένα
- μοναδικός
- Ενημέρωση
- χρήση
- Επαλήθευση
- Πραγματικός
- περιμένετε
- ιστός
- του web server
- Ιστοσελίδα : www.example.gr
- χωρίς
- κόσμος
- παγκόσμιος
- έτος