Βελτιστοποιήστε τα προφίλ κατοικίδιων για την εφαρμογή Petfinder της Purina χρησιμοποιώντας προσαρμοσμένες ετικέτες αναγνώρισης Amazon και λειτουργίες βήματος AWS

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Η Purina US, θυγατρική της Nestle, έχει μακρά ιστορία στο να επιτρέπει στους ανθρώπους να υιοθετούν πιο εύκολα κατοικίδια μέσω Petfinder, μια ψηφιακή αγορά με περισσότερα από 11,000 καταφύγια ζώων και ομάδες διάσωσης σε όλες τις ΗΠΑ, τον Καναδά και το Μεξικό. Ως η κορυφαία πλατφόρμα υιοθεσίας κατοικίδιων ζώων, το Petfinder έχει βοηθήσει εκατομμύρια κατοικίδια να βρουν το παντοτινό τους σπίτι.

Η Purina αναζητά με συνέπεια τρόπους για να κάνει την πλατφόρμα Petfinder ακόμα καλύτερη τόσο για καταφύγια όσο και για ομάδες διάσωσης και για όσους υιοθετούν κατοικίδια. Μια πρόκληση που αντιμετώπισαν ήταν να αντικατοπτρίζουν επαρκώς τη συγκεκριμένη φυλή ζώων που ήταν προς υιοθεσία. Επειδή πολλά ζώα καταφυγίου είναι μικτής φυλής, ο σωστός εντοπισμός φυλών και χαρακτηριστικών στο προφίλ κατοικίδιων ζώων απαιτούσε χειρωνακτική προσπάθεια, η οποία ήταν χρονοβόρα. Η Purina χρησιμοποίησε τεχνητή νοημοσύνη (AI) και μηχανική μάθηση (ML) για να αυτοματοποιήσει την ανίχνευση φυλών ζώων σε κλίμακα.

Αυτή η ανάρτηση περιγράφει λεπτομερώς τον τρόπο χρήσης της Purina Προσαρμοσμένες ετικέτες αναγνώρισης Amazon, Λειτουργίες βημάτων AWSκαι άλλες Υπηρεσίες AWS για τη δημιουργία ενός μοντέλου ML που εντοπίζει τη φυλή κατοικίδιων ζώων από μια μεταφορτωμένη εικόνα και στη συνέχεια χρησιμοποιεί την πρόβλεψη για αυτόματη συμπλήρωση των χαρακτηριστικών κατοικίδιων ζώων. Η λύση εστιάζει στις θεμελιώδεις αρχές της ανάπτυξης μιας ροής εργασιών εφαρμογής AI/ML για την προετοιμασία δεδομένων, την εκπαίδευση μοντέλων, την αξιολόγηση μοντέλων και την παρακολούθηση μοντέλων.

Επισκόπηση λύσεων

Η πρόβλεψη φυλών ζώων από μια εικόνα απαιτεί προσαρμοσμένα μοντέλα ML. Η ανάπτυξη ενός προσαρμοσμένου μοντέλου για την ανάλυση εικόνων είναι ένα σημαντικό εγχείρημα που απαιτεί χρόνο, τεχνογνωσία και πόρους, και συχνά χρειάζονται μήνες για να ολοκληρωθεί. Επιπλέον, συχνά απαιτεί χιλιάδες ή δεκάδες χιλιάδες εικόνες με σήμανση χειρός για να παρέχει στο μοντέλο αρκετά δεδομένα για να λαμβάνει αποφάσεις με ακρίβεια. Η δημιουργία μιας ροής εργασιών για έλεγχο ή επανεξέταση προβλέψεων μοντέλων για την επικύρωση της συμμόρφωσης με τις απαιτήσεις σας μπορεί να προσθέσει περαιτέρω στη συνολική πολυπλοκότητα.

Με Προσαρμοσμένες Ετικέτες Αναγνώρισης, το οποίο βασίζεται στις υπάρχουσες δυνατότητες του Αναγνώριση Amazon, μπορείτε να προσδιορίσετε τα αντικείμενα και τις σκηνές σε εικόνες που είναι ειδικά για τις ανάγκες της επιχείρησής σας. Έχει ήδη εκπαιδευτεί σε δεκάδες εκατομμύρια εικόνες σε πολλές κατηγορίες. Αντί για χιλιάδες εικόνες, μπορείτε να ανεβάσετε ένα μικρό σύνολο εικόνων εκπαίδευσης (συνήθως μερικές εκατοντάδες εικόνες ή λιγότερες ανά κατηγορία) που είναι ειδικά για την περίπτωση χρήσης σας.

Η λύση χρησιμοποιεί τις ακόλουθες υπηρεσίες:

Amazon API Gateway είναι μια πλήρως διαχειριζόμενη υπηρεσία που διευκολύνει τους προγραμματιστές να δημοσιεύουν, να διατηρούν, να παρακολουθούν και να ασφαλίζουν API σε οποιαδήποτε κλίμακα.
Η Κιτ ανάπτυξης AWS Cloud (AWS CDK) είναι ένα πλαίσιο ανάπτυξης λογισμικού ανοιχτού κώδικα για τον ορισμό της υποδομής cloud ως κώδικα με σύγχρονες γλώσσες προγραμματισμού και την ανάπτυξή του μέσω AWS CloudFormation.
AWS CodeBuild είναι μια πλήρως διαχειριζόμενη υπηρεσία συνεχούς ενοποίησης στο cloud. Το CodeBuild μεταγλωττίζει τον πηγαίο κώδικα, εκτελεί δοκιμές και παράγει πακέτα που είναι έτοιμα για ανάπτυξη.
Amazon DynamoDB είναι μια γρήγορη και ευέλικτη υπηρεσία μη σχεσιακής βάσης δεδομένων για οποιαδήποτε κλίμακα.
AWS Lambda είναι μια υπολογιστική υπηρεσία που βασίζεται σε συμβάντα που σας επιτρέπει να εκτελείτε κώδικα για σχεδόν οποιοδήποτε τύπο εφαρμογής ή υπηρεσία υποστήριξης χωρίς παροχή ή διαχείριση διακομιστών.
Αναγνώριση Amazon προσφέρει προεκπαιδευμένες και προσαρμόσιμες δυνατότητες όρασης υπολογιστή (CV) για την εξαγωγή πληροφοριών και πληροφοριών από τις εικόνες και τα βίντεό σας. Με Προσαρμοσμένες ετικέτες αναγνώρισης Amazon, μπορείτε να προσδιορίσετε τα αντικείμενα και τις σκηνές σε εικόνες που είναι ειδικά για τις ανάγκες της επιχείρησής σας.
Λειτουργίες βημάτων AWS είναι μια πλήρως διαχειριζόμενη υπηρεσία που διευκολύνει τον συντονισμό των στοιχείων κατανεμημένων εφαρμογών και μικροϋπηρεσιών χρησιμοποιώντας οπτικές ροές εργασίας.
Διευθυντής συστημάτων AWS είναι μια ασφαλής λύση διαχείρισης από άκρο σε άκρο για πόρους σε AWS και σε περιβάλλοντα multicloud και υβριδικά. Κατάστημα παραμέτρων, μια δυνατότητα του Systems Manager, παρέχει ασφαλή, ιεραρχική αποθήκευση για διαχείριση δεδομένων διαμόρφωσης και διαχείριση μυστικών.

Το διάλυμα Purina αναπτύσσεται ως API Gateway HTTP τελικό σημείο, το οποίο δρομολογεί τα αιτήματα για απόκτηση χαρακτηριστικών κατοικίδιων ζώων. Χρησιμοποιεί προσαρμοσμένες ετικέτες αναγνώρισης για να προβλέψει τη φυλή κατοικίδιων ζώων. Το μοντέλο ML εκπαιδεύεται από προφίλ κατοικίδιων που προέρχονται από τη βάση δεδομένων της Purina, υποθέτοντας ότι η κύρια ετικέτα φυλής είναι η αληθινή ετικέτα. Το DynamoDB χρησιμοποιείται για την αποθήκευση των χαρακτηριστικών κατοικίδιων ζώων. Το Lambda χρησιμοποιείται για την επεξεργασία του αιτήματος χαρακτηριστικών κατοικίδιων ζώων ενορχηστρώνοντας μεταξύ API Gateway, Amazon Rekognition και DynamoDB.

Η αρχιτεκτονική υλοποιείται ως εξής:

Η εφαρμογή Petfinder δρομολογεί το αίτημα για λήψη των χαρακτηριστικών κατοικίδιων ζώων μέσω της πύλης API.
Το API Gateway καλεί τη συνάρτηση Lambda για να αποκτήσει τα χαρακτηριστικά κατοικίδιων ζώων.
Η συνάρτηση Lambda καλεί το τελικό σημείο συμπερασμάτων της Προσαρμοσμένης Ετικέτας Αναγνώρισης για να προβλέψει τη φυλή κατοικίδιων ζώων.
Η συνάρτηση Lambda χρησιμοποιεί τις προβλεπόμενες πληροφορίες φυλής κατοικίδιων για να εκτελέσει μια αναζήτηση χαρακτηριστικών κατοικίδιων στον πίνακα DynamoDB. Συλλέγει τα χαρακτηριστικά κατοικίδιων ζώων και τα στέλνει πίσω στην εφαρμογή Petfinder.

Το παρακάτω διάγραμμα απεικονίζει τη ροή εργασιών επίλυσης.

Η ομάδα Petfinder στο Purina θέλει μια αυτοματοποιημένη λύση που μπορεί να αναπτύξει με ελάχιστη συντήρηση. Για να το επιτύχουμε αυτό, χρησιμοποιούμε τις Λειτουργίες Βήματος για να δημιουργήσουμε ένα μηχάνημα κατάστασης που εκπαιδεύει τα μοντέλα με τα πιο πρόσφατα δεδομένα, ελέγχει την απόδοσή τους σε ένα σύνολο σημείων αναφοράς και αναδιατάσσει τα μοντέλα εάν έχουν βελτιωθεί. Η επανεκπαίδευση του μοντέλου ενεργοποιείται από τον αριθμό των διορθώσεων φυλής που έγιναν από χρήστες που υποβάλλουν πληροφορίες προφίλ.

Εκπαίδευση μοντέλων

Η ανάπτυξη ενός προσαρμοσμένου μοντέλου για την ανάλυση εικόνων είναι ένα σημαντικό εγχείρημα που απαιτεί χρόνο, τεχνογνωσία και πόρους. Επιπλέον, συχνά απαιτεί χιλιάδες ή δεκάδες χιλιάδες εικόνες με σήμανση χειρός για να παρέχει στο μοντέλο αρκετά δεδομένα για να λαμβάνει αποφάσεις με ακρίβεια. Η δημιουργία αυτών των δεδομένων μπορεί να διαρκέσει μήνες για να συγκεντρωθεί και απαιτεί μεγάλη προσπάθεια για την επισήμανση τους για χρήση στη μηχανική εκμάθηση. Μια τεχνική που ονομάζεται μεταφορά της μάθησης βοηθά στην παραγωγή μοντέλων υψηλότερης ποιότητας δανείζοντας τις παραμέτρους ενός προεκπαιδευμένου μοντέλου και επιτρέπει στα μοντέλα να εκπαιδεύονται με λιγότερες εικόνες.

Η πρόκλησή μας είναι ότι τα δεδομένα μας δεν έχουν τέλεια επισήμανση: οι άνθρωποι που εισάγουν τα δεδομένα προφίλ μπορούν και κάνουν λάθη. Ωστόσο, διαπιστώσαμε ότι για αρκετά μεγάλα δείγματα δεδομένων, οι εσφαλμένες ετικέτες εικόνες αντιπροσώπευαν ένα αρκετά μικρό κλάσμα και η απόδοση του μοντέλου δεν επηρεάστηκε περισσότερο από 2% σε ακρίβεια.

Μηχανή ροής εργασίας και κατάστασης ML

Το μηχάνημα κατάστασης Step Functions έχει αναπτυχθεί για να βοηθήσει στην αυτόματη επανεκπαίδευση του μοντέλου Amazon Rekognition. Τα σχόλια συλλέγονται κατά την εισαγωγή του προφίλ—κάθε φορά που μια φυλή που έχει συναχθεί από μια εικόνα τροποποιείται από τον χρήστη σε διαφορετική φυλή, η διόρθωση καταγράφεται. Αυτό το μηχάνημα κατάστασης ενεργοποιείται από έναν ρυθμιζόμενο αριθμό ορίου διορθώσεων και πρόσθετων τμημάτων δεδομένων.

Η μηχανή κατάστασης εκτελεί πολλά βήματα για να δημιουργήσει μια λύση:

Δημιουργήστε εκπαιδευτικά και δοκιμαστικά αρχεία δήλωσης που περιέχουν τη λίστα των Απλή υπηρεσία αποθήκευσης Amazon Διαδρομές εικόνας (Amazon S3) και οι ετικέτες τους για χρήση από το Amazon Rekognition.
Δημιουργήστε ένα σύνολο δεδομένων αναγνώρισης Amazon χρησιμοποιώντας τα αρχεία δήλωσης.
Εκπαιδεύστε μια έκδοση μοντέλου Amazon Rekognition μετά τη δημιουργία του συνόλου δεδομένων.
Ξεκινήστε την έκδοση μοντέλου όταν ολοκληρωθεί η εκπαίδευση.
Αξιολογήστε το μοντέλο και δημιουργήστε μετρήσεις απόδοσης.
Εάν οι μετρήσεις απόδοσης είναι ικανοποιητικές, ενημερώστε την έκδοση μοντέλου στο Parameter Store.
Περιμένετε να διαδοθεί η νέα έκδοση του μοντέλου στις λειτουργίες Lambda (20 λεπτά) και μετά σταματήστε το προηγούμενο μοντέλο.

Αξιολόγηση μοντέλου

Χρησιμοποιούμε ένα τυχαίο σύνολο κράτησης 20% που λαμβάνεται από το δείγμα δεδομένων μας για να επικυρώσουμε το μοντέλο μας. Επειδή οι φυλές που εντοπίζουμε είναι διαμορφώσιμες, δεν χρησιμοποιούμε ένα σταθερό σύνολο δεδομένων για επικύρωση κατά τη διάρκεια της εκπαίδευσης, αλλά χρησιμοποιούμε ένα σύνολο αξιολόγησης με μη αυτόματο τρόπο για τη δοκιμή ολοκλήρωσης. Η αλληλεπικάλυψη του συνόλου με το χέρι και των ανιχνεύσιμων φυλών του μοντέλου χρησιμοποιείται για τον υπολογισμό των μετρήσεων. Εάν η ακρίβεια ανίχνευσης φυλής του μοντέλου είναι πάνω από ένα καθορισμένο όριο, προωθούμε το μοντέλο που θα χρησιμοποιηθεί στο τελικό σημείο.

Ακολουθούν μερικά στιγμιότυπα οθόνης της ροής εργασιών πρόβλεψης κατοικίδιων ζώων από τις προσαρμοσμένες ετικέτες αναγνώρισης.

Ανάπτυξη με το AWS CDK

Η μηχανή κατάστασης των Λειτουργιών Βήματος και η σχετική υποδομή (συμπεριλαμβανομένων των συναρτήσεων Lambda, των έργων CodeBuild και των παραμέτρων του Systems Manager) αναπτύσσονται με το AWS CDK χρησιμοποιώντας Python. Ο κώδικας AWS CDK συνθέτει ένα πρότυπο CloudFormation, το οποίο χρησιμοποιεί για την ανάπτυξη όλης της υποδομής για τη λύση.

Ενσωμάτωση με την εφαρμογή Petfinder

Η εφαρμογή Petfinder έχει πρόσβαση στο τελικό σημείο ταξινόμησης εικόνας μέσω του τερματικού σημείου της πύλης API χρησιμοποιώντας ένα αίτημα POST που περιέχει ένα ωφέλιμο φορτίο JSON με πεδία για τη διαδρομή Amazon S3 προς την εικόνα και τον αριθμό των αποτελεσμάτων που θα επιστραφούν.

KPI που θα επηρεαστούν

Για να δικαιολογήσουμε το πρόσθετο κόστος εκτέλεσης του τελικού σημείου συμπερασμάτων εικόνας, εκτελέσαμε πειράματα για να προσδιορίσουμε την τιμή που προσθέτει το τελικό σημείο για το Petfinder. Η χρήση του τελικού σημείου προσφέρει δύο βασικούς τύπους βελτίωσης:

Μειωμένη προσπάθεια για καταφύγια κατοικίδιων που δημιουργούν τα προφίλ κατοικίδιων ζώων
Πιο πλήρη προφίλ κατοικίδιων ζώων, τα οποία αναμένεται να βελτιώσουν τη συνάφεια αναζήτησης

Οι μετρήσεις για τη μέτρηση της προσπάθειας και την πληρότητα του προφίλ περιλαμβάνουν τον αριθμό των πεδίων που συμπληρώνονται αυτόματα που διορθώνονται, τον συνολικό αριθμό των πεδίων που συμπληρώθηκαν και τον χρόνο για τη μεταφόρτωση ενός προφίλ κατοικίδιου. Οι βελτιώσεις στη συνάφεια αναζήτησης συνάγονται έμμεσα από τη μέτρηση βασικών δεικτών απόδοσης που σχετίζονται με τα ποσοστά υιοθέτησης. Σύμφωνα με την Purina, αφού η λύση κυκλοφόρησε, ο μέσος χρόνος για τη δημιουργία προφίλ κατοικίδιων ζώων στην εφαρμογή Petfinder μειώθηκε από 7 λεπτά σε 4 λεπτά. Αυτή είναι μια τεράστια βελτίωση και εξοικονόμηση χρόνου, διότι το 2022, ανέβηκαν 4 εκατομμύρια προφίλ κατοικίδιων ζώων.

Ασφάλεια

Τα δεδομένα που ρέουν μέσα από το διάγραμμα αρχιτεκτονικής κρυπτογραφούνται κατά τη μεταφορά και την ηρεμία, σύμφωνα με το Καλά αρχιτεκτονημένες βέλτιστες πρακτικές AWS. Κατά τη διάρκεια όλων των δεσμεύσεων AWS, ένας ειδικός ασφαλείας εξετάζει τη λύση για να διασφαλίσει ότι παρέχεται ασφαλής υλοποίηση.

Συμπέρασμα

Με τη λύση που βασίζεται στις Προσαρμοσμένες Ετικέτες Αναγνώρισης, η ομάδα του Petfinder είναι σε θέση να επιταχύνει τη δημιουργία προφίλ κατοικίδιων ζώων για καταφύγια κατοικίδιων, μειώνοντας τον διοικητικό φόρτο στο προσωπικό του καταφυγίου. Η ανάπτυξη που βασίζεται στο AWS CDK αναπτύσσει μια ροή εργασίας Step Functions για την αυτοματοποίηση της διαδικασίας εκπαίδευσης και ανάπτυξης. Για να αρχίσετε να χρησιμοποιείτε τις προσαρμοσμένες ετικέτες αναγνώρισης, ανατρέξτε στο Ξεκινώντας με τις προσαρμοσμένες ετικέτες αναγνώρισης του Amazon. Μπορείτε επίσης να ελέγξετε μερικά Παραδείγματα συναρτήσεων βημάτων και ξεκινήστε με το AWS CDK.

Σχετικά με τους Συγγραφείς

Μέισον Κέιχιλ είναι Ανώτερος Σύμβουλος DevOps με AWS Professional Services. Του αρέσει να βοηθά οργανισμούς να επιτύχουν τους επιχειρηματικούς τους στόχους και είναι παθιασμένος με τη δημιουργία και την παροχή αυτοματοποιημένων λύσεων στο AWS Cloud. Εκτός δουλειάς, του αρέσει να περνά χρόνο με την οικογένειά του, να κάνει πεζοπορία και να παίζει ποδόσφαιρο.

Βελτιστοποιήστε τα προφίλ κατοικίδιων ζώων για την εφαρμογή Petfinder της Purina χρησιμοποιώντας προσαρμοσμένες ετικέτες αναγνώρισης Amazon και Λειτουργίες βημάτων AWS | Υπηρεσίες Ιστού Amazon PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται. Matthew Chasse είναι σύμβουλος Επιστήμης Δεδομένων στην Amazon Web Services, όπου βοηθά τους πελάτες να δημιουργήσουν επεκτάσιμες λύσεις μηχανικής εκμάθησης. Ο Matthew έχει διδακτορικό στα Μαθηματικά και του αρέσει η αναρρίχηση και η μουσική στον ελεύθερο χρόνο του.

Rushikesh Jagtap είναι Αρχιτέκτονας Λύσεων με 5+ χρόνια εμπειρίας στις υπηρεσίες AWS Analytics. Είναι παθιασμένος με το να βοηθά τους πελάτες να δημιουργήσουν επεκτάσιμες και σύγχρονες λύσεις ανάλυσης δεδομένων για να αποκτήσουν γνώσεις από τα δεδομένα. Εκτός δουλειάς, του αρέσει να παρακολουθεί Formula1, να παίζει μπάντμιντον και να κάνει αγώνες Go Karts.

Tayo Olajide είναι ένας έμπειρος γενικός μηχανικός Cloud Data Engineering με πάνω από μια δεκαετία εμπειρία στην αρχιτεκτονική και την εφαρμογή λύσεων δεδομένων σε περιβάλλοντα cloud. Με πάθος να μετατρέπει τα ακατέργαστα δεδομένα σε πολύτιμες γνώσεις, η Tayo έχει διαδραματίσει καθοριστικό ρόλο στο σχεδιασμό και τη βελτιστοποίηση αγωγών δεδομένων για διάφορους κλάδους, συμπεριλαμβανομένων των βιομηχανιών χρηματοδότησης, υγειονομικής περίθαλψης και αυτοκινήτων. Ως ηγέτης της σκέψης στον τομέα, η Tayo πιστεύει ότι η δύναμη των δεδομένων έγκειται στην ικανότητά τους να οδηγούν στη λήψη αποφάσεων με ενημέρωση και δεσμεύεται να βοηθά τις επιχειρήσεις να αξιοποιήσουν πλήρως τις δυνατότητες των δεδομένων τους στην εποχή του cloud. Όταν δεν δημιουργεί αγωγούς δεδομένων, μπορείτε να βρείτε τον Tayo να εξερευνά τις τελευταίες τάσεις στην τεχνολογία, να κάνει πεζοπορία στην υπέροχη ύπαιθρο ή να ασχολείται με τα gadget και το λογισμικό.