Η άνοδος του κειμένου και σημασιολογική αναζήτηση μηχανές έχει διευκολύνει την αναζήτηση των επιχειρήσεων ηλεκτρονικού εμπορίου και λιανικής για τους καταναλωτές της. Οι μηχανές αναζήτησης που τροφοδοτούνται από ενοποιημένο κείμενο και εικόνα μπορούν να παρέχουν επιπλέον ευελιξία στις λύσεις αναζήτησης. Μπορείτε να χρησιμοποιήσετε τόσο κείμενο όσο και εικόνες ως ερωτήματα. Για παράδειγμα, έχετε έναν φάκελο με εκατοντάδες οικογενειακές φωτογραφίες στον φορητό υπολογιστή σας. Θέλετε να βρείτε γρήγορα μια φωτογραφία που τραβήχτηκε όταν εσείς και ο καλύτερός σας φίλος ήσασταν μπροστά από την πισίνα του παλιού σας σπιτιού. Μπορείτε να χρησιμοποιήσετε τη γλώσσα συνομιλίας όπως "δύο άτομα στέκονται μπροστά σε μια πισίνα" ως ερώτημα για αναζήτηση σε μια ενοποιημένη μηχανή αναζήτησης κειμένου και εικόνων. Δεν χρειάζεται να έχετε τις σωστές λέξεις-κλειδιά στους τίτλους εικόνων για να εκτελέσετε το ερώτημα.
Amazon OpenSearch Service υποστηρίζει τώρα το ομοιότητα συνημίτονο μετρική για δείκτες k-NN. Η ομοιότητα συνημιτόνου μετρά το συνημίτονο της γωνίας μεταξύ δύο διανυσμάτων, όπου μια μικρότερη γωνία συνημιτόνου υποδηλώνει μεγαλύτερη ομοιότητα μεταξύ των διανυσμάτων. Με ομοιότητα συνημιτόνου, μπορείτε να μετρήσετε τον προσανατολισμό μεταξύ δύο διανυσμάτων, γεγονός που το καθιστά καλή επιλογή για ορισμένες συγκεκριμένες εφαρμογές σημασιολογικής αναζήτησης.
Προεκπαίδευση αντιθετικής γλώσσας-εικόνας (CLIP) είναι ένα νευρωνικό δίκτυο εκπαιδευμένο σε μια ποικιλία ζευγών εικόνας και κειμένου. Το νευρωνικό δίκτυο CLIP είναι σε θέση να προβάλλει τόσο εικόνες όσο και κείμενο στο ίδιο λανθάνον χώρο, πράγμα που σημαίνει ότι μπορούν να συγκριθούν χρησιμοποιώντας ένα μέτρο ομοιότητας, όπως η ομοιότητα συνημιτόνου. Μπορείτε να χρησιμοποιήσετε το CLIP για να κωδικοποιούν εικόνες ή περιγραφή των προϊόντων σας σε ενσωματώσειςκαι, στη συνέχεια, αποθηκεύστε τα σε ένα ευρετήριο υπηρεσίας OpenSearch k-NN. Στη συνέχεια, οι πελάτες σας μπορούν να υποβάλουν ερωτήματα στο ευρετήριο για να ανακτήσουν τα προϊόντα που τους ενδιαφέρουν.
Μπορείτε να χρησιμοποιήσετε το CLIP με Amazon Sage Maker για να εκτελέσετε κωδικοποίηση. Συμπεράσματα χωρίς διακομιστή Amazon SageMaker είναι μια ειδικά σχεδιασμένη υπηρεσία συμπερασμάτων που διευκολύνει την ανάπτυξη και την κλίμακα μοντέλων μηχανικής εκμάθησης (ML). Με το SageMaker, μπορείτε να αναπτύξετε χωρίς διακομιστή για προγραμματιστές και να δοκιμάσετε και, στη συνέχεια, να μεταβείτε σε συμπέρασμα σε πραγματικό χρόνο όταν πας στην παραγωγή. Το SageMaker χωρίς διακομιστή σάς βοηθά να εξοικονομήσετε κόστος μειώνοντας την υποδομή στο 0 κατά τις ώρες αδράνειας. Αυτό είναι τέλειο για την κατασκευή ενός POC, όπου θα έχετε μεγάλους χρόνους αδράνειας μεταξύ των κύκλων ανάπτυξης. Μπορείτε επίσης να χρησιμοποιήσετε Μετατροπή παρτίδας Amazon SageMaker για να λάβετε συμπεράσματα από μεγάλα σύνολα δεδομένων.
Σε αυτήν την ανάρτηση, δείχνουμε πώς να δημιουργήσετε μια εφαρμογή αναζήτησης χρησιμοποιώντας το CLIP με το SageMaker και την Υπηρεσία OpenSearch. Ο κώδικας είναι ανοιχτού κώδικα και φιλοξενείται σε GitHub.
Επισκόπηση λύσεων
Η Υπηρεσία OpenSearch παρέχει αντιστοίχιση κειμένου και ενσωμάτωση αναζήτησης k-NN. Χρησιμοποιούμε την ενσωμάτωση αναζήτησης k-NN σε αυτήν τη λύση. Μπορείτε να χρησιμοποιήσετε τόσο εικόνα όσο και κείμενο ως ερώτημα για να αναζητήσετε στοιχεία από το απόθεμα. Η εφαρμογή αυτής της ενοποιημένης εφαρμογής αναζήτησης εικόνων και κειμένου αποτελείται από δύο φάσεις:
- Δείκτης αναφοράς k-NN – Σε αυτή τη φάση, περνάτε ένα σύνολο εγγράφων σώματος ή εικόνων προϊόντων μέσω ενός μοντέλου CLIP για να τα κωδικοποιήσετε σε ενσωματώσεις. Οι ενσωματώσεις κειμένου και εικόνων είναι αριθμητικές αναπαραστάσεις του σώματος ή των εικόνων, αντίστοιχα. Μπορείτε να αποθηκεύσετε αυτές τις ενσωματώσεις σε ένα ευρετήριο k-NN στην Υπηρεσία OpenSearch. Η ιδέα που στηρίζει το k-NN είναι ότι παρόμοια σημεία δεδομένων υπάρχουν σε κοντινή απόσταση στον χώρο ενσωμάτωσης. Για παράδειγμα, το κείμενο "ένα κόκκινο λουλούδι", το κείμενο "τριαντάφυλλο" και μια εικόνα κόκκινου τριαντάφυλλου είναι παρόμοια, επομένως αυτές οι ενσωματώσεις κειμένου και εικόνας βρίσκονται κοντά η μία στην άλλη στον χώρο ενσωμάτωσης.
- Ερώτημα ευρετηρίου k-NN – Αυτή είναι η φάση συμπερασμάτων της εφαρμογής. Σε αυτή τη φάση, υποβάλλετε ένα ερώτημα αναζήτησης κειμένου ή ένα ερώτημα αναζήτησης εικόνας μέσω του μοντέλου βαθιάς εκμάθησης (CLIP) για κωδικοποίηση ως ενσωματώσεις. Στη συνέχεια, χρησιμοποιείτε αυτές τις ενσωματώσεις για να υποβάλετε ερώτημα στον δείκτη αναφοράς k-NN που είναι αποθηκευμένος στην Υπηρεσία OpenSearch. Ο δείκτης k-NN επιστρέφει παρόμοιες ενσωματώσεις από τον χώρο ενσωμάτωσης. Για παράδειγμα, αν περάσετε το κείμενο "ένα κόκκινο λουλούδι", θα επιστρέψει τις ενσωματώσεις μιας εικόνας κόκκινου τριαντάφυλλου ως παρόμοιο στοιχείο.
Το παρακάτω σχήμα απεικονίζει την αρχιτεκτονική λύσης.
Τα βήματα της ροής εργασιών είναι τα εξής:
- Δημιουργία Μοντέλο SageMaker από ένα προεκπαιδευμένο μοντέλο CLIP για συμπέρασμα κατά παρτίδες και σε πραγματικό χρόνο.
- Δημιουργήστε ενσωματώσεις εικόνων προϊόντων χρησιμοποιώντας μια εργασία μαζικής μετατροπής του SageMaker.
- Χρησιμοποιήστε το SageMaker Serverless Inference για να κωδικοποιήσετε την εικόνα και το κείμενο ερωτήματος σε ενσωματώσεις σε πραγματικό χρόνο.
- Χρήση Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) για αποθήκευση του πρωτογενούς κειμένου (περιγραφή προϊόντος) και των εικόνων (εικόνες προϊόντων) και της ενσωμάτωσης εικόνας που δημιουργούνται από τις εργασίες μαζικής μετατροπής του SageMaker.
- Χρησιμοποιήστε την Υπηρεσία OpenSearch ως μηχανή αναζήτησης για να αποθηκεύσετε ενσωματώσεις και να βρείτε παρόμοιες ενσωματώσεις.
- Χρησιμοποιήστε μια συνάρτηση ερωτήματος για να ενορχηστρώσετε την κωδικοποίηση του ερωτήματος και εκτελέστε μια αναζήτηση k-NN.
Χρησιμοποιούμε Στούντιο Amazon SageMaker φορητούς υπολογιστές (δεν φαίνεται στο διάγραμμα) ως το ολοκληρωμένο περιβάλλον ανάπτυξης (IDE) για την ανάπτυξη της λύσης.
Ρύθμιση πόρων λύσης
Για να ρυθμίσετε τη λύση, ολοκληρώστε τα παρακάτω βήματα:
- Δημιουργήστε έναν τομέα SageMaker και ένα προφίλ χρήστη. Για οδηγίες, ανατρέξτε στο Βήμα 5 του Ενσωματωμένη στον τομέα Amazon SageMaker με χρήση γρήγορης εγκατάστασης.
- Δημιουργήστε έναν τομέα OpenSearch Service. Για οδηγίες, βλ Δημιουργία και διαχείριση τομέων της υπηρεσίας OpenSearch της Amazon.
Μπορείτε επίσης να χρησιμοποιήσετε ένα AWS CloudFormation πρότυπο ακολουθώντας τις οδηγίες του GitHub για να δημιουργήσετε έναν τομέα.
Μπορείτε να συνδέσετε το Studio στο Amazon S3 από Εικονικό ιδιωτικό σύννεφο Amazon (Amazon VPC) χρησιμοποιώντας ένα τελικό σημείο διεπαφής στο VPC σας, αντί να συνδεθείτε μέσω Διαδικτύου. Χρησιμοποιώντας ένα τελικό σημείο διασύνδεσης VPC (τελικό σημείο διεπαφής), η επικοινωνία μεταξύ του VPC και του Studio διεξάγεται εξ ολοκλήρου και με ασφάλεια εντός του δικτύου AWS. Ο φορητός υπολογιστής Studio σας μπορεί να συνδεθεί στην Υπηρεσία OpenSearch μέσω ενός ιδιωτικού VPC για να διασφαλίσει την ασφαλή επικοινωνία.
Οι τομείς της Υπηρεσίας OpenSearch προσφέρουν κρυπτογράφηση δεδομένων σε κατάσταση ηρεμίας, η οποία είναι μια δυνατότητα ασφαλείας που βοηθά στην αποτροπή μη εξουσιοδοτημένης πρόσβασης στα δεδομένα σας. Η κρυπτογράφηση κόμβου σε κόμβο παρέχει ένα πρόσθετο επίπεδο ασφάλειας πάνω από τις προεπιλεγμένες δυνατότητες της Υπηρεσίας OpenSearch. Το Amazon S3 εφαρμόζει αυτόματα κρυπτογράφηση από την πλευρά του διακομιστή (SSE-S3) για κάθε νέο αντικείμενο, εκτός εάν καθορίσετε διαφορετική επιλογή κρυπτογράφησης.
Στον τομέα της Υπηρεσίας OpenSearch, μπορείτε να επισυνάψετε πολιτικές που βασίζονται σε ταυτότητα και να ορίσετε ποιος μπορεί να αποκτήσει πρόσβαση σε μια υπηρεσία, ποιες ενέργειες μπορούν να εκτελέσουν και, εάν υπάρχουν, τους πόρους στους οποίους μπορούν να εκτελέσουν αυτές τις ενέργειες.
Κωδικοποιήστε εικόνες και ζεύγη κειμένου σε ενσωματώσεις
Αυτή η ενότητα περιγράφει τον τρόπο κωδικοποίησης εικόνων και κειμένου σε ενσωματώσεις. Αυτό περιλαμβάνει την προετοιμασία δεδομένων, τη δημιουργία ενός μοντέλου SageMaker και την εκτέλεση ομαδικού μετασχηματισμού χρησιμοποιώντας το μοντέλο.
Επισκόπηση και προετοιμασία δεδομένων
Μπορείτε να χρησιμοποιήσετε ένα σημειωματάριο SageMaker Studio με πυρήνα Python 3 (Data Science) για να εκτελέσετε το δείγμα κώδικα.
Για αυτήν την ανάρτηση, χρησιμοποιούμε το Σύνολο δεδομένων Amazon Berkeley Objects. Το σύνολο δεδομένων είναι μια συλλογή από 147,702 καταχωρίσεις προϊόντων με πολύγλωσσα μεταδεδομένα και 398,212 μοναδικές εικόνες καταλόγου. Χρησιμοποιούμε μόνο τις εικόνες και τα ονόματα των στοιχείων στα Αγγλικά των ΗΠΑ. Για σκοπούς επίδειξης, χρησιμοποιούμε περίπου 1,600 προϊόντα. Για περισσότερες λεπτομέρειες σχετικά με αυτό το σύνολο δεδομένων, ανατρέξτε στο README. Το σύνολο δεδομένων φιλοξενείται σε έναν δημόσιο κάδο S3. Υπάρχουν 16 αρχεία που περιλαμβάνουν περιγραφή προϊόντος και μεταδεδομένα των προϊόντων της Amazon σε μορφή listings/metadata/listings_<i>.json.gz
. Χρησιμοποιούμε το πρώτο αρχείο μεταδεδομένων σε αυτήν την επίδειξη.
Εσυ χρησιμοποιεις Πάντα για να φορτώσετε τα μεταδεδομένα και, στη συνέχεια, επιλέξτε προϊόντα που έχουν τίτλους Αγγλικών ΗΠΑ από το πλαίσιο δεδομένων. Το Pandas είναι ένα εργαλείο ανάλυσης και χειρισμού δεδομένων ανοιχτού κώδικα χτισμένο πάνω στη γλώσσα προγραμματισμού Python. Χρησιμοποιείτε ένα χαρακτηριστικό που ονομάζεται main_image_id
για να αναγνωρίσετε μια εικόνα. Δείτε τον παρακάτω κώδικα:
Υπάρχουν 1,639 προϊόντα στο πλαίσιο δεδομένων. Στη συνέχεια, συνδέστε τα ονόματα των στοιχείων με τις αντίστοιχες εικόνες στοιχείων. images/metadata/images.csv.gz
περιέχει μεταδεδομένα εικόνας. Αυτό το αρχείο είναι ένα αρχείο CSV συμπιεσμένο με gzip με τις ακόλουθες στήλες: image_id
, height
, width
, να path
. Μπορείτε να διαβάσετε το αρχείο μεταδεδομένων και στη συνέχεια να το συγχωνεύσετε με τα μεταδεδομένα του στοιχείου. Δείτε τον παρακάτω κώδικα:
Μπορείτε να χρησιμοποιήσετε τον ενσωματωμένο πυρήνα Python 3 notebook SageMaker Studio Βιβλιοθήκη PIL για να προβάλετε ένα δείγμα εικόνας από το σύνολο δεδομένων:
Προετοιμασία μοντέλου
Στη συνέχεια, δημιουργήστε ένα Μοντέλο SageMaker από ένα προεκπαιδευμένο μοντέλο CLIP. Το πρώτο βήμα είναι να κατεβάσετε το προεκπαιδευμένο αρχείο στάθμισης μοντέλου, να το τοποθετήσετε σε α model.tar.gz
και μεταφορτώστε το σε έναν κάδο S3. Η διαδρομή του προεκπαιδευμένου μοντέλου βρίσκεται στο CLIP repo. Χρησιμοποιούμε ένα προεκπαιδευμένο ResNet-50 μοντέλο (RN50) σε αυτήν την επίδειξη. Δείτε τον παρακάτω κώδικα:
Στη συνέχεια, πρέπει να παρέχετε ένα σενάριο σημείου εισόδου συμπερασμάτων για το μοντέλο CLIP. Το CLIP υλοποιείται χρησιμοποιώντας PyTorch, έτσι χρησιμοποιείτε το SageMaker PyTorch δομή. Το PyTorch είναι ένα πλαίσιο ML ανοιχτού κώδικα που επιταχύνει τη διαδρομή από την κατασκευή πρωτοτύπων έρευνας στην ανάπτυξη παραγωγής. Για πληροφορίες σχετικά με την ανάπτυξη ενός μοντέλου PyTorch με το SageMaker, ανατρέξτε στο Αναπτύξτε τα μοντέλα PyTorch. Ο κώδικας συμπερασμάτων δέχεται δύο μεταβλητές περιβάλλοντος: MODEL_NAME
και ENCODE_TYPE
. Αυτό μας βοηθά να αλλάζουμε εύκολα μεταξύ διαφορετικών μοντέλων CLIP. Χρησιμοποιούμε ENCODE_TYPE
για να καθορίσουμε αν θέλουμε να κωδικοποιήσουμε μια εικόνα ή ένα κομμάτι κειμένου. Εδώ, εφαρμόζετε το model_fn
, input_fn
, predict_fn
, να output_fn
λειτουργίες για την παράκαμψη του προεπιλεγμένος χειριστής συμπερασμάτων PyTorch. Δείτε τον ακόλουθο κώδικα:
Η λύση απαιτεί πρόσθετα πακέτα Python κατά την εξαγωγή συμπερασμάτων μοντέλου, ώστε να μπορείτε να παρέχετε ένα requirements.txt
αρχείο που επιτρέπει στο SageMaker να εγκαταστήσει πρόσθετα πακέτα κατά τη φιλοξενία μοντέλων:
Χρησιμοποιείτε το Κλάση PyTorchModel για να δημιουργήσετε ένα αντικείμενο που θα περιέχει τις πληροφορίες της θέσης Amazon S3 των τεχνουργημάτων του μοντέλου και τις λεπτομέρειες του σημείου εισόδου του συμπερασμάτων. Μπορείτε να χρησιμοποιήσετε το αντικείμενο για να δημιουργήσετε εργασίες μαζικής μετατροπής ή να αναπτύξετε το μοντέλο σε ένα τελικό σημείο για online συμπεράσματα. Δείτε τον παρακάτω κώδικα:
Μαζική μετατροπή για κωδικοποίηση εικόνων αντικειμένων σε ενσωματώσεις
Στη συνέχεια, χρησιμοποιούμε το μοντέλο CLIP για την κωδικοποίηση εικόνων αντικειμένων σε ενσωματώσεις και χρησιμοποιούμε τον μετασχηματισμό δέσμης SageMaker για την εκτέλεση συμπερασμάτων παρτίδας.
Πριν δημιουργήσετε την εργασία, χρησιμοποιήστε το παρακάτω απόσπασμα κώδικα για να αντιγράψετε εικόνες αντικειμένων από τον δημόσιο κάδο S3 του Amazon Berkeley Objects Dataset στον δικό σας κάδο. Η επέμβαση διαρκεί λιγότερο από 10 λεπτά.
Στη συνέχεια, εκτελείτε συμπέρασμα στις εικόνες των αντικειμένων κατά παρτίδες. Η εργασία μαζικής μετατροπής του SageMaker χρησιμοποιεί το μοντέλο CLIP για την κωδικοποίηση όλων των εικόνων που είναι αποθηκευμένες στη θέση εισόδου του Amazon S3 και ανεβάζει ενσωματώσεις εξόδου σε έναν φάκελο S3 εξόδου. Η εργασία διαρκεί περίπου 10 λεπτά.
Φορτώστε ενσωματώσεις από το Amazon S3 σε μια μεταβλητή, ώστε να μπορείτε να εισαγάγετε τα δεδομένα στην Υπηρεσία OpenSearch αργότερα:
Δημιουργήστε μια ενοποιημένη μηχανή αναζήτησης με ML
Αυτή η ενότητα περιγράφει πώς να δημιουργήσετε μια μηχανή αναζήτησης που χρησιμοποιεί αναζήτηση k-NN με ενσωματώσεις. Αυτό περιλαμβάνει τη διαμόρφωση ενός συμπλέγματος υπηρεσίας OpenSearch, την απορρόφηση ενσωμάτωσης στοιχείων και την εκτέλεση ερωτημάτων αναζήτησης ελεύθερου κειμένου και εικόνων.
Ρυθμίστε τον τομέα OpenSearch Service χρησιμοποιώντας ρυθμίσεις k-NN
Νωρίτερα, δημιουργήσατε ένα σύμπλεγμα OpenSearch. Τώρα θα δημιουργήσετε ένα ευρετήριο για την αποθήκευση των δεδομένων καταλόγου και των ενσωματώσεων. Μπορείτε να διαμορφώσετε τις ρυθμίσεις ευρετηρίου για να ενεργοποιήσετε τη λειτουργία k-NN χρησιμοποιώντας την ακόλουθη διαμόρφωση:
Αυτό το παράδειγμα χρησιμοποιεί το Πελάτης Python Elasticsearch για να επικοινωνήσετε με το σύμπλεγμα OpenSearch και να δημιουργήσετε ένα ευρετήριο για να φιλοξενήσει τα δεδομένα σας. Μπορείτε να τρέξετε %pip install elasticsearch
στο σημειωματάριο για να εγκαταστήσετε τη βιβλιοθήκη. Δείτε τον παρακάτω κώδικα:
Απορρόφηση δεδομένων ενσωμάτωσης εικόνας στην Υπηρεσία OpenSearch
Τώρα πραγματοποιείτε βρόχο μέσω του συνόλου δεδομένων σας και απολαμβάνετε δεδομένα στοιχείων στο σύμπλεγμα. Η απορρόφηση δεδομένων για αυτήν την πρακτική θα πρέπει να ολοκληρωθεί εντός 60 δευτερολέπτων. Εκτελεί επίσης ένα απλό ερώτημα για να επαληθεύσει εάν τα δεδομένα έχουν εισαχθεί με επιτυχία στο ευρετήριο. Δείτε τον παρακάτω κώδικα:
Εκτελέστε ένα ερώτημα σε πραγματικό χρόνο
Τώρα που έχετε ένα ευρετήριο υπηρεσίας OpenSearch που λειτουργεί ως απόθεμά μας, ας δούμε πώς μπορείτε να δημιουργήσετε ενσωμάτωση για ερωτήματα. Πρέπει να δημιουργήσετε δύο τελικά σημεία του SageMaker για να χειριστείτε τις ενσωματώσεις κειμένου και εικόνων, αντίστοιχα.
Μπορείτε επίσης να δημιουργήσετε δύο λειτουργίες για να χρησιμοποιήσετε τα τελικά σημεία για την κωδικοποίηση εικόνων και κειμένων. Για το encode_text
λειτουργία, προσθέτετε this is
πριν από ένα όνομα στοιχείου για να μεταφράσετε ένα όνομα στοιχείου σε πρόταση για περιγραφή στοιχείου. memory_size_in_mb
έχει οριστεί ως 6 GB για προβολή της υπογράμμισης Μετασχηματιστής και ResNet μοντέλα. Δείτε τον παρακάτω κώδικα:
Μπορείτε πρώτα να σχεδιάσετε την εικόνα που θα χρησιμοποιηθεί.
Ας δούμε τα αποτελέσματα ενός απλού ερωτήματος. Μετά την ανάκτηση αποτελεσμάτων από την Υπηρεσία OpenSearch, λαμβάνετε τη λίστα με τα ονόματα των αντικειμένων και τις εικόνες από dataset
:
Το πρώτο στοιχείο έχει βαθμολογία 1.0, επειδή οι δύο εικόνες είναι ίδιες. Άλλα στοιχεία είναι διαφορετικοί τύποι γυαλιών στο ευρετήριο OpenSearch Service.
Μπορείτε επίσης να χρησιμοποιήσετε κείμενο για να ρωτήσετε το ευρετήριο:
Τώρα μπορείτε να λάβετε τρεις φωτογραφίες με ποτήρια νερού από το ευρετήριο. Μπορείτε να βρείτε τις εικόνες και το κείμενο στον ίδιο λανθάνοντα χώρο με τον κωδικοποιητή CLIP. Ένα άλλο παράδειγμα αυτού είναι να αναζητήσετε τη λέξη "πίτσα" στο ευρετήριο:
εκκαθάριση
Με ένα μοντέλο πληρωμής ανά χρήση, το συμπέρασμα χωρίς διακομιστή είναι μια οικονομικά αποδοτική επιλογή για ένα σπάνιο ή απρόβλεπτο μοτίβο επισκεψιμότητας. Εάν έχετε μια αυστηρή συμφωνία σε επίπεδο υπηρεσίας (SLA), ή δεν μπορείτε να ανεχτείτε ψυχρές εκκινήσεις, τα τελικά σημεία σε πραγματικό χρόνο είναι μια καλύτερη επιλογή. Χρησιμοποιώντας πολυμοντέλο or πολυ-κοντέινερ Τα τελικά σημεία παρέχουν επεκτάσιμες και οικονομικά αποδοτικές λύσεις για την ανάπτυξη μεγάλου αριθμού μοντέλων. Για περισσότερες πληροφορίες, ανατρέξτε στο Τιμολόγηση του Amazon SageMaker.
Προτείνουμε να διαγράψετε τα τελικά σημεία χωρίς διακομιστή όταν δεν χρειάζονται πλέον. Αφού ολοκληρώσετε αυτήν την άσκηση, μπορείτε να αφαιρέσετε τους πόρους με τα ακόλουθα βήματα (μπορείτε να διαγράψετε αυτούς τους πόρους από το Κονσόλα διαχείρισης AWS, ή χρησιμοποιώντας το AWS SDK ή το SageMaker SDK):
- Διαγράψτε το τελικό σημείο που δημιουργήσατε.
- Προαιρετικά, διαγράψτε τα καταχωρημένα μοντέλα.
- Προαιρετικά, διαγράψτε τον ρόλο εκτέλεσης του SageMaker.
- Προαιρετικά, αδειάστε και διαγράψτε τον κάδο S3.
Χαρακτηριστικά
Σε αυτήν την ανάρτηση, δείξαμε πώς να δημιουργήσετε μια εφαρμογή αναζήτησης k-NN χρησιμοποιώντας τις λειτουργίες ευρετηρίου SageMaker και OpenSearch Service k-NN. Χρησιμοποιήσαμε ένα προεκπαιδευμένο μοντέλο CLIP από αυτό OpenAI εφαρμογή.
Η εφαρμογή απορρόφησης της υπηρεσίας OpenSearch της ανάρτησης χρησιμοποιείται μόνο για τη δημιουργία πρωτοτύπων. Εάν θέλετε να απορροφήσετε δεδομένα από το Amazon S3 στην Υπηρεσία OpenSearch σε κλίμακα, μπορείτε να εκκινήσετε ένα Εργασία επεξεργασίας Amazon SageMaker με τον κατάλληλο τύπο και τον κατάλληλο αριθμό παρουσιών. Για μια άλλη επεκτάσιμη λύση κατάποσης ενσωμάτωσης, ανατρέξτε στο Η Novartis AG χρησιμοποιεί Amazon OpenSearch Service K-Nearest Neighbor (KNN) και Amazon SageMaker για την ενίσχυση της αναζήτησης και της σύστασης (Μέρος 3/4).
Το CLIP παρέχει μηδενική λήψη δυνατότητες, γεγονός που καθιστά δυνατή την υιοθέτηση ενός προεκπαιδευμένου μοντέλου απευθείας χωρίς χρήση μεταφορά της μάθησης για να τελειοποιήσετε ένα μοντέλο. Αυτό απλοποιεί την εφαρμογή του μοντέλου CLIP. Εάν έχετε ζεύγη εικόνων προϊόντος και περιγραφικό κείμενο, μπορείτε να προσαρμόσετε το μοντέλο με τα δικά σας δεδομένα χρησιμοποιώντας εκμάθηση μεταφοράς για να βελτιώσετε περαιτέρω την απόδοση του μοντέλου. Για περισσότερες πληροφορίες, βλ Εκμάθηση μεταφερόμενων οπτικών μοντέλων από την εποπτεία φυσικής γλώσσας και την CLIP αποθετήριο GitHubιστορία.
Σχετικά με τους Συγγραφείς
Κέβιν Ντου είναι Ανώτερος Αρχιτέκτονας Εργαστηρίου Δεδομένων στην AWS, αφοσιωμένος στο να βοηθά τους πελάτες να επισπεύσουν την ανάπτυξη των προϊόντων Μηχανικής Μάθησης (ML) και των πλατφορμών MLOps τους. Με περισσότερο από μια δεκαετία εμπειρίας στη δημιουργία προϊόντων με δυνατότητα ML τόσο για νεοφυείς επιχειρήσεις όσο και για επιχειρήσεις, η εστίασή του είναι να βοηθήσει τους πελάτες να εξορθολογίσουν την παραγωγικότητα των λύσεών τους ML. Στον ελεύθερο χρόνο του, ο Κέβιν απολαμβάνει να μαγειρεύει και να παρακολουθεί μπάσκετ.
Ananya Roy είναι αρχιτέκτονας Senior Data Lab που ειδικεύεται στην τεχνητή νοημοσύνη και τη μηχανική μάθηση με έδρα το Σίδνεϊ της Αυστραλίας. Έχει συνεργαστεί με ποικίλο φάσμα πελατών για να παρέχει αρχιτεκτονική καθοδήγηση και να τους βοηθήσει να προσφέρουν αποτελεσματική λύση AI/ML μέσω της δέσμευσης εργαστηρίου δεδομένων. Πριν από την AWS, εργαζόταν ως ανώτερη επιστήμονας δεδομένων και ασχολήθηκε με μοντέλα ML μεγάλης κλίμακας σε διαφορετικούς κλάδους όπως η Telco, οι τράπεζες και οι fintech. Η εμπειρία της στο AI/ML της επέτρεψε να προσφέρει αποτελεσματικές λύσεις για πολύπλοκα επιχειρηματικά προβλήματα και είναι παθιασμένη με την αξιοποίηση τεχνολογιών αιχμής για να βοηθήσει τις ομάδες να επιτύχουν τους στόχους τους.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/implement-unified-text-and-image-search-with-a-clip-model-using-amazon-sagemaker-and-amazon-opensearch-service/
- :είναι
- ][Π
- $UP
- 1
- 10
- 100
- 11
- 7
- 8
- 9
- a
- Ικανός
- ΠΛΗΡΟΦΟΡΙΕΣ
- επιταχύνει
- Αποδέχεται
- πρόσβαση
- Κατορθώνω
- απέναντι
- ενεργειών
- Πρόσθετος
- ενστερνίζομαι
- Μετά το
- AG
- Συμφωνία
- AI
- AI / ML
- Όλα
- Amazon
- Amazon OpenSearch Service
- Amazon Sage Maker
- ανάλυση
- και
- Άλλος
- εφαρμόσιμος
- Εφαρμογή
- εφαρμογές
- κατάλληλος
- περίπου
- αρχιτεκτονική
- αρχιτεκτονική
- ΕΙΝΑΙ
- επιχείρημα
- γύρω
- AS
- At
- αποδίδουν
- Australia
- αυτομάτως
- AWS
- Τράπεζες
- βασίζονται
- Μπάσκετ
- BE
- επειδή
- πριν
- Berkeley
- ΚΑΛΎΤΕΡΟΣ
- Καλύτερα
- μεταξύ
- σώμα
- χτίζω
- Κτίριο
- χτισμένο
- ενσωματωμένο
- επιχείρηση
- επιχειρήσεις
- by
- που ονομάζεται
- CAN
- δυνατότητες
- κατάλογος
- CD
- έλεγχος
- επιλογή
- πελάτης
- Κλεισιμο
- συστάδα
- κωδικός
- συλλογή
- Στήλες
- επικοινωνούν
- Επικοινωνία
- σύγκριση
- πλήρης
- συγκρότημα
- έννοια
- διενεργούνται
- διαμόρφωση
- Connect
- Συνδετικός
- σύνδεση
- Καταναλωτές
- περιέχουν
- Περιέχει
- περιεχόμενο
- ομιλητικός
- Αντίστοιχος
- Κόστος
- αποδοτική
- θα μπορούσε να
- δημιουργία
- δημιουργήθηκε
- δημιουργία
- Διαπιστεύσεις
- Φλιτζάνι
- Πελάτες
- αιχμής
- κύκλους
- ημερομηνία
- ανάλυση δεδομένων
- σημεία δεδομένων
- επιστημονικά δεδομένα
- επιστήμονας δεδομένων
- σύνολα δεδομένων
- δεκαετία
- αφιερωμένο
- βαθύς
- βαθιά μάθηση
- Προεπιλογή
- καθορίζοντας
- παραδώσει
- αποδεικνύουν
- κατέδειξε
- παρατάσσω
- ανάπτυξη
- ανάπτυξη
- περιγραφή
- επιθυμητή
- καθέκαστα
- Dev
- ανάπτυξη
- Ανάπτυξη
- συσκευή
- διαφορετικές
- Διάσταση
- κατευθείαν
- Display
- διάφορα
- έγγραφα
- τομέα
- domains
- Μην
- κάτω
- κατεβάσετε
- κατά την διάρκεια
- κάθε
- ευκολότερη
- εύκολα
- ηλεκτρονικού εμπορίου
- Αποτελεσματικός
- ενεργοποιήσετε
- κρυπτογράφηση
- Τελικό σημείο
- δέσμευση
- Κινητήρας
- Κινητήρες
- Αγγλικά
- εξασφαλίζω
- επιχειρήσεις
- εξ ολοκλήρου
- καταχώριση
- Περιβάλλον
- λάθη
- παράδειγμα
- εκτέλεση
- Άσκηση
- εμπειρία
- επιπλέον
- οικογένεια
- Χαρακτηριστικό
- Χαρακτηριστικά
- Εικόνα
- Αρχεία
- Αρχεία
- Εύρεση
- φινίρισμα
- Όνομα
- Ευελιξία
- Συγκέντρωση
- Εξής
- εξής
- Για
- μορφή
- Βρέθηκαν
- ΠΛΑΙΣΙΟ
- Πλαίσιο
- Δωρεάν
- φίλος
- από
- εμπρός
- λειτουργία
- λειτουργικός
- λειτουργικότητα
- λειτουργίες
- περαιτέρω
- παράγουν
- παράγεται
- παίρνω
- Git
- GitHub
- ποτήρι
- Go
- Στόχοι
- μετάβαση
- καλός
- καθοδήγηση
- λαβή
- Έχω
- κεφαλίδες
- ύψος
- βοήθεια
- βοήθεια
- βοηθά
- εδώ
- υψηλότερο
- Επιτυχία
- Επισκέψεις
- οικοδεσπότης
- φιλοξενείται
- φιλοξενία
- Πως
- Πώς να
- HTML
- http
- HTTPS
- Εκατοντάδες
- i
- προσδιορίσει
- Idle
- IDX
- εικόνα
- Αναζήτηση εικόνων
- εικόνες
- εφαρμογή
- εκτέλεση
- εφαρμοστεί
- εκτελεστικών
- εισαγωγή
- βελτίωση
- in
- περιλαμβάνουν
- περιλαμβάνει
- ευρετήριο
- δείκτες
- Δείκτες
- βιομηχανίες
- πληροφορίες
- Υποδομή
- εισαγωγή
- εγκαθιστώ
- παράδειγμα
- αντί
- οδηγίες
- ενσωματωθεί
- ενδιαφερόμενος
- περιβάλλον λειτουργίας
- Internet
- απογραφή
- IT
- αντικειμένων
- ΤΟΥ
- Δουλειά
- Θέσεις εργασίας
- jpg
- json
- εργαστήριο
- Γλώσσα
- laptop
- large
- μεγάλης κλίμακας
- ξεκινήσει
- στρώμα
- μάθηση
- μόχλευσης
- Βιβλιοθήκη
- Μου αρέσει
- LINK
- Λιστα
- Ακίνητα
- φορτίο
- φόρτωση
- τοποθεσία
- Μακριά
- πλέον
- ματιά
- μηχανή
- μάθηση μηχανής
- που
- ΚΑΝΕΙ
- διαχείριση
- διαχείριση
- Χειρισμός
- τρόπος
- μέσα
- μέτρο
- μέτρα
- πηγαίνω
- Meta
- Μεταδεδομένα
- μετρικός
- Λεπτ.
- ML
- MLOps
- μοντέλο
- μοντέλα
- περισσότερο
- μετακινήσετε
- όνομα
- ονόματα
- Φυσικό
- Ανάγκη
- δίκτυο
- νευρικό σύστημα
- Νέα
- επόμενη
- σημειωματάριο
- αριθμοί
- αντικείμενο
- αντικειμένων
- of
- προσφορά
- Παλιά
- on
- διαδικτυακά (online)
- ανοίξτε
- ανοικτού κώδικα
- λειτουργία
- Επιλογή
- OS
- ΑΛΛΑ
- παραγωγή
- καταπατώ
- επισκόπηση
- δική
- Packages
- ζεύγη
- Πάντα
- μέρος
- παθιασμένος
- μονοπάτι
- πρότυπο
- People
- τέλειος
- Εκτελέστε
- επίδοση
- εκτέλεση
- φάση
- εικόνα
- Εικόνες
- κομμάτι
- πίτσα
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- PoC
- Σημείο
- σημεία
- Πολιτικές
- πισίνα
- δυνατός
- Θέση
- δύναμη
- τροφοδοτείται
- πρακτική
- πρόβλεψη
- Προβλέψεις
- προετοιμασία
- πρόληψη
- Πριν
- ιδιωτικός
- προβλήματα
- μεταποίηση
- Προϊόν
- παραγωγή
- Προϊόντα
- Προφίλ ⬇️
- Προγραμματισμός
- σχέδιο
- ιδιότητες
- προτυποποίηση
- παρέχουν
- παρέχει
- δημόσιο
- σκοποί
- βάζω
- Python
- pytorch
- Γρήγορα
- γρήγορα
- σειρά
- Ακατέργαστος
- Διάβασε
- πραγματικός
- σε πραγματικό χρόνο
- Σύσταση
- ρεκόρ
- Red
- ρεγεξ
- περιοχή
- καταχωρηθεί
- αφαιρέστε
- Απαιτεί
- έρευνα
- Υποστηρικτικό υλικό
- απάντησης
- ΠΕΡΙΦΕΡΕΙΑ
- αποτέλεσμα
- Αποτελέσματα
- λιανική πώληση
- απόδοση
- Επιστροφές
- Αύξηση
- Ρόλος
- ROSE
- τρέξιμο
- σοφός
- ίδιο
- Αποθήκευση
- επεκτάσιμη
- Κλίμακα
- απολέπιση
- Επιστήμη
- Επιστήμονας
- σκορ
- SDK
- Αναζήτηση
- μηχανή αναζήτησης
- Οι μηχανές αναζήτησης
- δευτερόλεπτα
- Τμήμα
- προστατευμένο περιβάλλον
- ασφαλώς
- ασφάλεια
- αρχαιότερος
- ποινή
- εξυπηρετούν
- Χωρίς διακομιστή
- υπηρεσία
- Συνεδρίαση
- σειρά
- ρυθμίσεις
- Shape
- θα πρέπει να
- παρουσιάζεται
- παρόμοιες
- Απλούς
- Μέγεθος
- μικρότερος
- So
- λύση
- Λύσεις
- μερικοί
- Πηγή
- Χώρος
- ειδικευμένος
- συγκεκριμένες
- σταθεί
- ξεκινά
- Startups
- Βήμα
- Βήματα
- χώρος στο δίσκο
- κατάστημα
- αποθηκεύονται
- εξορθολογισμό
- Αυστηρός
- στούντιο
- υποβάλουν
- Επιτυχώς
- τέτοιος
- Υποστηρίζει
- διακόπτης
- sydney
- SYS
- παίρνει
- ομάδες
- Τεχνολογίες
- Telco
- πρότυπο
- δοκιμή
- ότι
- Η
- οι πληροφορίες
- τους
- Τους
- Αυτοί
- τρία
- Μέσω
- ώρα
- φορές
- Τίτλος
- τίτλους
- προς την
- ένδειξη
- εργαλείο
- κορυφή
- δάδα
- Torchvision
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- εκπαιδευμένο
- μεταφορά
- Μεταμορφώστε
- μεταφράζω
- αληθής
- τύποι
- ενιαία
- μοναδικός
- απρόβλεπτος
- us
- χρήση
- Χρήστες
- αξία
- ποικιλία
- επαληθεύει
- μέσω
- Δες
- Πραγματικός
- παρακολουθείτε
- Νερό
- ΛΟΙΠΌΝ
- Ποιό
- Ο ΟΠΟΊΟΣ
- πλάτος
- Wikipedia
- θα
- με
- εντός
- χωρίς
- λέξη
- εργαζόμενος
- θα
- X
- Εσείς
- Σας
- zephyrnet