Ο προσδιορισμός της αξίας της κατοικίας είναι ένα κλασικό παράδειγμα χρήσης μηχανικής μάθησης (ML). Σημαντική επιρροή άσκησαν οι Harrison και Rubinfeld (1978), οι οποίοι δημοσίευσαν ένα πρωτοποριακό έγγραφο και δεδομένα που έγιναν άτυπα γνωστά ως το σύνολο δεδομένων κατοικιών της Βοστώνης. Αυτή η θεμελιώδης εργασία πρότεινε μια μέθοδο για την εκτίμηση των τιμών των κατοικιών ως συνάρτηση πολλών διαστάσεων, συμπεριλαμβανομένης της ποιότητας του αέρα, η οποία ήταν το κύριο επίκεντρο της έρευνάς τους. Σχεδόν 50 χρόνια αργότερα, η εκτίμηση των τιμών των κατοικιών έχει γίνει ένα σημαντικό εργαλείο διδασκαλίας για φοιτητές και επαγγελματίες που ενδιαφέρονται να χρησιμοποιούν δεδομένα και ML στη λήψη επιχειρηματικών αποφάσεων.
Σε αυτήν την ανάρτηση, συζητάμε τη χρήση ενός μοντέλου ανοιχτού κώδικα που έχει σχεδιαστεί ειδικά για το έργο της οπτικής απάντησης ερωτήσεων (VQA). Με το VQA, μπορείτε να κάνετε μια ερώτηση για μια φωτογραφία χρησιμοποιώντας φυσική γλώσσα και να λάβετε απάντηση στην ερώτησή σας — επίσης σε απλή γλώσσα. Στόχος μας σε αυτήν την ανάρτηση είναι να εμπνεύσουμε και να δείξουμε τι είναι δυνατό χρησιμοποιώντας αυτήν την τεχνολογία. Προτείνουμε τη χρήση αυτής της δυνατότητας με το Amazon Sage Maker πλατφόρμα υπηρεσιών για τη βελτίωση της ακρίβειας του μοντέλου παλινδρόμησης σε περίπτωση χρήσης ML, και ανεξάρτητα, για την αυτοματοποιημένη προσθήκη ετικετών σε οπτικές εικόνες.
Παρέχουμε ένα αντίστοιχο Βίντεο από το YouTube αυτό δείχνει αυτό που συζητείται εδώ. Η αναπαραγωγή βίντεο θα ξεκινήσει στη μέση για να τονίσει το πιο σημαντικό σημείο. Σας προτείνουμε να παρακολουθήσετε αυτήν την ανάγνωση με το βίντεο για να ενισχύσετε και να αποκτήσετε μια πλουσιότερη κατανόηση της έννοιας.
Μοντέλα θεμελίωσης
Αυτή η λύση επικεντρώνεται στη χρήση ενός μοντέλου βάσης που δημοσιεύεται στο αποθετήριο μοντέλων Hugging Face. Εδώ, χρησιμοποιούμε τον όρο μοντέλο θεμελίωσης να περιγράψει μια ικανότητα τεχνητής νοημοσύνης (AI) που έχει προεκπαιδευτεί σε ένα μεγάλο και ποικίλο σύνολο δεδομένων. Τα μοντέλα θεμελίωσης μπορεί μερικές φορές να είναι έτοιμα για χρήση χωρίς το βάρος της εκπαίδευσης ενός μοντέλου από το μηδέν. Ορισμένα μοντέλα θεμελίωσης μπορούν να βελτιστοποιηθούν, πράγμα που σημαίνει ότι τους μαθαίνετε πρόσθετα μοτίβα που σχετίζονται με την επιχείρησή σας, αλλά λείπουν από το αρχικό, γενικευμένο δημοσιευμένο μοντέλο. Μερικές φορές απαιτείται λεπτομέρεια για την παροχή σωστών απαντήσεων που είναι μοναδικές για την περίπτωση χρήσης ή το σύνολο των γνώσεών σας.
Στο Αγκαλιάζοντας το πρόσωπο αποθετήριο, υπάρχουν πολλά μοντέλα VQA για να διαλέξετε. Επιλέξαμε το μοντέλο με τις περισσότερες λήψεις τη στιγμή της σύνταξης αυτού του άρθρου. Αν και αυτή η ανάρτηση δείχνει τη δυνατότητα χρήσης ενός μοντέλου από ένα αποθετήριο μοντέλων ανοιχτού κώδικα, η ίδια ιδέα θα ισχύει για ένα μοντέλο που εκπαιδεύσατε από το μηδέν ή χρησιμοποιήσατε από άλλο αξιόπιστο πάροχο.
Μια σύγχρονη προσέγγιση σε μια κλασική περίπτωση χρήσης
Η εκτίμηση της τιμής του σπιτιού γίνεται παραδοσιακά μέσω πινακοποιημένων δεδομένων όπου τα χαρακτηριστικά του ακινήτου χρησιμοποιούνται για την ενημέρωση της τιμής. Παρόλο που μπορεί να υπάρχουν εκατοντάδες χαρακτηριστικά που πρέπει να λάβετε υπόψη, ορισμένα βασικά παραδείγματα είναι το μέγεθος του σπιτιού στον έτοιμο χώρο, ο αριθμός των υπνοδωματίων και των λουτρών και η τοποθεσία της κατοικίας.
Η μηχανική εκμάθηση είναι ικανή να ενσωματώνει διάφορες πηγές εισόδου πέρα από δεδομένα πίνακα, όπως ήχο, σταθερές εικόνες, κινούμενο βίντεο και φυσική γλώσσα. Στο AI, ο όρος πολυτροπικό αναφέρεται στη χρήση μιας ποικιλίας τύπων μέσων, όπως εικόνες και δεδομένα πίνακα. Σε αυτήν την ανάρτηση, δείχνουμε πώς να χρησιμοποιείτε πολυτροπικά δεδομένα για να βρείτε και να απελευθερώσετε την κρυφή αξία που είναι κλειδωμένη στην άφθονη ψηφιακή εξάτμιση που παράγεται από τον σύγχρονο σύγχρονο κόσμο.
Έχοντας κατά νου αυτήν την ιδέα, επιδεικνύουμε τη χρήση μοντέλων θεμελίωσης για την εξαγωγή λανθάνοντων χαρακτηριστικών από εικόνες του ακινήτου. Χρησιμοποιώντας τις πληροφορίες που βρέθηκαν στις εικόνες, που δεν ήταν προηγουμένως διαθέσιμες στα δεδομένα του πίνακα, μπορούμε να βελτιώσουμε την ακρίβεια του μοντέλου. Τόσο οι εικόνες όσο και τα δεδομένα πίνακα που συζητήθηκαν σε αυτήν την ανάρτηση ήταν αρχικά διαθέσιμα και δημοσιεύθηκαν σε GitHub των Ahmed and Moustafa (2016).
Μια εικόνα αξίζει όσο χίλιες λέξεις
Τώρα που καταλαβαίνουμε τις δυνατότητες του VQA, ας εξετάσουμε τις δύο παρακάτω εικόνες κουζινών. Πώς θα αξιολογούσατε την αξία του σπιτιού από αυτές τις εικόνες; Ποιες είναι μερικές ερωτήσεις που θα κάνατε στον εαυτό σας; Κάθε εικόνα μπορεί να προκαλέσει δεκάδες ερωτήσεις στο μυαλό σας. Ορισμένες από αυτές τις ερωτήσεις μπορεί να οδηγήσουν σε ουσιαστικές απαντήσεις που βελτιώνουν τη διαδικασία αποτίμησης κατοικίας.
Οι φωτογραφίες έχουν τίτλο Francesca Tosolini (L) και Sidekix Media (R) στο Unsplash
Ο παρακάτω πίνακας παρέχει ανέκδοτα παραδείγματα αλληλεπιδράσεων VQA δείχνοντας ερωτήσεις μαζί με τις αντίστοιχες απαντήσεις τους. Οι απαντήσεις μπορούν να έρθουν με τη μορφή κατηγορικών, συνεχών τιμών ή δυαδικών αποκρίσεων.
Παράδειγμα Ερώτησης | Παράδειγμα απάντησης από το μοντέλο θεμελίωσης |
Από τι κατασκευάζονται οι πάγκοι; | γρανίτης, πλακάκι, μάρμαρο, laminate κ.λπ. |
Είναι αυτή μια ακριβή κουζίνα; | ναι όχι |
Πόσοι χωρισμένοι νεροχύτες υπάρχουν; | 0, 1, 2 |
Αρχιτεκτονική αναφοράς
Σε αυτήν την ανάρτηση, χρησιμοποιούμε Amazon SageMaker Data Wrangler για να κάνετε ένα ενιαίο σύνολο οπτικών ερωτήσεων για χιλιάδες φωτογραφίες στο σύνολο δεδομένων. Το SageMaker Data Wrangler έχει σχεδιαστεί ειδικά για να απλοποιεί τη διαδικασία προετοιμασίας δεδομένων και μηχανικής χαρακτηριστικών. Παρέχοντας περισσότερους από 300 ενσωματωμένους μετασχηματισμούς, το SageMaker Data Wrangler συμβάλλει στη μείωση του χρόνου που απαιτείται για την προετοιμασία δεδομένων πινάκων και εικόνας για ML από εβδομάδες σε λεπτά. Εδώ, το SageMaker Data Wrangler συνδυάζει χαρακτηριστικά δεδομένων από το αρχικό σετ πίνακα με χαρακτηριστικά που γεννήθηκαν από φωτογραφίες από το θεμελιώδες μοντέλο για εκπαίδευση μοντέλων.
Στη συνέχεια, χτίζουμε ένα μοντέλο παλινδρόμησης με τη χρήση του Καμβάς Amazon SageMaker. Το SageMaker Canvas μπορεί να δημιουργήσει ένα μοντέλο, χωρίς να γράψει κανέναν κώδικα, και να προσφέρει προκαταρκτικά αποτελέσματα σε μόλις 2–15 λεπτά. Στην ενότητα που ακολουθεί, παρέχουμε μια αρχιτεκτονική αναφοράς που χρησιμοποιείται για να καταστεί δυνατή αυτή η καθοδήγηση λύσης.
Πολλά δημοφιλή μοντέλα από το Hugging Face και άλλους παρόχους μπορούν να αναπτυχθούν με ένα κλικ Amazon SageMaker JumpStart. Υπάρχουν εκατοντάδες χιλιάδες μοντέλα διαθέσιμα σε αυτά τα αποθετήρια. Για αυτήν την ανάρτηση, επιλέγουμε ένα μοντέλο που δεν είναι διαθέσιμο στο SageMaker JumpStart, το οποίο απαιτεί ανάπτυξη πελάτη. Όπως φαίνεται στο παρακάτω σχήμα, αναπτύσσουμε ένα μοντέλο Hugging Face για συμπέρασμα χρησιμοποιώντας ένα Στούντιο Amazon SageMaker σημειωματάριο. Το σημειωματάριο χρησιμοποιείται για την ανάπτυξη ενός τερματικού σημείου για εξαγωγή συμπερασμάτων σε πραγματικό χρόνο. Το σημειωματάριο χρησιμοποιεί στοιχεία που περιλαμβάνουν το δυαδικό μοντέλο Hugging Face, έναν δείκτη σε μια εικόνα κοντέινερ και ένα ειδικά κατασκευασμένο σενάριο inference.py που ταιριάζει με την αναμενόμενη είσοδο και έξοδο του μοντέλου. Καθώς διαβάζετε αυτό, ο συνδυασμός των διαθέσιμων μοντέλων VQA ενδέχεται να αλλάξει. Το σημαντικό είναι να ελέγξετε τα διαθέσιμα μοντέλα VQA, τη στιγμή που θα το διαβάσετε, και να είστε έτοιμοι να αναπτύξετε το μοντέλο που θα επιλέξετε, το οποίο θα έχει το δικό του συμβόλαιο αίτησης και απόκρισης API.
Αφού το μοντέλο VQA εξυπηρετηθεί από το τελικό σημείο του SageMaker, χρησιμοποιούμε το SageMaker Data Wrangler για να ενορχηστρώσουμε τη διοχέτευση που τελικά συνδυάζει δεδομένα πίνακα και χαρακτηριστικά που εξάγονται από τις ψηφιακές εικόνες και αναδιαμορφώνουν τα δεδομένα για εκπαίδευση μοντέλων. Το επόμενο σχήμα προσφέρει μια άποψη του τρόπου εκτέλεσης της εργασίας μετασχηματισμού δεδομένων πλήρους κλίμακας.
Στο παρακάτω σχήμα, χρησιμοποιούμε το SageMaker Data Wrangler για να ενορχηστρώσουμε εργασίες προετοιμασίας δεδομένων και το SageMaker Canvas για εκπαίδευση μοντέλων. Πρώτον, χρησιμοποιεί το SageMaker Data Wrangler Υπηρεσία τοποθεσίας Amazon για να μετατρέψετε τους ταχυδρομικούς κώδικες που είναι διαθέσιμοι στα πρωτογενή δεδομένα σε χαρακτηριστικά γεωγραφικού πλάτους και μήκους. Δεύτερον, το SageMaker Data Wrangler είναι σε θέση να συντονίζει την αποστολή χιλιάδων φωτογραφιών σε ένα τελικό σημείο που φιλοξενείται στο SageMaker για συμπέρασμα σε πραγματικό χρόνο, θέτοντας ένα ομοιόμορφο σύνολο ερωτήσεων ανά σκηνή. Αυτό έχει ως αποτέλεσμα μια πλούσια σειρά χαρακτηριστικών που περιγράφουν χαρακτηριστικά που παρατηρούνται σε κουζίνες, μπάνια, εξωτερικούς χώρους σπιτιού και πολλά άλλα. Μετά την προετοιμασία των δεδομένων από το SageMaker Data Wrangler, ένα σύνολο δεδομένων εκπαίδευσης είναι διαθέσιμο στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3). Χρησιμοποιώντας τα δεδομένα S3 ως είσοδο, το SageMaker Canvas μπορεί να εκπαιδεύσει ένα μοντέλο, σε μόλις 2–15 λεπτά, χωρίς να γράψει κανέναν κώδικα.
Μετασχηματισμός δεδομένων χρησιμοποιώντας το SageMaker Data Wrangler
Το ακόλουθο στιγμιότυπο οθόνης δείχνει μια ροή εργασίας του SageMaker Data Wrangler. Η ροή εργασίας ξεκινά με χιλιάδες φωτογραφίες σπιτιών που είναι αποθηκευμένες στο Amazon S3. Στη συνέχεια, ένας ανιχνευτής σκηνής καθορίζει τη σκηνή, όπως κουζίνα ή μπάνιο. Τέλος, ένα σύνολο ερωτήσεων για συγκεκριμένες σκηνές τίθεται στις εικόνες, με αποτέλεσμα ένα πλουσιότερο, πίνακα δεδομένων διαθέσιμο για εκπαίδευση.
Το παρακάτω είναι ένα παράδειγμα του προσαρμοσμένου κώδικα μετασχηματισμού SageMaker Data Wrangler που χρησιμοποιείται για την αλληλεπίδραση με το μοντέλο βάσης και τη λήψη πληροφοριών σχετικά με εικόνες κουζινών. Στο προηγούμενο στιγμιότυπο οθόνης, εάν επρόκειτο να επιλέξετε τον κόμβο χαρακτηριστικών της κουζίνας, θα εμφανιζόταν ο ακόλουθος κώδικας:
Για λόγους ασφαλείας, πρέπει πρώτα να ενεργοποιήσετε το SageMaker Data Wrangler να καλέσει το τελικό σημείο του SageMaker σε πραγματικό χρόνο μέσω Διαχείριση ταυτότητας και πρόσβασης AWS (ΕΓΩ ΕΙΜΑΙ). Ομοίως, τυχόν πόροι AWS που επικαλείστε μέσω του SageMaker Data Wrangler θα χρειάζονται παρόμοια δικαιώματα άδειας.
Δομές δεδομένων πριν και μετά το SageMaker Data Wrangler
Σε αυτήν την ενότητα, συζητάμε τη δομή των αρχικών δεδομένων πίνακα και των βελτιωμένων δεδομένων. Τα βελτιωμένα δεδομένα περιέχουν νέες δυνατότητες δεδομένων σε σχέση με αυτό το παράδειγμα χρήσης. Στην αίτησή σας, αφιερώστε χρόνο για να φανταστείτε το ποικίλο σύνολο ερωτήσεων που είναι διαθέσιμες στις εικόνες σας για να βοηθήσετε την εργασία ταξινόμησης ή παλινδρόμησης. Η ιδέα είναι να φανταστείτε όσο το δυνατόν περισσότερες ερωτήσεις και στη συνέχεια να τις δοκιμάσετε για να βεβαιωθείτε ότι προσφέρουν προστιθέμενη αξία.
Δομή των αρχικών πινάκων δεδομένων
Όπως περιγράφεται στην πηγή GitHub repo, το δείγμα δεδομένων περιέχει 535 εγγραφές πινάκων συμπεριλαμβανομένων τεσσάρων εικόνων ανά ιδιότητα. Ο παρακάτω πίνακας απεικονίζει τη δομή των αρχικών δεδομένων πίνακα.
Χαρακτηριστικό | Σχόλιο |
Αριθμός υπνοδωματίων | . |
Αριθμός λουτρών | . |
Περιοχή (τετραγωνικά πόδια) | . |
Ταχυδρομικός κώδικας | . |
Τιμή | Αυτή είναι η μεταβλητή στόχος που πρέπει να προβλεφθεί. |
Δομή βελτιωμένων δεδομένων
Ο παρακάτω πίνακας απεικονίζει τη βελτιωμένη δομή δεδομένων, η οποία περιέχει πολλά νέα χαρακτηριστικά που προέρχονται από τις εικόνες.
Χαρακτηριστικό | Σχόλιο |
Αριθμός υπνοδωματίων | . |
Αριθμός λουτρών | . |
Περιοχή (τετραγωνικά πόδια) | . |
Γεωγραφικό πλάτος | Υπολογίζεται περνώντας τον αρχικό ταχυδρομικό κώδικα στην υπηρεσία τοποθεσίας Amazon. Αυτή είναι η τιμή κέντρου για το ZIP. |
Γεωγραφικό μήκος | Υπολογίζεται περνώντας τον αρχικό ταχυδρομικό κώδικα στην υπηρεσία τοποθεσίας Amazon. Αυτή είναι η τιμή κέντρου για το ZIP. |
Το υπνοδωμάτιο περιέχει θολωτή οροφή; | 0 = όχι; 1 = ναι |
Είναι ακριβό το μπάνιο; | 0 = όχι; 1 = ναι |
Είναι ακριβή η κουζίνα; | 0 = όχι; 1 = ναι |
Τιμή | Αυτή είναι η μεταβλητή στόχος που πρέπει να προβλεφθεί. |
Εκπαίδευση μοντέλων με το SageMaker Canvas
Μια εργασία επεξεργασίας δεδομένων του SageMaker Data Wrangler προετοιμάζει πλήρως και καθιστά διαθέσιμο ολόκληρο το εκπαιδευτικό σύνολο δεδομένων σε πίνακα στο Amazon S3. Στη συνέχεια, το SageMaker Canvas εξετάζει τη φάση κατασκευής μοντέλων του κύκλου ζωής ML. Ο καμβάς ξεκινά ανοίγοντας το σετ εκπαίδευσης S3. Η ικανότητα κατανόησης ενός μοντέλου είναι συχνά βασική απαίτηση του πελάτη. Χωρίς εγγραφή κώδικα και μέσα σε λίγα κλικ, το SageMaker Canvas παρέχει πλούσια, οπτική ανατροφοδότηση σχετικά με την απόδοση του μοντέλου. Όπως φαίνεται στο στιγμιότυπο οθόνης στην επόμενη ενότητα, το SageMaker Canvas δείχνει τον τρόπο με τον οποίο τα μεμονωμένα χαρακτηριστικά ενημερώνουν το μοντέλο.
Μοντέλο εκπαιδευμένο με πρωτότυπα δεδομένα σε πίνακα και χαρακτηριστικά που προέρχονται από εικόνες ακινήτων
Μπορούμε να δούμε από το παρακάτω στιγμιότυπο οθόνης ότι οι λειτουργίες που αναπτύχθηκαν από εικόνες της ιδιοκτησίας ήταν σημαντικές. Με βάση αυτά τα αποτελέσματα, η ερώτηση «Είναι ακριβή αυτή η κουζίνα» από τη φωτογραφία ήταν πιο σημαντική από τον «αριθμό υπνοδωματίων» στο αρχικό σετ πίνακα, με τιμές σημασίας χαρακτηριστικών 7.08 και 5.498, αντίστοιχα.
Το παρακάτω στιγμιότυπο οθόνης παρέχει σημαντικές πληροφορίες για το μοντέλο. Πρώτον, το υπολειπόμενο γράφημα δείχνει τα περισσότερα σημεία στο σύνολο που συγκεντρώνονται γύρω από τη μωβ σκιασμένη ζώνη. Εδώ, δύο ακραία σημεία σημειώθηκαν χειροκίνητα έξω από τον καμβά SageMaker για αυτήν την απεικόνιση. Αυτές οι ακραίες τιμές αντιπροσωπεύουν σημαντικά κενά μεταξύ της πραγματικής αξίας κατοικίας και της προβλεπόμενης αξίας. Επιπλέον, το R2 Η τιμή, η οποία έχει ένα πιθανό εύρος 0–100%, εμφανίζεται στο 76%. Αυτό υποδηλώνει ότι το μοντέλο είναι ατελές και δεν έχει αρκετά σημεία πληροφοριών για την πλήρη εκτίμηση όλης της ποικιλίας για την πλήρη εκτίμηση των τιμών του σπιτιού.
Μπορούμε να χρησιμοποιήσουμε ακραίες τιμές για να βρούμε και να προτείνουμε πρόσθετα σήματα για να δημιουργήσουμε ένα πιο ολοκληρωμένο μοντέλο. Για παράδειγμα, αυτές οι ακραίες ιδιότητες μπορεί να περιλαμβάνουν μια πισίνα ή να βρίσκονται σε μεγάλα οικόπεδα. Το σύνολο δεδομένων δεν περιελάμβανε αυτά τα χαρακτηριστικά. Ωστόσο, ενδέχεται να μπορέσετε να εντοπίσετε αυτά τα δεδομένα και να εκπαιδεύσετε ένα νέο μοντέλο με το "έχει πισίνα" να περιλαμβάνεται ως πρόσθετο χαρακτηριστικό. Ιδανικά, στην επόμενη προσπάθειά σας, το R2 η τιμή θα αυξηθεί και οι τιμές MAE και RMSE θα μειωθούν.
Μοντέλο εκπαιδευμένο χωρίς χαρακτηριστικά που προέρχονται από εικόνες ακινήτων
Τέλος, προτού προχωρήσουμε στην επόμενη ενότητα, ας διερευνήσουμε αν οι δυνατότητες από τις εικόνες ήταν χρήσιμες. Το παρακάτω στιγμιότυπο οθόνης παρέχει ένα άλλο εκπαιδευμένο μοντέλο SageMaker Canvas χωρίς τις δυνατότητες από το μοντέλο VQA. Βλέπουμε ότι το ποσοστό σφάλματος μοντέλου έχει αυξηθεί, από RMSE 282K σε RMSE 352K. Από αυτό, μπορούμε να συμπεράνουμε ότι τρεις απλές ερωτήσεις από τις εικόνες βελτίωσαν την ακρίβεια του μοντέλου κατά περίπου 20%. Δεν εμφανίζεται, αλλά για να είναι πλήρες, το R2 Η τιμή για το ακόλουθο μοντέλο επιδεινώθηκε επίσης, πέφτοντας σε τιμή 62% από τιμή 76% με τις παρεχόμενες δυνατότητες VQA. Αυτό είναι ένα παράδειγμα του τρόπου με τον οποίο το SageMaker Canvas καθιστά εύκολο τον γρήγορο πειραματισμό και τη χρήση μιας προσέγγισης βάσει δεδομένων που παρέχει ένα μοντέλο που εξυπηρετεί τις ανάγκες της επιχείρησής σας.
Ατενίζοντας το μέλλον
Πολλοί οργανισμοί ενδιαφέρονται ολοένα και περισσότερο για τα μοντέλα θεμελίωσης, ειδικά από τη στιγμή που οι γενικοί προεκπαιδευμένοι μετασχηματιστές (GPT) έγιναν επίσημα κύριο θέμα ενδιαφέροντος τον Δεκέμβριο του 2022. Ένα μεγάλο μέρος του ενδιαφέροντος για τα μοντέλα θεμελίωσης επικεντρώνεται σε εργασίες μεγάλων γλωσσικών μοντέλων (LLM) ; Ωστόσο, υπάρχουν διαθέσιμες άλλες διαφορετικές περιπτώσεις χρήσης, όπως η όραση υπολογιστή και, πιο στενά, η εξειδικευμένη εργασία VQA που περιγράφεται εδώ.
Αυτή η ανάρτηση είναι ένα παράδειγμα για να εμπνεύσει τη χρήση πολυτροπικών δεδομένων για την επίλυση περιπτώσεων χρήσης του κλάδου. Παρόλο που αποδείξαμε τη χρήση και το όφελος του VQA σε ένα μοντέλο παλινδρόμησης, μπορεί επίσης να χρησιμοποιηθεί για την επισήμανση και την προσθήκη ετικετών σε εικόνες για μετέπειτα αναζήτηση ή δρομολόγηση επιχειρηματικής ροής εργασίας. Φανταστείτε να μπορείτε να αναζητήσετε ακίνητα που είναι καταχωρημένα προς πώληση ή ενοικίαση. Ας υποθέσουμε ότι θέλετε να βρείτε ένα ακίνητο με δάπεδα από πλακάκια ή μαρμάρινους πάγκους. Σήμερα, ίσως χρειαστεί να λάβετε μια μακρά λίστα με υποψήφιες ιδιοκτησίες και να φιλτράρετε τον εαυτό σας με όψη καθώς περιηγείστε σε κάθε υποψήφιο. Αντ 'αυτού, φανταστείτε ότι μπορείτε να φιλτράρετε τις λίστες που περιέχουν αυτές τις λειτουργίες, ακόμα κι αν ένα άτομο δεν τις έχει επισημάνει ρητά. Στον ασφαλιστικό κλάδο, φανταστείτε την ικανότητα να υπολογίζετε τις ζημίες αξίωσης ή να δρομολογείτε τις επόμενες ενέργειες σε μια επιχειρηματική ροή εργασιών από εικόνες. Στις πλατφόρμες μέσων κοινωνικής δικτύωσης, οι φωτογραφίες θα μπορούσαν να έχουν αυτόματη προσθήκη ετικετών για μεταγενέστερη χρήση.
Χαρακτηριστικά
Αυτή η ανάρτηση έδειξε πώς να χρησιμοποιείτε την όραση υπολογιστή που ενεργοποιείται από ένα μοντέλο βάσης για τη βελτίωση μιας κλασικής περίπτωσης χρήσης ML χρησιμοποιώντας την πλατφόρμα SageMaker. Ως μέρος της προτεινόμενης λύσης, εντοπίσαμε ένα δημοφιλές μοντέλο VQA διαθέσιμο σε ένα δημόσιο μητρώο μοντέλων και το αναπτύξαμε χρησιμοποιώντας ένα τελικό σημείο του SageMaker για συμπέρασμα σε πραγματικό χρόνο.
Στη συνέχεια, χρησιμοποιήσαμε το SageMaker Data Wrangler για να ενορχηστρώσουμε μια ροή εργασίας στην οποία τέθηκαν ομοιόμορφες ερωτήσεις για τις εικόνες προκειμένου να δημιουργηθεί ένα πλούσιο σύνολο δεδομένων σε πίνακα. Τέλος, χρησιμοποιήσαμε το SageMaker Canvas για να εκπαιδεύσουμε ένα μοντέλο παλινδρόμησης. Είναι σημαντικό να σημειωθεί ότι το δείγμα δεδομένων ήταν πολύ απλό και, ως εκ τούτου, ατελές ως προς το σχεδιασμό. Ακόμα κι έτσι, το SageMaker Canvas διευκολύνει την κατανόηση της ακρίβειας του μοντέλου και την αναζήτηση πρόσθετων σημάτων για τη βελτίωση της ακρίβειας ενός βασικού μοντέλου.
Ελπίζουμε ότι αυτή η ανάρτηση σας ενθάρρυνε να χρησιμοποιήσετε τα πολυτροπικά δεδομένα που μπορεί να διαθέτει ο οργανισμός σας. Επιπλέον, ελπίζουμε ότι η ανάρτηση σας ενέπνευσε να θεωρήσετε την εκπαίδευση μοντέλων ως επαναληπτική διαδικασία. Ένα υπέροχο μοντέλο μπορεί να επιτευχθεί με λίγη υπομονή. Τα μοντέλα που είναι σχεδόν τέλεια μπορεί να είναι πολύ καλά για να είναι αληθινά, ίσως αποτέλεσμα διαρροής στόχου ή υπερβολικής τοποθέτησης. Ένα ιδανικό σενάριο θα ξεκινούσε με ένα μοντέλο που είναι καλό, αλλά όχι τέλειο. Χρησιμοποιώντας σφάλματα, απώλειες και υπολειπόμενα διαγράμματα, μπορείτε να λάβετε πρόσθετα σήματα δεδομένων για να αυξήσετε την ακρίβεια από την αρχική εκτίμηση βάσης.
Το AWS προσφέρει το ευρύτερο και βαθύτερο σύνολο υπηρεσιών ML και την υποστήριξη υποδομής cloud, θέτοντας το ML στα χέρια κάθε προγραμματιστή, επιστήμονα δεδομένων και ειδικού επαγγελματία. Εάν είστε περίεργοι να μάθετε περισσότερα για την πλατφόρμα SageMaker, συμπεριλαμβανομένων των SageMaker Data Wrangler και SageMaker Canvas, επικοινωνήστε με την ομάδα του λογαριασμού σας AWS και ξεκινήστε μια συζήτηση. Επίσης, σκεφτείτε να διαβάσετε περισσότερα για το SageMaker Data Wrangler προσαρμοσμένες μετατροπές.
αναφορές
Ahmed, E. H., & Moustafa, M. (2016). Εκτίμηση τιμής σπιτιού από οπτικά και κειμενικά χαρακτηριστικά. IJCCI 2016-Proceedings of the 8th International Joint Conference on Computational Intelligence, 3, 62–68.
Harrison Jr, D., & Rubinfeld, D. L. (1978). Ηδονικές τιμές κατοικιών και η ζήτηση για καθαρό αέρα. Περιοδικό Περιβαλλοντικής Οικονομίας και Διαχείρισης, 5(1), 81-102.
Kim, W., Son, B. & Kim, I.. (2021). ViLT: Vision-and-Language Transformer Χωρίς Συνέλιξη ή Εποπτεία Περιοχής. Πρακτικά 38ου Διεθνούς Συνεδρίου για τη Μηχανική Μάθηση, στο Proceedings of Machine Learning Research. 139:5583-5594.
Σχετικά με το Συγγραφέας
Τσαρλς Λάφλιν είναι Κύριος Αρχιτέκτονας Λύσεων Specialist AI/ML και εργάζεται στην ομάδα υπηρεσιών Amazon SageMaker στο AWS. Βοηθά στη διαμόρφωση του οδικού χάρτη υπηρεσιών και συνεργάζεται καθημερινά με διάφορους πελάτες AWS για να βοηθήσει να μεταμορφώσουν τις επιχειρήσεις τους χρησιμοποιώντας τεχνολογίες αιχμής AWS και ηγετική σκέψη. Ο Charles είναι κάτοχος μεταπτυχιακού διπλώματος στη Διαχείριση Εφοδιαστικής Αλυσίδας και Ph.D. στην Επιστήμη Δεδομένων.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/use-foundation-models-to-improve-model-accuracy-with-amazon-sagemaker/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 08
- 1
- 100
- 2016
- 2021
- 2022
- 32
- 49
- 50
- 50 χρόνια
- 7
- 8
- 8
- a
- ικανότητα
- Ικανός
- Σχετικα
- άφθονος
- πρόσβαση
- Λογαριασμός
- ακρίβεια
- επιτευχθεί
- ενεργειών
- Πρόσθετος
- Επιπλέον
- διευθύνσεις
- Μετά το
- ahmed
- AI
- AI / ML
- ΑΕΡΑ
- Όλα
- επιτρέπουν
- σχεδόν
- κατά μήκος της πλευράς
- Επίσης
- Αν και
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- amp
- an
- και
- Άλλος
- απάντηση
- απαντήσεις
- κάθε
- api
- εμφανίζομαι
- Εφαρμογή
- Εφαρμογή
- πλησιάζω
- αρχιτεκτονική
- ΕΙΝΑΙ
- γύρω
- Παράταξη
- τεχνητός
- τεχνητή νοημοσύνη
- Τεχνητή νοημοσύνη (AI)
- AS
- ζητώ
- ζητώντας
- εκτιμώ
- Ενεργητικό
- At
- απόπειρα
- ήχου
- Αυτοματοποιημένη
- διαθέσιμος
- AWS
- βασίζονται
- Baseline
- BE
- έγινε
- γίνονται
- να γίνει
- ήταν
- πριν
- αρχίζουν
- είναι
- όφελος
- μεταξύ
- Πέρα
- σώμα
- boston
- και οι δύο
- χτίζω
- Κτίριο
- ενσωματωμένο
- βάρος
- επιχείρηση
- επιχειρήσεις
- αλλά
- by
- κλήση
- CAN
- υποψήφιος
- καμβάς
- δυνατότητες
- ικανότητα
- ικανός
- περίπτωση
- περιπτώσεις
- οροφή
- στο κέντρο
- Κέντρα
- αλυσίδα
- αλλαγή
- χαρακτηριστικά
- Κάρολος
- Επιλέξτε
- ισχυρισμός
- κλασικό
- ταξινόμηση
- καθαρός
- Backup
- cloud infrastructure
- ομαδοποίηση
- κωδικός
- κώδικες
- συνεργάζεται
- χρώμα
- συνδυάζει
- Ελάτε
- πλήρης
- περιεκτικός
- υπολογιστική
- υπολογιστή
- Computer Vision
- έννοια
- καταλήγω
- Διάσκεψη
- Εξετάστε
- εξέταση
- περιέχουν
- Δοχείο
- Περιέχει
- συνεχής
- σύμβαση
- Συνομιλία
- μετατρέψετε
- συντεταγμένη
- διορθώσει
- Αντίστοιχος
- θα μπορούσε να
- μονάδες
- περίεργος
- έθιμο
- πελάτης
- Πελάτες
- αιχμής
- καθημερινά
- ημερομηνία
- Προετοιμασία δεδομένων
- επιστημονικά δεδομένα
- επιστήμονας δεδομένων
- σύνολο δεδομένων
- Δομή δεδομένων
- βασίζονται σε δεδομένα
- Δεκέμβριος
- Λήψη Αποφάσεων
- μείωση
- πιο βαθιά
- παραδώσει
- Ζήτηση
- αποδεικνύουν
- κατέδειξε
- καταδεικνύει
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- Συμπληρωματικός
- περιγράφουν
- περιγράφεται
- Υπηρεσίες
- σχεδιασμένα
- καθορίζει
- αναπτύχθηκε
- Εργολάβος
- ψηφιακό
- Διαστάσεις
- συζητήσουν
- συζήτηση
- διάφορα
- do
- κάνει
- Όχι
- λήψεις
- δεκάδες
- Ρίψη
- e
- κάθε
- εύκολος
- Οικονομικά
- ενεργοποιήσετε
- ενεργοποιημένη
- ενθαρρύνονται
- Τελικό σημείο
- Μηχανική
- ενισχυμένη
- αρκετά
- Ολόκληρος
- περιβάλλοντος
- σφάλμα
- λάθη
- ειδικά
- εκτίμηση
- κ.λπ.
- Even
- Κάθε
- παράδειγμα
- παραδείγματα
- αναμένεται
- ακριβά
- πείραμα
- εμπειρογνώμονας
- ρητά
- διερευνήσει
- εκχύλισμα
- Πρόσωπο
- Χαρακτηριστικό
- Χαρακτηριστικά
- ανατροφοδότηση
- Πόδια
- λίγοι
- Εικόνα
- φιλτράρισμα
- Τελικά
- Εύρεση
- Όνομα
- Όροφος
- Συγκέντρωση
- ακολουθήστε
- Εξής
- εξής
- Για
- μορφή
- Βρέθηκαν
- Θεμέλιο
- τέσσερα
- από
- πλήρους κλίμακας
- πλήρως
- λειτουργία
- λειτουργίες
- θεμελιώδης
- Κέρδος
- κενά
- General
- παράγουν
- παίρνω
- γκολ
- καλός
- γραφική παράσταση
- εξαιρετική
- πρωτοποριακή
- καθοδήγηση
- τα χέρια
- Έχω
- he
- βοήθεια
- χρήσιμο
- βοηθά
- εδώ
- κρυμμένο
- Επισημάνετε
- κατέχει
- Αρχική
- σπίτια
- ελπίζω
- φιλοξενείται
- Σπίτι
- στέγαση
- Πως
- Πώς να
- Ωστόσο
- http
- HTTPS
- Εκατοντάδες
- i
- ιδέα
- ιδανικό
- ιδανικά
- Ταυτότητα
- if
- απεικονίζει
- εικόνα
- εικόνες
- φαντάζομαι
- εισαγωγή
- σπουδαιότητα
- σημαντικό
- βελτίωση
- βελτιωθεί
- in
- περιλαμβάνουν
- περιλαμβάνονται
- Συμπεριλαμβανομένου
- ενσωματώνοντας
- Αυξάνουν
- αυξημένη
- όλο και περισσότερο
- ανεξάρτητα
- υποδηλώνει
- βιομηχανία
- επιρροή
- πληροφορώ
- πληροφορίες
- Υποδομή
- αρχικός
- εισαγωγή
- ιδέες
- εμπνεύσει
- εμπνευσμένος
- αντί
- ασφάλιση
- Νοημοσύνη
- αλληλεπιδρούν
- αλληλεπιδράσεις
- τόκος
- ενδιαφερόμενος
- International
- σε
- IT
- ΤΟΥ
- Δουλειά
- άρθρωση
- jpg
- json
- Κλειδί
- Κιμ
- γνώση
- γνωστός
- επιγραφή
- Οικόπεδο
- Γλώσσα
- large
- αργότερα
- οδηγήσει
- Ηγεσία
- ΜΑΘΑΊΝΩ
- μάθηση
- κύκλος ζωής
- Λιστα
- Εισηγμένες
- Ακίνητα
- λίγο
- LLM
- που βρίσκεται
- τοποθεσία
- κλειδωμένη
- Μακριά
- απώλειες
- μηχανή
- μάθηση μηχανής
- που
- Mainstream
- κάνω
- ΚΑΝΕΙ
- διαχείριση
- χειροκίνητα
- πολοί
- σπίρτα
- Ενδέχεται..
- νόημα
- μέσα
- Εικόνες / Βίντεο
- μέθοδος
- Στα μισά του δρόμου
- ενδέχεται να
- νου
- Λεπτ.
- Λείπει
- μείγμα
- ML
- μοντέλο
- μοντέλα
- ΜΟΝΤΕΡΝΑ
- περισσότερο
- πλέον
- κίνηση
- κίνηση
- πρέπει
- Φυσικό
- Ανάγκη
- που απαιτούνται
- Νέα
- Νέες δυνατότητες
- επόμενη
- Όχι.
- κόμβος
- σημειωματάριο
- αριθμός
- πολυάριθμες
- αποκτήσει
- συνέβη
- of
- προσφορές
- Επίσημα
- συχνά
- on
- αποκλειστικά
- ανοικτού κώδικα
- άνοιγμα
- or
- τάξη
- επιχειρήσεις
- οργανώσεις
- πρωτότυπο
- αρχικά
- ΑΛΛΑ
- δικός μας
- έξω
- απότομη
- παραγωγή
- εκτός
- δική
- Χαρτί
- μέρος
- Πέρασμα
- Υπομονή
- πρότυπα
- για
- τέλειος
- επίδοση
- ίσως
- δικαιώματα
- person
- φάση
- Φωτογραφίες
- εικόνα
- Εικόνες
- αγωγού
- Σκέτη
- πλατφόρμες
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- σας παρακαλούμε
- Σημείο
- σημεία
- πισίνα
- Δημοφιλής
- τμήμα
- έχουν
- δυνατός
- Θέση
- προβλεπόμενη
- προκαταρκτικός
- προετοιμασία
- Προετοιμάστε
- έτοιμος
- Ετοιμάζεται
- προηγουμένως
- τιμή
- Τιμές
- Κύριος
- Διαδικασία
- διαδικασια μας
- μεταποίηση
- Παράγεται
- επαγγελματίες
- ιδιότητες
- περιουσία
- προτείνω
- προτείνεται
- παρέχουν
- παρέχεται
- προμηθευτής
- Παρόχους υπηρεσιών
- παρέχει
- χορήγηση
- δημόσιο
- δημοσιεύθηκε
- Βάζοντας
- ποιότητα
- ερώτηση
- Ερωτήσεις
- γρήγορα
- R
- σειρά
- Τιμή
- Ακατέργαστος
- φθάσουν
- Διάβασε
- Ανάγνωση
- έτοιμος
- σε πραγματικό χρόνο
- λαμβάνω
- αρχεία
- μείωση
- αναφορά
- αναφέρεται
- περιοχή
- μητρώου
- ενισχύσουν
- σχετικής
- Ενοικίαση
- Αποθήκη
- εκπροσωπώ
- ζητήσει
- απαίτηση
- Απαιτεί
- έρευνα
- αναπλάσσω
- Κατοικία
- Υποστηρικτικό υλικό
- αντίστοιχα
- απάντησης
- απαντήσεις
- αποτέλεσμα
- με αποτέλεσμα
- Αποτελέσματα
- απόδοση
- ανασκόπηση
- Πλούσιος
- Πλουσιότερο
- οδικός χάρτης
- Διαδρομή
- δρομολόγηση
- τρέξιμο
- runtime
- s
- σοφός
- πώληση
- ίδιο
- Δείγμα δεδομένων
- σενάριο
- σκηνή
- Επιστήμη
- Επιστήμονας
- scott
- γραφή
- Αναζήτηση
- Δεύτερος
- Τμήμα
- ασφάλεια
- δείτε
- Επιδιώξτε
- δει
- επιλέγονται
- αποστολή
- εξυπηρετούν
- σερβίρεται
- υπηρεσία
- Υπηρεσίες
- σειρά
- διάφοροι
- Shape
- δείχνουν
- παρουσιάζεται
- Δείχνει
- Θέαμα
- σήματα
- σημαντικός
- παρόμοιες
- Ομοίως
- Απλούς
- απλοποίηση
- αφού
- ενιαίας
- Μέγεθος
- So
- Μ.Κ.Δ
- social media
- κοινωνικές πλατφόρμες μέσων μαζικής ενημέρωσης
- λύση
- SOLVE
- μερικοί
- μερικές φορές
- του
- Πηγή
- Πηγές
- Χώρος
- ειδικός
- ειδικευμένος
- ειδικά
- πλατεία
- Εκκίνηση
- Ακόμη
- χώρος στο δίσκο
- αποθηκεύονται
- ειλικρινής
- δομή
- δομές
- Φοιτητές
- μεταγενέστερος
- τέτοιος
- προτείνω
- εποπτεία
- προμήθεια
- αλυσίδας εφοδιασμού
- διαχείριση της εφοδιαστικής αλυσίδας
- Στήριξη
- βέβαιος
- τραπέζι
- TAG
- Πάρτε
- παίρνει
- στόχος
- Έργο
- εργασίες
- Διδασκαλία
- Τεχνολογίες
- Τεχνολογία
- όρος
- δοκιμή
- κείμενο
- από
- ότι
- Η
- Η Πηγη
- τους
- Τους
- τότε
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- πράγμα
- αυτό
- εκείνοι
- σκέψη
- σκέψη ηγεσία
- χίλια
- χιλιάδες
- τρία
- Μέσω
- ώρα
- προς την
- σήμερα
- σημερινή
- πολύ
- εργαλείο
- τοπικός
- παραδοσιακά
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- Μεταμορφώστε
- Μεταμόρφωση
- μετασχηματισμούς
- μετασχηματιστής
- μετασχηματιστές
- αληθής
- Έμπιστος
- δύο
- τύπος
- τύποι
- τελικά
- καταλαβαίνω
- κατανόηση
- μοναδικός
- Unsplash
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- χρησιμοποιεί
- χρησιμοποιώντας
- αξιοποιώντας
- Εκτίμηση
- αξία
- προστιθέμενη αξία
- Αξίες
- μεταβλητή
- ποικιλία
- πολύ
- Βίντεο
- Δες
- ορατός
- όραμα
- οπτικές
- W
- θέλω
- ήταν
- we
- ιστός
- διαδικτυακές υπηρεσίες
- Εβδ.
- ΛΟΙΠΌΝ
- ήταν
- Τι
- Τι είναι
- Ποιό
- Ο ΟΠΟΊΟΣ
- θα
- παράθυρα
- με
- εντός
- χωρίς
- ξύλο
- Εργασία
- ροής εργασίας
- λειτουργεί
- κόσμος
- αξία
- θα
- γραφή
- χρόνια
- αποδόσεις
- Εσείς
- Σας
- τον εαυτό σας
- YouTube
- zephyrnet
- μηδέν
- Zip