Πώς η CCC Intelligent Solutions δημιούργησε μια προσαρμοσμένη προσέγγιση για τη φιλοξενία σύνθετων μοντέλων AI χρησιμοποιώντας το Amazon SageMaker

Αυτή η ανάρτηση συνυπογράφεται από τους Christopher Diaz, Sam Kinard, Jaime Hidalgo και Daniel Suarez από την CCC Intelligent Solutions.

Σε αυτήν την ανάρτηση, συζητάμε πώς Ευφυείς Λύσεις CCC (CCC) σε συνδυασμό Amazon Sage Maker με άλλες υπηρεσίες AWS για τη δημιουργία μιας προσαρμοσμένης λύσης ικανής να φιλοξενεί τους τύπους σύνθετων μοντέλων τεχνητής νοημοσύνης (AI) που οραματίζονται. Η CCC είναι μια κορυφαία πλατφόρμα λογισμικού ως υπηρεσία (SaaS) για την οικονομία πολλών τρισεκατομμυρίων δολαρίων που τροφοδοτεί ασφαλιστικές εταιρείες, επισκευαστές, αυτοκινητοβιομηχανίες, προμηθευτές ανταλλακτικών, δανειστές και πολλά άλλα. Η τεχνολογία CCC cloud συνδέει περισσότερες από 30,000 επιχειρήσεις ψηφιοποιώντας κρίσιμες για την αποστολή ροές εργασίας, το εμπόριο και τις εμπειρίες πελατών. Έμπιστος ηγέτης στον τομέα της τεχνητής νοημοσύνης, του Διαδικτύου των πραγμάτων (IoT), της εμπειρίας πελατών και της διαχείρισης δικτύων και ροής εργασιών, η CCC προσφέρει καινοτομίες που προχωρούν τη ζωή των ανθρώπων όταν έχει μεγαλύτερη σημασία.

Η πρόκληση

Η CCC επεξεργάζεται περισσότερες από 1 τρισεκατομμύριο δολάρια συναλλαγές απαιτήσεων ετησίως. Καθώς η εταιρεία συνεχίζει να εξελίσσεται για να ενσωματώνει την τεχνητή νοημοσύνη στον υπάρχοντα και νέο κατάλογο προϊόντων της, αυτό απαιτεί εξελιγμένες προσεγγίσεις για την εκπαίδευση και την ανάπτυξη μοντέλων συνόλων πολυτροπικής μηχανικής εκμάθησης (ML) για την επίλυση σύνθετων επιχειρηματικών αναγκών. Αυτά είναι μια κατηγορία μοντέλων που ενσωματώνουν ιδιόκτητους αλγόριθμους και τεχνογνωσία στον τομέα του θέματος που η CCC έχει βελτιώσει όλα αυτά τα χρόνια. Αυτά τα μοντέλα θα πρέπει να μπορούν να απορροφούν νέα επίπεδα διαφοροποιημένων δεδομένων και κανόνων πελατών για τη δημιουργία μεμονωμένων αποτελεσμάτων πρόβλεψης. Σε αυτήν την ανάρτηση ιστολογίου, θα μάθουμε πώς το CCC αξιοποίησε τη φιλοξενία Amazon SageMaker και άλλες υπηρεσίες AWS για να αναπτύξει ή να φιλοξενήσει πολλαπλά μοντέλα πολλαπλών μέσων σε μια διοχέτευση συμπερασμάτων συνόλου.

Όπως φαίνεται στο παρακάτω διάγραμμα, ένα σύνολο είναι μια συλλογή δύο ή περισσότερων μοντέλων που είναι ενορχηστρωμένα ώστε να εκτελούνται με γραμμικό ή μη γραμμικό τρόπο για να παράγουν μία μόνο πρόβλεψη. Όταν στοιβάζονται γραμμικά, τα μεμονωμένα μοντέλα ενός συνόλου μπορούν να χρησιμοποιηθούν απευθείας για προβλέψεις και αργότερα να ενοποιηθούν για ενοποίηση. Κατά καιρούς, τα μοντέλα συνόλων μπορούν επίσης να εφαρμοστούν ως σειριακός αγωγός συμπερασμάτων.

Για την περίπτωση χρήσης μας, ο αγωγός συνόλου είναι αυστηρά μη γραμμικός, όπως φαίνεται στο παρακάτω διάγραμμα. Οι μη γραμμικοί αγωγοί συνόλου είναι θεωρητικά άμεσα άκυκλα γραφήματα (DAGs). Για την περίπτωση χρήσης μας, αυτός ο αγωγός DAG είχε τόσο ανεξάρτητα μοντέλα που εκτελούνται παράλληλα (Υπηρεσίες Β, Γ) όσο και άλλα μοντέλα που χρησιμοποιούν προβλέψεις από προηγούμενα βήματα (Υπηρεσία Δ).

Μια πρακτική που προκύπτει από την κουλτούρα που βασίζεται στην έρευνα στο CCC είναι η συνεχής αναθεώρηση τεχνολογιών που μπορούν να αξιοποιηθούν για να προσδώσουν περισσότερη αξία στους πελάτες. Καθώς το CCC αντιμετώπισε αυτήν την πρόκληση του συνόλου, η ηγεσία ξεκίνησε μια πρωτοβουλία proof-of-concept (POC) για να αξιολογήσει διεξοδικά τις προσφορές από το AWS για να ανακαλύψει, συγκεκριμένα, εάν το Amazon SageMaker και άλλα εργαλεία AWS θα μπορούσαν να διαχειριστούν τη φιλοξενία μεμονωμένων μοντέλων AI σε πολύπλοκες, μη γραμμικές σύνολα.

Το Ensemble εξήγησε: Σε αυτό το πλαίσιο, ένα σύνολο είναι μια ομάδα 2 ή περισσότερων μοντέλων τεχνητής νοημοσύνης που συνεργάζονται για να παράγουν 1 συνολική πρόβλεψη.

Ερωτήματα που οδηγούν την έρευνα

Μπορεί το Amazon SageMaker να χρησιμοποιηθεί για να φιλοξενήσει πολύπλοκα σύνολα μοντέλων τεχνητής νοημοσύνης που συνεργάζονται για να παρέχουν μια συνολική πρόβλεψη; Εάν ναι, μπορεί το SageMaker να προσφέρει άλλα πλεονεκτήματα εκτός συσκευασίας, όπως αυξημένη αυτοματοποίηση, αξιοπιστία, παρακολούθηση, αυτόματη κλιμάκωση και μέτρα εξοικονόμησης κόστους;

Η εύρεση εναλλακτικών τρόπων για την ανάπτυξη των μοντέλων τεχνητής νοημοσύνης της CCC χρησιμοποιώντας τις τεχνολογικές εξελίξεις από παρόχους cloud θα επιτρέψει στην CCC να φέρει λύσεις τεχνητής νοημοσύνης στην αγορά ταχύτερα από τον ανταγωνισμό της. Επιπλέον, η ύπαρξη περισσότερων από μία αρχιτεκτονικών ανάπτυξης παρέχει ευελιξία κατά την εύρεση της ισορροπίας μεταξύ κόστους και απόδοσης με βάση τις επιχειρηματικές προτεραιότητες.

Με βάση τις απαιτήσεις μας, οριστικοποιήσαμε την ακόλουθη λίστα χαρακτηριστικών ως λίστα ελέγχου για μια αρχιτεκτονική ανάπτυξης επιπέδου παραγωγής:

• Υποστήριξη σύνθετων συνόλων
• Εγγυημένος χρόνος λειτουργίας για όλα τα εξαρτήματα
• Προσαρμόσιμη αυτόματη κλιμάκωση για αναπτυγμένα μοντέλα AI
• Διατήρηση εισόδου και εξόδου μοντέλου AI
• Μετρήσεις χρήσης και αρχεία καταγραφής για όλα τα στοιχεία
• Μηχανισμοί εξοικονόμησης κόστους

Με την πλειονότητα των λύσεων AI της CCC να βασίζονται σε μοντέλα υπολογιστικής όρασης, απαιτήθηκε μια νέα αρχιτεκτονική για την υποστήριξη αρχείων εικόνας και βίντεο που συνεχίζουν να αυξάνονται σε ανάλυση. Υπήρχε έντονη ανάγκη να σχεδιαστεί και να εφαρμοστεί αυτή η αρχιτεκτονική ως ασύγχρονο μοντέλο.

Μετά από κύκλους έρευνας και αρχικών προσπαθειών συγκριτικής αξιολόγησης, η CCC έκρινε ότι το SageMaker ήταν ιδανικό για να καλύψει τις περισσότερες από τις απαιτήσεις παραγωγής του, ειδικά το εγγυημένο χρόνο λειτουργίας που παρέχει το SageMaker για τα περισσότερα από τα στοιχεία συμπερασμάτων του. Η προεπιλεγμένη δυνατότητα του Amazon SageMaker Asynchronous Inference τελικά σημεία εξοικονόμησης εισόδου/εξόδου στο Amazon S3 απλοποιεί το έργο της διατήρησης δεδομένων που παράγονται από πολύπλοκα σύνολα. Επιπλέον, καθώς κάθε μοντέλο τεχνητής νοημοσύνης φιλοξενείται από το δικό του τελικό σημείο, η διαχείριση πολιτικών αυτόματης κλιμάκωσης σε επίπεδο μοντέλου ή τελικού σημείου γίνεται ευκολότερη. Με την απλούστευση της διαχείρισης, ένα πιθανό όφελος εξοικονόμησης κόστους από αυτό είναι ότι οι ομάδες ανάπτυξης μπορούν να διαθέσουν περισσότερο χρόνο για τη βελτίωση των πολιτικών κλιμάκωσης για την ελαχιστοποίηση της υπερβολικής παροχής υπολογιστικών πόρων.

Έχοντας αποφασίσει να συνεχίσουμε να χρησιμοποιούμε το SageMaker ως το βασικό συστατικό της αρχιτεκτονικής, συνειδητοποιήσαμε επίσης ότι το SageMaker μπορεί να είναι μέρος μιας ακόμη μεγαλύτερης αρχιτεκτονικής, συμπληρωμένης με πολλές άλλες υπηρεσίες που διαχειρίζονται AWS χωρίς διακομιστή. Αυτή η επιλογή χρειαζόταν για να διευκολυνθούν οι υψηλότερης τάξης ανάγκες ενορχήστρωσης και παρατηρητικότητας αυτής της πολύπλοκης αρχιτεκτονικής.

Πρώτον, για να καταργήσει τους περιορισμούς μεγέθους ωφέλιμου φορτίου και να μειώσει σημαντικά τον κίνδυνο χρονικού ορίου κατά τη διάρκεια σεναρίων υψηλής επισκεψιμότητας, η CCC εφάρμοσε μια αρχιτεκτονική που εκτελεί προβλέψεις ασύγχρονα χρησιμοποιώντας Καταληκτικά σημεία Asynchronous Inference SageMaker σε συνδυασμό με άλλες υπηρεσίες που διαχειρίζονται το AWS ως βασικά δομικά στοιχεία. Επιπλέον, η διεπαφή χρήστη για το σύστημα ακολουθεί το μοτίβο σχεδίασης πυρκαγιάς και ξεχάστε. Με άλλα λόγια, από τη στιγμή που ένας χρήστης έχει ανεβάσει τα στοιχεία του στο σύστημα, δεν χρειάζεται να γίνει τίποτα περισσότερο. Θα ειδοποιηθούν όταν είναι διαθέσιμη η πρόβλεψη. Το παρακάτω σχήμα απεικονίζει μια επισκόπηση υψηλού επιπέδου της ασύγχρονης αρχιτεκτονικής μας που βασίζεται σε συμβάντα. Στην επόμενη ενότητα, ας κάνουμε μια βαθιά κατάδυση στη ροή εκτέλεσης της σχεδιασμένης αρχιτεκτονικής.

Λύση βήμα προς βήμα

Βήμα 1

Ένας πελάτης κάνει ένα αίτημα στο Πύλη API AWS τελικό σημείο. Το περιεχόμενο του αιτήματος περιέχει το όνομα της υπηρεσίας AI από την οποία χρειάζονται μια πρόβλεψη και την επιθυμητή μέθοδο ειδοποίησης.

Το αίτημα αυτό διαβιβάζεται στον α Λάμδα ονομάζεται συνάρτηση Νέα πρόβλεψη, των οποίων τα κύρια καθήκοντα είναι:

• Ελέγξτε εάν η υπηρεσία που ζητήθηκε από τον πελάτη είναι διαθέσιμη.
• Εκχωρήστε ένα μοναδικό αναγνωριστικό πρόβλεψης στο αίτημα. Αυτό το αναγνωριστικό πρόβλεψης μπορεί να χρησιμοποιηθεί από τον χρήστη για να ελέγξει την κατάσταση της πρόβλεψης σε όλη τη διαδικασία.
• Δημιουργήστε ένα Amazon S3 προυπογεγραμμένο URL που θα χρειαστεί να χρησιμοποιήσει ο χρήστης στο επόμενο βήμα για να ανεβάσετε το περιεχόμενο εισαγωγής του αιτήματος πρόβλεψης.
• Δημιουργήστε μια καταχώρηση στο Amazon DynamoDB με τα στοιχεία του ληφθέντος αιτήματος.

Στη συνέχεια, η συνάρτηση Lambda θα επιστρέψει μια απάντηση μέσω του τερματικού σημείου της πύλης API με ένα μήνυμα που περιλαμβάνει το αναγνωριστικό πρόβλεψης που έχει εκχωρηθεί στο αίτημα και την προϋπογεγραμμένη διεύθυνση URL του Amazon S3.

Βήμα 2

Ο πελάτης ανεβάζει με ασφάλεια το περιεχόμενο εισόδου πρόβλεψης σε έναν κάδο S3 χρησιμοποιώντας την προ-υπογεγραμμένη διεύθυνση URL που δημιουργήθηκε στο προηγούμενο βήμα. Το περιεχόμενο εισόδου εξαρτάται από την υπηρεσία AI και μπορεί να αποτελείται από εικόνες, δεδομένα πίνακα ή συνδυασμό και των δύο.

Βήμα 3

Ο κάδος S3 έχει ρυθμιστεί για να ενεργοποιεί ένα συμβάν όταν ο χρήστης ανεβάζει το περιεχόμενο εισόδου. Αυτή η ειδοποίηση αποστέλλεται σε μια ουρά Amazon SQS και αντιμετωπίζεται από μια συνάρτηση Lambda που ονομάζεται Εισαγωγή διαδικασίας. ο Εισαγωγή διαδικασίας Η Lambda θα λάβει τις πληροφορίες που σχετίζονται με αυτό το αναγνωριστικό πρόβλεψης από το DynamoDB για να λάβει το όνομα της υπηρεσίας στην οποία πρόκειται να υποβληθεί το αίτημα.

Αυτή η υπηρεσία μπορεί να είναι είτε ένα μεμονωμένο μοντέλο AI, οπότε το Εισαγωγή διαδικασίας Το Lambda θα υποβάλει ένα αίτημα στο τελικό σημείο του SageMaker που φιλοξενεί αυτό το μοντέλο (Βήμα 3-Α) ή μπορεί να είναι μια υπηρεσία τεχνητής νοημοσύνης συνόλου, οπότε η Εισαγωγή διαδικασίας Το Lambda θα κάνει ένα αίτημα στη μηχανή κατάστασης των συναρτήσεων βήματος που φιλοξενεί τη λογική του συνόλου (Βήμα 3-Β).

Σε οποιαδήποτε από τις δύο επιλογές (μοντέλο AI ή υπηρεσία τεχνητής νοημοσύνης συνόλου), όταν η τελική πρόβλεψη είναι έτοιμη, θα αποθηκευτεί στον κατάλληλο κάδο S3 και ο καλών θα ειδοποιηθεί μέσω της μεθόδου που καθορίζεται στο Βήμα 1 (περισσότερες λεπτομέρειες σχετικά με τις ειδοποιήσεις στο Βήμα 4).

Βήμα 3-Α

Εάν το αναγνωριστικό πρόβλεψης συσχετίζεται με ένα μεμονωμένο μοντέλο AI, το Εισαγωγή διαδικασίας Το Lambda θα κάνει ένα αίτημα στο τελικό σημείο του SageMaker που εξυπηρετεί το μοντέλο. Σε αυτό το σύστημα, υποστηρίζονται δύο τύποι τελικών σημείων SageMaker:

• ασύγχρονη: Ο Εισαγωγή διαδικασίας Το Lambda υποβάλλει το αίτημα στο ασύγχρονο τελικό σημείο του SageMaker. Η άμεση απόκριση περιλαμβάνει τη θέση S3 όπου το SageMaker θα αποθηκεύσει την έξοδο πρόβλεψης. Αυτό το αίτημα είναι ασύγχρονο, ακολουθεί το μοτίβο πυρκαγιάς και ξεχνάς και δεν εμποδίζει τη ροή εκτέλεσης της συνάρτησης Λάμδα.
• Σύγχρονος: Ο Εισαγωγή διαδικασίας Το Lambda υποβάλλει το αίτημα στο σύγχρονο τελικό σημείο του SageMaker. Δεδομένου ότι είναι ένα σύγχρονο αίτημα, το Process Input περιμένει την απόκριση και μόλις ληφθεί, το αποθηκεύει στο S3 με ανάλογο τρόπο που θα έκαναν τα ασύγχρονα τελικά σημεία του SageMaker.

Και στις δύο περιπτώσεις (σύγχρονα ή ασύγχρονα τελικά σημεία), η πρόβλεψη επεξεργάζεται με ισοδύναμο τρόπο, αποθηκεύοντας την έξοδο σε έναν κάδο S3. Όταν το ασύγχρονο τελικό σημείο του SageMaker ολοκληρώσει μια πρόβλεψη, ενεργοποιείται ένα συμβάν Amazon SNS. Αυτή η συμπεριφορά αναπαράγεται επίσης για σύγχρονα τελικά σημεία με πρόσθετη λογική στη συνάρτηση Lambda.

Βήμα 3-Β

Εάν το αναγνωριστικό πρόβλεψης σχετίζεται με ένα σύνολο AI, το Εισαγωγή διαδικασίας Το Lambda θα κάνει το αίτημα στη συνάρτηση βήματος που σχετίζεται με αυτό το AI Ensemble. Όπως αναφέρθηκε παραπάνω, ένα AI Ensemble είναι μια αρχιτεκτονική που βασίζεται σε μια ομάδα μοντέλων AI που συνεργάζονται για να δημιουργήσουν μια ενιαία συνολική πρόβλεψη. Η ενορχήστρωση ενός συνόλου AI γίνεται μέσω μιας λειτουργίας step.

Η λειτουργία βήμα έχει ένα βήμα ανά υπηρεσία AI που περιλαμβάνει το σύνολο. Κάθε βήμα θα καλεί μια συνάρτηση Lambda που θα προετοιμάσει την είσοδο της αντίστοιχης υπηρεσίας AI χρησιμοποιώντας διαφορετικούς συνδυασμούς του περιεχομένου εξόδου από προηγούμενες κλήσεις υπηρεσίας AI προηγούμενων βημάτων. Στη συνέχεια, κάνει μια κλήση σε κάθε υπηρεσία τεχνητής νοημοσύνης, η οποία σε αυτό το πλαίσιο, μπορεί να είναι ένα μεμονωμένο μοντέλο τεχνητής νοημοσύνης ή άλλο σύνολο τεχνητής νοημοσύνης.

Η ίδια συνάρτηση Λάμδα, που ονομάζεται GetTransformCall που χρησιμοποιείται για τον χειρισμό των ενδιάμεσων προβλέψεων ενός συνόλου AI χρησιμοποιείται σε όλη τη συνάρτηση βήματος, αλλά με διαφορετικές παραμέτρους εισαγωγής για κάθε βήμα. Αυτή η είσοδος περιλαμβάνει το όνομα της υπηρεσίας AI που θα κληθεί. Περιλαμβάνει επίσης τον ορισμό της αντιστοίχισης για τη δημιουργία της εισόδου για την καθορισμένη υπηρεσία AI. Αυτό γίνεται χρησιμοποιώντας μια προσαρμοσμένη σύνταξη που μπορεί να αποκωδικοποιήσει το Lambda, το οποίο συνοπτικά είναι ένα λεξικό JSON όπου οι τιμές πρέπει να αντικατασταθούν με το περιεχόμενο από τις προηγούμενες προβλέψεις AI. Το Lambda θα κατεβάσει αυτές τις προηγούμενες προβλέψεις από το Amazon S3.

Σε κάθε βήμα, το GetTransformCall Το Lambda διαβάζει από το Amazon S3 τις προηγούμενες εξόδους που απαιτούνται για τη δημιουργία της εισόδου της καθορισμένης υπηρεσίας AI. Στη συνέχεια θα επικαλεστεί το Νέα Πρόβλεψη Ο κωδικός λάμδα που χρησιμοποιήθηκε προηγουμένως στο Βήμα 1 και παρέχει το όνομα υπηρεσίας, τη μέθοδο επανάκλησης ("συνάρτηση βήματος") και το διακριτικό που απαιτείται για την επανάκληση στο ωφέλιμο φορτίο αιτήματος, το οποίο στη συνέχεια αποθηκεύεται στο DynamoDB ως νέα εγγραφή πρόβλεψης. Το Lambda αποθηκεύει επίσης τη δημιουργημένη είσοδο αυτού του σταδίου σε έναν κάδο S3. Ανάλογα με το αν αυτό το στάδιο είναι ένα μεμονωμένο μοντέλο τεχνητής νοημοσύνης ή ένα σύνολο τεχνητής νοημοσύνης, το Lambda υποβάλλει αίτημα σε ένα τελικό σημείο του SageMaker ή σε μια διαφορετική συνάρτηση βήματος που διαχειρίζεται ένα σύνολο τεχνητής νοημοσύνης που αποτελεί εξάρτηση του γονικού συνόλου.

Μόλις υποβληθεί το αίτημα, η συνάρτηση βήματος εισέρχεται σε κατάσταση εκκρεμότητας έως ότου λάβει το διακριτικό επανάκλησης που υποδεικνύει ότι μπορεί να μετακινηθεί στο επόμενο στάδιο. Η ενέργεια της αποστολής ενός διακριτικού επιστροφής κλήσης εκτελείται από μια συνάρτηση Lambda που ονομάζεται κοινοποιήσεις (περισσότερες λεπτομέρειες στο Βήμα 4) όταν είναι έτοιμη η ενδιάμεση πρόβλεψη. Αυτή η διαδικασία επαναλαμβάνεται για κάθε στάδιο που ορίζεται στη συνάρτηση βήματος μέχρι να είναι έτοιμη η τελική πρόβλεψη.

Βήμα 4

Όταν μια πρόβλεψη είναι έτοιμη και αποθηκευτεί στον κάδο S3, ενεργοποιείται μια ειδοποίηση SNS. Αυτό το συμβάν μπορεί να ενεργοποιηθεί με διαφορετικούς τρόπους ανάλογα με τη ροή:

1. Αυτόματα όταν ένα ασύγχρονο τελικό σημείο του SageMaker ολοκληρώνει μια πρόβλεψη.
2. Ως το τελευταίο βήμα της λειτουργίας του βήματος.
3. By Εισαγωγή διαδικασίας or GetTransformCall Λάμδα όταν ένα σύγχρονο τελικό σημείο του SageMaker έχει επιστρέψει μια πρόβλεψη.

Για το B και το C, δημιουργούμε ένα μήνυμα SNS παρόμοιο με αυτό που στέλνει αυτόματα το A.

Μια συνάρτηση Lambda που ονομάζεται ειδοποιήσεις είναι εγγεγραμμένη σε αυτό το θέμα SNS. Οι ειδοποιήσεις Lambda θα λάβει τις πληροφορίες που σχετίζονται με το αναγνωριστικό πρόβλεψης από το DynamoDB, θα ενημερώσει την καταχώρηση με την τιμή κατάστασης σε "ολοκληρώθηκε" ή "σφάλμα" και θα εκτελέσει την απαραίτητη ενέργεια ανάλογα με τη λειτουργία επανάκλησης που είναι αποθηκευμένη στην εγγραφή της βάσης δεδομένων.

Εάν αυτή η πρόβλεψη είναι μια ενδιάμεση πρόβλεψη ενός συνόλου AI, όπως περιγράφεται στο βήμα 3-Β, η λειτουργία επανάκλησης που σχετίζεται με αυτήν την πρόβλεψη θα είναι "συνάρτηση βήματος" και η εγγραφή της βάσης δεδομένων θα έχει ένα διακριτικό επιστροφής κλήσης που σχετίζεται με το συγκεκριμένο βήμα στο λειτουργία βήματος. Οι ειδοποιήσεις Lambda θα πραγματοποιήσουν κλήση στο API AWS Step Functions χρησιμοποιώντας τη μέθοδο "SendTaskSuccess" ή "SendTaskFailure". Αυτό θα επιτρέψει στη λειτουργία βήματος να συνεχίσει στο επόμενο βήμα ή να βγει.

Εάν η πρόβλεψη είναι η τελική έξοδος της συνάρτησης βήματος και η λειτουργία επανάκλησης είναι "Webhook" [ή email, μεσίτες μηνυμάτων (Kafka), κ.λπ.], τότε οι ειδοποιήσεις Lambda θα ειδοποιήσουν τον πελάτη με τον καθορισμένο τρόπο. Σε οποιοδήποτε σημείο, ο χρήστης μπορεί να ζητήσει την κατάσταση της πρόβλεψής του. Το αίτημα πρέπει να περιλαμβάνει το αναγνωριστικό πρόβλεψης που εκχωρήθηκε στο Βήμα 1 και να δείχνει τη σωστή διεύθυνση URL εντός της πύλης API για να δρομολογηθεί το αίτημα στη συνάρτηση Lambda που ονομάζεται αποτελέσματα.

Τα αποτελέσματα Lambda θα κάνει ένα αίτημα στο DynamoDB, αποκτώντας την κατάσταση του αιτήματος και επιστρέφοντας τις πληροφορίες στον χρήστη. Εάν η κατάσταση της πρόβλεψης είναι σφάλμα, τότε οι σχετικές λεπτομέρειες για την αστοχία θα συμπεριληφθούν στην απάντηση. Εάν η κατάσταση πρόβλεψης είναι επιτυχία, μια προυπογεγραμμένη διεύθυνση URL S3 θα επιστραφεί ώστε ο χρήστης να κατεβάσει το περιεχόμενο πρόβλεψης.

Αποτελέσματα

Τα προκαταρκτικά αποτελέσματα δοκιμών απόδοσης είναι ελπιδοφόρα και υποστηρίζουν την υπόθεση της CCC να επεκτείνει την εφαρμογή αυτής της νέας αρχιτεκτονικής ανάπτυξης.

Αξιοσημείωτες παρατηρήσεις:

• Οι δοκιμές αποκαλύπτουν ισχύ στην επεξεργασία παρτίδων ή ταυτόχρονων αιτημάτων με υψηλή απόδοση και ποσοστό αποτυχίας 0 τοις εκατό σε σενάρια υψηλής επισκεψιμότητας.
• Οι ουρές μηνυμάτων παρέχουν σταθερότητα εντός του συστήματος κατά τη διάρκεια ξαφνικών εισροών αιτημάτων έως ότου οι ενεργοποιητές κλιμάκωσης μπορούν να παρέχουν πρόσθετους υπολογιστικούς πόρους. Όταν αυξάνεται η επισκεψιμότητα κατά 3 φορές, η μέση καθυστέρηση αιτήματος αυξήθηκε μόνο κατά 5 τοις εκατό.
• Η τιμή της σταθερότητας είναι αυξημένη καθυστέρηση λόγω της επιβάρυνσης επικοινωνίας μεταξύ των διαφόρων στοιχείων του συστήματος. Όταν η επισκεψιμότητα των χρηστών είναι πάνω από το βασικό όριο, η προστιθέμενη καθυστέρηση μπορεί να μετριαστεί εν μέρει παρέχοντας περισσότερους υπολογιστικούς πόρους, εάν η απόδοση έχει μεγαλύτερη προτεραιότητα έναντι του κόστους.
• Τα ασύγχρονα τελικά σημεία συμπερασμάτων του SageMaker επιτρέπουν την κλιμάκωση του αριθμού παρουσιών στο μηδέν, ενώ διατηρείται το τελικό σημείο ενεργό για τη λήψη αιτημάτων. Αυτή η λειτουργία επιτρέπει στις αναπτύξεις να συνεχίσουν να εκτελούνται χωρίς να επιβαρύνονται με υπολογιστικό κόστος και να κλιμακώνονται από το μηδέν όταν χρειάζεται σε δύο σενάρια: ανάπτυξη υπηρεσιών που χρησιμοποιούνται σε περιβάλλοντα χαμηλότερης δοκιμής και εκείνα που έχουν ελάχιστη κίνηση χωρίς να απαιτείται άμεση επεξεργασία.

Συμπέρασμα

Όπως παρατηρήθηκε κατά τη διάρκεια της διαδικασίας POC, ο καινοτόμος σχεδιασμός που δημιουργήθηκε από κοινού από την CCC και την AWS παρέχει μια σταθερή βάση για τη χρήση του Amazon SageMaker με άλλες υπηρεσίες που διαχειρίζονται το AWS για τη φιλοξενία πολύπλοκων πολυτροπικών συνόλων AI και την ενορχήστρωση αγωγών συμπερασμάτων αποτελεσματικά και απρόσκοπτα. Αξιοποιώντας τις εξωγενείς λειτουργίες του Amazon SageMaker, όπως το Asynchronous Inference, το CCC έχει περισσότερες ευκαιρίες να επικεντρωθεί σε εξειδικευμένες εργασίες κρίσιμες για τις επιχειρήσεις. Στο πνεύμα της κουλτούρας της CCC που βασίζεται στην έρευνα, αυτή η νέα αρχιτεκτονική θα συνεχίσει να εξελίσσεται καθώς η CCC οδηγεί το δρόμο προς τα εμπρός, παράλληλα με το AWS, στην απελευθέρωση ισχυρών νέων λύσεων AI για πελάτες.

Για λεπτομερή βήματα σχετικά με τον τρόπο δημιουργίας, επίκλησης και παρακολούθησης ασύγχρονων τελικών σημείων συμπερασμάτων, ανατρέξτε στο τεκμηρίωση, που περιέχει επίσης α δείγμα σημειωματάριου για να σας βοηθήσει να ξεκινήσετε. Για πληροφορίες τιμών, επισκεφθείτε Τιμολόγηση του Amazon SageMaker.

Για παραδείγματα σχετικά με τη χρήση ασύγχρονων συμπερασμάτων με μη δομημένα δεδομένα όπως η όραση υπολογιστή και η επεξεργασία φυσικής γλώσσας (NLP), ανατρέξτε στο Εκτελέστε συμπέρασμα όρασης υπολογιστή σε μεγάλα βίντεο με ασύγχρονα τελικά σημεία Amazon SageMaker και  Βελτιώστε την έρευνα υψηλής αξίας με τα ασύγχρονα τελικά σημεία συμπερασμάτων Hugging Face και Amazon SageMaker, Αντίστοιχα.

---

Σχετικά με τους Συγγραφείς

Κρίστοφερ Ντίαζ είναι Επικεφαλής Μηχανικός Ε&Α στην CCC Intelligent Solutions. Ως μέλος της ομάδας Έρευνας και Ανάπτυξης, έχει εργαστεί σε μια ποικιλία έργων που κυμαίνονται από ETL tooling, backend web development, συνεργαζόμενος με ερευνητές για την εκπαίδευση μοντέλων AI σε κατανεμημένα συστήματα και διευκόλυνση της παροχής νέων υπηρεσιών AI μεταξύ ερευνητικών και επιχειρησιακών ομάδων. Η πρόσφατη εστίασή του ήταν στην έρευνα λύσεων εργαλείων cloud για τη βελτίωση διαφόρων πτυχών του κύκλου ζωής ανάπτυξης μοντέλων AI της εταιρείας. Στον ελεύθερο χρόνο του, του αρέσει να δοκιμάζει νέα εστιατόρια στη γενέτειρά του, το Σικάγο και να συλλέγει όσα σετ LEGO χωράει στο σπίτι του. Ο Christopher απέκτησε το πτυχίο του στην Επιστήμη των Υπολογιστών από το Northeastern Illinois University.

Νικητής του βραβείου Emmy Σαμ Κίναρντ είναι Ανώτερος Διευθυντής Μηχανικής Λογισμικού στην CCC Intelligent Solutions. Με έδρα το Ώστιν του Τέξας, τσακώνεται με την ομάδα AI Runtime, η οποία είναι υπεύθυνη για την εξυπηρέτηση των προϊόντων τεχνητής νοημοσύνης της CCC σε υψηλή διαθεσιμότητα και μεγάλη κλίμακα. Στον ελεύθερο χρόνο του, ο Σαμ απολαμβάνει να στερείται ύπνου εξαιτίας των δύο υπέροχων παιδιών του. Ο Σαμ έχει πτυχίο Επιστήμης στην Επιστήμη Υπολογιστών και Πτυχίο Επιστήμης στα Μαθηματικά από το Πανεπιστήμιο του Τέξας στο Όστιν.

Jaime Hidalgo είναι Ανώτερος Μηχανικός Συστημάτων στην CCC Intelligent Solutions. Πριν γίνει μέλος της ερευνητικής ομάδας AI, ηγήθηκε της παγκόσμιας μετάβασης της εταιρείας στην Αρχιτεκτονική Microservices, σχεδιάζοντας, κατασκευάζοντας και αυτοματοποιώντας την υποδομή στο AWS για την υποστήριξη της ανάπτυξης προϊόντων και υπηρεσιών cloud. Επί του παρόντος, κατασκευάζει και υποστηρίζει ένα σύμπλεγμα κέντρων δεδομένων εσωτερικής εγκατάστασης που έχει δημιουργηθεί για εκπαίδευση τεχνητής νοημοσύνης και επίσης σχεδιάζει και κατασκευάζει λύσεις cloud για το μέλλον της εταιρείας στην έρευνα και την ανάπτυξη τεχνητής νοημοσύνης.

Daniel Suarez είναι Μηχανικός Επιστήμης Δεδομένων στην CCC Intelligent Solutions. Ως μέλος της ομάδας AI Engineering, εργάζεται στον αυτοματισμό και την προετοιμασία Μοντέλων AI στην παραγωγή, αξιολόγηση και παρακολούθηση μετρήσεων και άλλων πτυχών των λειτουργιών ML. Ο Ντάνιελ έλαβε μεταπτυχιακό στην Επιστήμη Υπολογιστών από το Ινστιτούτο Τεχνολογίας του Ιλινόις και μεταπτυχιακό και πτυχίο στη Μηχανική Τηλεπικοινωνιών από το Universidad Politecnica de Madrid.

Arunprasath Shankar είναι Ανώτερος Αρχιτέκτονας Λύσεων Specialist AI/ML με AWS, βοηθώντας τους παγκόσμιους πελάτες να κλιμακώσουν τις λύσεις AI τους αποτελεσματικά και αποδοτικά στο cloud. Στον ελεύθερο χρόνο του, ο Αρούν απολαμβάνει να βλέπει ταινίες επιστημονικής φαντασίας και να ακούει κλασική μουσική.

Τζάστιν ΜακΓουάιρτερ είναι Διευθυντής Αρχιτέκτονα Λύσεων στην AWS. Συνεργάζεται με μια ομάδα εκπληκτικών Αρχιτεκτόνων Λύσεων που βοηθούν τους πελάτες να έχουν μια θετική εμπειρία ενώ υιοθετούν την πλατφόρμα AWS. Όταν δεν είναι στη δουλειά, ο Τζάστιν απολαμβάνει να παίζει βιντεοπαιχνίδια με τα δύο του αγόρια, χόκεϊ επί πάγου και εκτός δρόμου με το τζιπ του.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/how-ccc-intelligent-solutions-created-a-custom-approach-for-hosting-complex-ai-models-using-amazon-sagemaker/