Προσεγγίσεις δοκιμής για μοντέλα Amazon SageMaker ML

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Αυτή η ανάρτηση γράφτηκε από κοινού με τον Tobias Wenzel, Διευθυντή Μηχανικής Λογισμικού για την Πλατφόρμα Μηχανικής Μάθησης Intuit.

Όλοι εκτιμούμε τη σημασία ενός υψηλής ποιότητας και αξιόπιστου μοντέλου μηχανικής μάθησης (ML) κατά τη χρήση αυτόνομης οδήγησης ή την αλληλεπίδραση με την Alexa, για παράδειγμα. Τα μοντέλα ML διαδραματίζουν επίσης σημαντικό ρόλο με λιγότερο προφανείς τρόπους — χρησιμοποιούνται από επιχειρηματικές εφαρμογές, υγειονομική περίθαλψη, χρηματοπιστωτικά ιδρύματα, amazon.com, TurboTax και άλλα.

Καθώς οι εφαρμογές με δυνατότητα ML γίνονται ο πυρήνας πολλών επιχειρήσεων, τα μοντέλα πρέπει να ακολουθούν το ίδιο σθένος και πειθαρχία με τις εφαρμογές λογισμικού. Μια σημαντική πτυχή των MLOps είναι η παράδοση μιας νέας έκδοσης του προηγουμένως αναπτυγμένου μοντέλου ML στην παραγωγή, χρησιμοποιώντας καθιερωμένες πρακτικές DevOps, όπως η δοκιμή, η έκδοση εκδόσεων, η συνεχής παράδοση και η παρακολούθηση.

Υπάρχουν αρκετές εντεταλμένος οδηγίες σχετικά με τα MLOps και αυτή η ανάρτηση παρέχει μια επισκόπηση της διαδικασίας που μπορείτε να ακολουθήσετε και ποια εργαλεία να χρησιμοποιήσετε για δοκιμές. Αυτό βασίζεται σε συνεργασίες μεταξύ Intuit και AWS. Εργαζόμαστε μαζί για να εφαρμόσουμε τις συστάσεις που εξηγούνται σε αυτήν την ανάρτηση στην πράξη και σε κλίμακα. Στόχος του Intuit να γίνει ένα Πλατφόρμα εμπειρογνωμόνων με γνώμονα την AI εξαρτάται σε μεγάλο βαθμό από μια στρατηγική αύξησης της ταχύτητας ανάπτυξης του αρχικού μοντέλου καθώς και από τη δοκιμή νέων εκδόσεων.

απαιτήσεις

Οι ακόλουθοι είναι οι κύριοι τομείς που εξετάζονται κατά την ανάπτυξη νέων εκδόσεων μοντέλων:

Απόδοση ακρίβειας μοντέλου – Είναι σημαντικό να παρακολουθείτε των μετρήσεων αξιολόγησης του μοντέλου όπως η ακρίβεια, η ακρίβεια και η ανάκληση, και διασφαλίστε ότι οι αντικειμενικές μετρήσεις παραμένουν σχετικά ίδιες ή βελτιώνονται με μια νέα έκδοση του μοντέλου. Στις περισσότερες περιπτώσεις, η ανάπτυξη μιας νέας έκδοσης του μοντέλου δεν έχει νόημα εάν η εμπειρία των τελικών χρηστών δεν βελτιωθεί.
Δοκιμή ποιότητας δεδομένων – Τα δεδομένα σε μη παραγωγικά περιβάλλοντα, είτε είναι προσομοιωμένα είτε αντίγραφα σε χρόνο, θα πρέπει να είναι αντιπροσωπευτικά των δεδομένων που θα λάβει το μοντέλο όταν αναπτυχθεί πλήρως, όσον αφορά τον όγκο ή τη διανομή. Εάν όχι, οι διαδικασίες δοκιμών σας δεν θα είναι αντιπροσωπευτικές και το μοντέλο σας ενδέχεται να συμπεριφέρεται διαφορετικά στην παραγωγή.
Σημασία χαρακτηριστικών και ισοτιμία – Η σημασία των χαρακτηριστικών στη νεότερη έκδοση του μοντέλου θα πρέπει να συγκρίνεται σχετικά με το παλαιότερο μοντέλο, αν και ενδέχεται να εισαχθούν νέα χαρακτηριστικά. Αυτό γίνεται για να διασφαλιστεί ότι το μοντέλο δεν γίνεται μεροληπτικό.
Δοκιμή επιχειρηματικής διαδικασίας – Είναι σημαντικό μια νέα έκδοση ενός μοντέλου να μπορεί να εκπληρώσει τους απαιτούμενους επιχειρηματικούς σας στόχους εντός αποδεκτών παραμέτρων. Για παράδειγμα, μία από τις επιχειρηματικές μετρήσεις μπορεί να είναι ότι η λανθάνουσα κατάσταση από άκρο σε άκρο για οποιαδήποτε υπηρεσία δεν πρέπει να είναι μεγαλύτερη από 100 χιλιοστά του δευτερολέπτου ή το κόστος φιλοξενίας και επανεκπαίδευσης ενός συγκεκριμένου μοντέλου δεν μπορεί να είναι μεγαλύτερο από 10,000 $ ετησίως.
Κόστος – Μια απλή προσέγγιση για τη δοκιμή είναι η αναπαραγωγή ολόκληρου του περιβάλλοντος παραγωγής ως δοκιμαστικού περιβάλλοντος. Αυτή είναι μια κοινή πρακτική στην ανάπτυξη λογισμικού. Ωστόσο, μια τέτοια προσέγγιση στην περίπτωση των μοντέλων ML ενδέχεται να μην αποφέρει τη σωστή απόδοση επένδυσης (ROI) ανάλογα με το μέγεθος των δεδομένων και μπορεί να επηρεάσει το μοντέλο όσον αφορά το επιχειρηματικό πρόβλημα που αντιμετωπίζει.
Ασφάλεια – Τα περιβάλλοντα δοκιμής αναμένεται συχνά να έχουν δείγματα δεδομένων αντί για πραγματικά δεδομένα πελατών και ως εκ τούτου, οι κανόνες χειρισμού δεδομένων και συμμόρφωσης μπορεί να είναι λιγότερο αυστηροί. Ακριβώς όπως το κόστος όμως, εάν απλώς αντιγράψετε το περιβάλλον παραγωγής σε ένα δοκιμαστικό περιβάλλον, θα μπορούσατε να εισαγάγετε κινδύνους ασφάλειας και συμμόρφωσης.
Επεκτασιμότητα αποθήκευσης δυνατοτήτων – Εάν ένας οργανισμός αποφασίσει να μην δημιουργήσει ξεχωριστό χώρο αποθήκευσης δυνατοτήτων δοκιμής για λόγους κόστους ή ασφάλειας, τότε πρέπει να πραγματοποιηθεί δοκιμή μοντέλου στο χώρο αποθήκευσης χαρακτηριστικών παραγωγής, κάτι που μπορεί να προκαλέσει προβλήματα επεκτασιμότητας καθώς η επισκεψιμότητα διπλασιάζεται κατά τη διάρκεια της δοκιμαστικής περιόδου.
Διαδικτυακή απόδοση μοντέλου – Οι διαδικτυακές αξιολογήσεις διαφέρουν από τις αξιολογήσεις εκτός σύνδεσης και μπορεί να είναι σημαντικές σε ορισμένες περιπτώσεις, όπως τα μοντέλα συστάσεων, επειδή μετρούν την ικανοποίηση των χρηστών σε πραγματικό χρόνο και όχι την αντιληπτή ικανοποίηση. Είναι δύσκολο να προσομοιώσετε πραγματικά μοτίβα επισκεψιμότητας στη μη παραγωγή λόγω εποχικότητας ή άλλης συμπεριφοράς των χρηστών, επομένως η απόδοση του μοντέλου στο διαδίκτυο μπορεί να γίνει μόνο στην παραγωγή.
Λειτουργική απόδοση – Καθώς τα μοντέλα μεγαλώνουν και αναπτύσσονται όλο και περισσότερο με αποκεντρωμένο τρόπο σε διαφορετικό υλικό, είναι σημαντικό να δοκιμάσετε το μοντέλο για την επιθυμητή λειτουργική σας απόδοση, όπως καθυστέρηση, ποσοστό σφάλματος και άλλα.

Οι περισσότερες ομάδες ML έχουν μια πολύπλευρη προσέγγιση στη δοκιμή μοντέλων. Στις επόμενες ενότητες, παρέχουμε τρόπους αντιμετώπισης αυτών των προκλήσεων κατά τη διάρκεια διαφόρων σταδίων δοκιμών.

Δοκιμή μοντέλων εκτός σύνδεσης

Ο στόχος αυτής της φάσης δοκιμής είναι η επικύρωση νέων εκδόσεων ενός υπάρχοντος μοντέλου από άποψη ακρίβειας. Αυτό θα πρέπει να γίνεται με τρόπο εκτός σύνδεσης για να μην επηρεάζονται τυχόν προβλέψεις στο σύστημα παραγωγής που εξυπηρετούν προβλέψεις σε πραγματικό χρόνο. Διασφαλίζοντας ότι το νέο μοντέλο αποδίδει καλύτερα για τις εφαρμοστέες μετρήσεις αξιολόγησης, αυτή η δοκιμή αντιμετωπίζει την πρόκληση 1 (απόδοση ακρίβειας μοντέλου). Επίσης, χρησιμοποιώντας το σωστό σύνολο δεδομένων, αυτή η δοκιμή μπορεί να αντιμετωπίσει τις προκλήσεις 2 και 3 (ποιότητα δεδομένων δοκιμής, σημασία χαρακτηριστικών και ισοτιμία), με το πρόσθετο όφελος της αντιμετώπισης της πρόκλησης 5 (κόστος).

Αυτή η φάση γίνεται στο περιβάλλον της σκηνής.

Θα πρέπει να συλλάβετε την επισκεψιμότητα παραγωγής, την οποία μπορείτε να χρησιμοποιήσετε για την επανάληψη των δοκιμών εκτός σύνδεσης. Είναι προτιμότερο να χρησιμοποιείτε προηγούμενη κυκλοφορία παραγωγής αντί για συνθετικά δεδομένα. ο Παρακολούθηση μοντέλου Amazon SageMaker δυνατότητα λήψης δεδομένων σας επιτρέπει να καταγράφετε την κυκλοφορία παραγωγής για μοντέλα που φιλοξενούνται Amazon Sage Maker. Αυτό επιτρέπει στους προγραμματιστές μοντέλων να δοκιμάσουν τα μοντέλα τους με δεδομένα από εργάσιμες ημέρες αιχμής ή άλλα σημαντικά γεγονότα. Στη συνέχεια, τα δεδομένα που συλλέγονται αναπαράγονται με τη νέα έκδοση του μοντέλου κατά παρτίδες Μετασχηματισμός παρτίδας Sagemaker. Αυτό σημαίνει ότι η εκτέλεση του μετασχηματισμού παρτίδας μπορεί να ελεγχθεί με δεδομένα που έχουν συλλεχθεί για εβδομάδες ή μήνες σε λίγες μόνο ώρες. Αυτό μπορεί να επιταχύνει σημαντικά τη διαδικασία αξιολόγησης του μοντέλου σε σύγκριση με την εκτέλεση δύο ή περισσότερων εκδόσεων ενός μοντέλου σε πραγματικό χρόνο δίπλα-δίπλα και την αποστολή διπλών αιτημάτων πρόβλεψης σε κάθε τελικό σημείο. Εκτός από την ταχύτερη εύρεση μιας έκδοσης με καλύτερη απόδοση, αυτή η προσέγγιση χρησιμοποιεί επίσης τους υπολογιστικούς πόρους για μικρότερο χρονικό διάστημα, μειώνοντας το συνολικό κόστος.

Μια πρόκληση με αυτήν την προσέγγιση στη δοκιμή είναι ότι το σύνολο χαρακτηριστικών αλλάζει από τη μια έκδοση μοντέλου στην άλλη. Σε αυτό το σενάριο, συνιστούμε να δημιουργήσετε ένα σύνολο χαρακτηριστικών με ένα υπερσύνολο χαρακτηριστικών και για τις δύο εκδόσεις, έτσι ώστε να μπορείτε να αναζητήσετε όλα τα χαρακτηριστικά ταυτόχρονα και να καταγράψετε μέσω της καταγραφής δεδομένων. Κάθε κλήση πρόβλεψης μπορεί στη συνέχεια να λειτουργήσει μόνο σε εκείνες τις λειτουργίες που είναι απαραίτητες για την τρέχουσα έκδοση του μοντέλου.

Ως πρόσθετο μπόνους, με την ενσωμάτωση Amazon SageMaker Clerify στη δοκιμή μοντέλου εκτός σύνδεσης, μπορείτε να ελέγξετε τη νέα έκδοση του μοντέλου για προκατάληψη και επίσης να συγκρίνετε την απόδοση χαρακτηριστικών με την προηγούμενη έκδοση του μοντέλου. Με τους αγωγούς, μπορείτε να ενορχηστρώσετε ολόκληρη τη ροή εργασίας έτσι ώστε μετά την εκπαίδευση, να μπορεί να πραγματοποιηθεί ένα βήμα ποιοτικού ελέγχου για την εκτέλεση ανάλυσης των μετρήσεων του μοντέλου και της σημασίας των χαρακτηριστικών. Αυτές οι μετρήσεις αποθηκεύονται στο Μητρώο μοντέλων SageMaker για σύγκριση στον επόμενο κύκλο προπόνησης.

Έλεγχος ολοκλήρωσης και απόδοσης

Απαιτείται δοκιμή ενοποίησης για την επικύρωση επιχειρηματικών διαδικασιών από άκρο σε άκρο τόσο από λειτουργική όσο και από άποψη απόδοσης χρόνου εκτέλεσης. Στο πλαίσιο αυτής της διαδικασίας, ολόκληρος ο αγωγός θα πρέπει να δοκιμαστεί, συμπεριλαμβανομένης της ανάκτησης και του υπολογισμού των χαρακτηριστικών στο χώρο αποθήκευσης χαρακτηριστικών και της εκτέλεσης της εφαρμογής ML. Αυτό θα πρέπει να γίνει με μια ποικιλία διαφορετικών ωφέλιμων φορτίων για να καλύψει μια ποικιλία σεναρίων και αιτημάτων και να επιτύχει υψηλή κάλυψη για όλες τις πιθανές εκτελέσεις κώδικα. Αυτό αντιμετωπίζει τις προκλήσεις 4 και 9 (δοκιμές επιχειρηματικής διαδικασίας και λειτουργικές επιδόσεις) για να διασφαλιστεί ότι καμία από τις επιχειρηματικές διαδικασίες δεν θα διακοπεί με τη νέα έκδοση του μοντέλου.

Αυτή η δοκιμή θα πρέπει να γίνει σε περιβάλλον σταδιοποίησης.

Τόσο οι δοκιμές ολοκλήρωσης όσο και οι δοκιμές απόδοσης πρέπει να εφαρμόζονται από μεμονωμένες ομάδες που χρησιμοποιούν τη γραμμή MLOps τους. Για τη δοκιμή ενοποίησης, προτείνουμε τη δοκιμασμένη μέθοδο διατήρησης ενός λειτουργικά ισοδύναμου περιβάλλοντος προπαραγωγής και δοκιμής με λίγα διαφορετικά ωφέλιμα φορτία. Η ροή εργασιών δοκιμής μπορεί να αυτοματοποιηθεί όπως φαίνεται στο αυτό το εργαστήριο. Για τη δοκιμή απόδοσης, μπορείτε να χρησιμοποιήσετε Amazon SageMaker Inference Recommender, το οποίο προσφέρει ένα εξαιρετικό σημείο εκκίνησης για να καθορίσετε ποιος τύπος παρουσίας και πόσες από αυτές τις παρουσίες θα χρησιμοποιήσετε. Για αυτό, θα χρειαστεί να χρησιμοποιήσετε ένα εργαλείο δημιουργίας φορτίου, όπως τα έργα ανοιχτού κώδικα perfsizesagemaker και perfsize που έχει αναπτύξει το Intuit. Το Perfsizesagemaker σάς επιτρέπει να δοκιμάζετε αυτόματα διαμορφώσεις τελικού σημείου μοντέλων με μια ποικιλία απαιτήσεων ωφέλιμου φορτίου, χρόνους απόκρισης και αιχμής συναλλαγών ανά δευτερόλεπτο. Παράγει λεπτομερή αποτελέσματα δοκιμών που συγκρίνουν διαφορετικές εκδόσεις μοντέλων. Το Perfsize είναι το συνοδευτικό εργαλείο που δοκιμάζει διαφορετικές διαμορφώσεις με δεδομένες μόνο τις μέγιστες συναλλαγές ανά δευτερόλεπτο και τον αναμενόμενο χρόνο απόκρισης.

Α / Β δοκιμές

Σε πολλές περιπτώσεις όπου απαιτείται αντίδραση του χρήστη στην άμεση έξοδο του μοντέλου, όπως εφαρμογές ηλεκτρονικού εμπορίου, η λειτουργική αξιολόγηση του μοντέλου εκτός σύνδεσης δεν αρκεί. Σε αυτά τα σενάρια, πρέπει να δοκιμάσετε μοντέλα A/B στην παραγωγή προτού αποφασίσετε να ενημερώσετε τα μοντέλα. Η δοκιμή A/B έχει επίσης τους κινδύνους της, επειδή θα μπορούσε να υπάρξει πραγματικός αντίκτυπος στους πελάτες. Αυτή η μέθοδος δοκιμής χρησιμεύει ως η τελική επικύρωση απόδοσης ML, ένας ελαφρύς έλεγχος λογικότητας μηχανικής. Αυτή η μέθοδος αντιμετωπίζει επίσης τις προκλήσεις 8 και 9 (επιδόσεις μοντέλων στο διαδίκτυο και λειτουργική αριστεία).

Η δοκιμή A/B πρέπει να εκτελείται σε περιβάλλον παραγωγής.

Με το SageMaker, μπορείτε εύκολα να εκτελέσετε δοκιμές A/B σε μοντέλα ML εκτελώντας πολλαπλές παραλλαγές παραγωγής σε ένα τελικό σημείο. Η κυκλοφορία μπορεί να δρομολογηθεί σταδιακά στη νέα έκδοση για να μειωθεί ο κίνδυνος που θα μπορούσε να έχει στην παραγωγή ένα μοντέλο με κακή συμπεριφορά. Εάν τα αποτελέσματα της δοκιμής A/B φαίνονται καλά, η κυκλοφορία δρομολογείται στη νέα έκδοση, καταλαμβάνοντας τελικά το 100% της επισκεψιμότητας. Συνιστούμε τη χρήση προστατευτικών κιγκλιδωμάτων για τη μετάβαση από το μοντέλο Α στο Β. Για μια πιο ολοκληρωμένη συζήτηση σχετικά με τη δοκιμή A/B χρησιμοποιώντας Προσαρμογή του Amazon μοντέλα ως παράδειγμα, ανατρέξτε στο Χρήση δοκιμών A / B για τη μέτρηση της αποτελεσματικότητας των συστάσεων που δημιουργούνται από την Amazon Personalize.

Online δοκιμή μοντέλων

Σε αυτό το σενάριο, η νέα έκδοση ενός μοντέλου είναι σημαντικά διαφορετική από αυτή που εξυπηρετεί ήδη ζωντανή κυκλοφορία στην παραγωγή, επομένως η προσέγγιση δοκιμών εκτός σύνδεσης δεν είναι πλέον κατάλληλη για τον προσδιορισμό της αποτελεσματικότητας της νέας έκδοσης μοντέλου. Ο πιο σημαντικός λόγος για αυτό είναι μια αλλαγή στα χαρακτηριστικά που απαιτούνται για την παραγωγή της πρόβλεψης, έτσι ώστε οι συναλλαγές που έχουν καταγραφεί προηγουμένως να μην μπορούν να χρησιμοποιηθούν για τη δοκιμή του μοντέλου. Σε αυτό το σενάριο, συνιστούμε να χρησιμοποιήσετε σκιώδεις αναπτύξεις. Οι σκιώδεις αναπτύξεις προσφέρουν τη δυνατότητα ανάπτυξης μιας σκιάς (ή διεκδικητής) μοντέλο παράλληλα με την παραγωγή (ή πρωταθλητής) μοντέλο που επί του παρόντος εξυπηρετεί προβλέψεις. Αυτό σας επιτρέπει να αξιολογήσετε την απόδοση του σκιώδους μοντέλου στην κίνηση παραγωγής. Οι προβλέψεις του σκιώδους μοντέλου δεν προβάλλονται στην αιτούσα εφαρμογή. έχουν εγγραφεί για αξιολόγηση εκτός σύνδεσης. Με τη σκιώδη προσέγγιση για τις δοκιμές, αντιμετωπίζουμε τις προκλήσεις 4, 5, 6 και 7 (δοκιμές επιχειρηματικής διαδικασίας, κόστος, ασφάλεια και επεκτασιμότητα αποθήκευσης δυνατοτήτων).

Η διαδικτυακή δοκιμή μοντέλων θα πρέπει να γίνεται σε περιβάλλοντα σταδιοποίησης ή παραγωγής.

Αυτή η μέθοδος δοκιμής νέων εκδόσεων μοντέλων θα πρέπει να χρησιμοποιείται ως έσχατη λύση εάν δεν μπορούν να χρησιμοποιηθούν όλες οι άλλες μέθοδοι. Το συνιστούμε ως έσχατη λύση, επειδή οι κλήσεις διπλής όψης σε πολλαπλά μοντέλα δημιουργούν πρόσθετο φορτίο σε όλες τις μεταγενέστερες υπηρεσίες στην παραγωγή, το οποίο μπορεί να οδηγήσει σε συμφόρηση απόδοσης καθώς και σε αυξημένο κόστος παραγωγής. Ο πιο προφανής αντίκτυπος που έχει αυτό είναι στο επίπεδο εξυπηρέτησης χαρακτηριστικών. Για περιπτώσεις χρήσης που μοιράζονται χαρακτηριστικά από μια κοινή δεξαμενή φυσικών δεδομένων, πρέπει να είμαστε σε θέση να προσομοιώνουμε περιπτώσεις πολλαπλών χρήσεων με ταυτόχρονη πρόσβαση στον ίδιο πίνακα δεδομένων για να διασφαλίσουμε ότι δεν υπάρχει διαμάχη πόρων πριν από τη μετάβαση στην παραγωγή. Όπου είναι δυνατόν, θα πρέπει να αποφεύγονται διπλότυπα ερωτήματα στο χώρο αποθήκευσης χαρακτηριστικών και τα χαρακτηριστικά που χρειάζονται και για τις δύο εκδόσεις του μοντέλου θα πρέπει να επαναχρησιμοποιούνται για το δεύτερο συμπέρασμα. Χαρακτηριστικά καταστήματα με βάση Amazon DynamoDB, όπως αυτό που έχει δημιουργήσει η Intuit, μπορεί να εφαρμόσει Επιταχυντής Amazon DynamoDB(DAX) για προσωρινή αποθήκευση και αποφυγή διπλασιασμού της εισόδου/εξόδου στη βάση δεδομένων. Αυτές και άλλες επιλογές προσωρινής αποθήκευσης μπορούν να μετριάσουν την πρόκληση 7 (επεκτασιμότητα αποθήκευσης δυνατοτήτων).

Για την αντιμετώπιση της πρόκλησης 5 (κόστος) καθώς και της 7, προτείνουμε τη χρήση σκιωδών αναπτύξεων για τη δειγματοληψία της εισερχόμενης κίνησης. Αυτό δίνει στους κατόχους μοντέλων ένα άλλο επίπεδο ελέγχου για την ελαχιστοποίηση των επιπτώσεων στα συστήματα παραγωγής.

Η ανάπτυξη σκιάς θα πρέπει να ενσωματωθεί στο Μοντέλο παρακολούθησης προσφορές ακριβώς όπως οι κανονικές αναπτύξεις παραγωγής προκειμένου να παρατηρήσετε τις βελτιώσεις της έκδοσης αμφισβητίας.

Συμπέρασμα

Αυτή η ανάρτηση απεικονίζει τα δομικά στοιχεία για τη δημιουργία ενός ολοκληρωμένου συνόλου διαδικασιών και εργαλείων για την αντιμετώπιση διαφόρων προκλήσεων με τη δοκιμή μοντέλων. Αν και κάθε οργανισμός είναι μοναδικός, αυτό θα σας βοηθήσει να ξεκινήσετε και να περιορίσετε τις σκέψεις σας κατά την εφαρμογή της δικής σας στρατηγικής δοκιμών.

Σχετικά με τους συγγραφείς

Tobias Wenzel είναι Διευθυντής Μηχανικής Λογισμικού για την πλατφόρμα Intuit Machine Learning στο Mountain View της Καλιφόρνια. Εργάζεται στην πλατφόρμα από την έναρξή της το 2016 και έχει βοηθήσει στο σχεδιασμό και την κατασκευή της από την αρχή. Στη δουλειά του, έχει επικεντρωθεί στη λειτουργική αριστεία της πλατφόρμας και στην επιτυχή μεταφορά της μέσω των εποχιακών δραστηριοτήτων της Intuit. Επιπλέον, είναι παθιασμένος με τη συνεχή επέκταση της πλατφόρμας με τις τελευταίες τεχνολογίες.

Shivanshu Upadhyay είναι κύριος αρχιτέκτονας λύσεων στον όμιλο AWS Business Development and Strategic Industries. Σε αυτόν τον ρόλο, βοηθά τους περισσότερους προχωρημένους χρήστες του AWS να μεταμορφώσουν τον κλάδο τους χρησιμοποιώντας αποτελεσματικά δεδομένα και AI.

Άλαν Ταν είναι Ανώτερος Διευθυντής Προϊόντων με το SageMaker, ο οποίος ηγείται των προσπαθειών για εξαγωγή συμπερασμάτων μεγάλων μοντέλων. Είναι παθιασμένος με την εφαρμογή της μηχανικής μάθησης στον τομέα της ανάλυσης. Εκτός δουλειάς, απολαμβάνει την ύπαιθρο.