Πώς να κλιμακώσετε τα συμπεράσματα μηχανικής εκμάθησης για περιπτώσεις χρήσης SaaS πολλαπλών μισθωτών

Αυτή η ανάρτηση συντάχθηκε με τον Sowmya Manusani, Sr. Staff Machine Learning Engineer στο Zendesk

Zendesk είναι μια εταιρεία SaaS που δημιουργεί λογισμικό υποστήριξης, πωλήσεων και αφοσίωσης πελατών για όλους, με βάση την απλότητα. Ευδοκιμεί κάνοντας περισσότερες από 170,000 εταιρείες παγκοσμίως να εξυπηρετούν αποτελεσματικά τους εκατοντάδες εκατομμύρια πελάτες τους. Η ομάδα Machine Learning στο Zendcaesk είναι υπεύθυνη για την ενίσχυση των ομάδων Εμπειρίας Πελατών για να πετύχουν το καλύτερο δυνατό. Συνδυάζοντας τη δύναμη των δεδομένων και των ανθρώπων, η Zendesk προσφέρει έξυπνα προϊόντα που κάνουν τους πελάτες της πιο παραγωγικούς αυτοματοποιώντας τη χειρωνακτική εργασία.

Η Zendesk κατασκευάζει προϊόντα ML από το 2015, μεταξύ άλλων Απάντηση Bot, Πρόβλεψη ικανοποίησης, Ενδείξεις περιεχομένου, Προτεινόμενες μακροεντολές, και πολλά άλλα. Τα τελευταία χρόνια, με την ανάπτυξη της βαθιάς μάθησης, ειδικά στο NLP, είδαν πολλές ευκαιρίες να αυτοματοποιήσουν τις ροές εργασίας και να βοηθήσουν τους πράκτορες να υποστηρίζουν τους πελάτες τους με λύσεις Zendesk. Το Zendesk χρησιμοποιεί αυτήν τη στιγμή το TensorFlow και το PyTorch για τη δημιουργία μοντέλων βαθιάς μάθησης.

Πελάτες όπως η Zendesk έχουν δημιουργήσει επιτυχημένες, υψηλής κλίμακας επιχειρήσεις λογισμικού ως υπηρεσίας (SaaS) στις Υπηρεσίες Ιστού της Amazon (AWS). Ένας βασικός μοχλός για ένα επιτυχημένο επιχειρηματικό μοντέλο SaaS είναι η ικανότητα εφαρμογής πολλαπλών μισθώσεων στην εφαρμογή και την υποδομή. Αυτό επιτρέπει την αποδοτικότητα κόστους και λειτουργίας, επειδή η εφαρμογή χρειάζεται να κατασκευαστεί μόνο μία φορά, αλλά μπορεί να χρησιμοποιηθεί πολλές φορές και η υποδομή μπορεί να γίνει κοινή χρήση. Βλέπουμε πολλούς πελάτες να δημιουργούν ασφαλή, οικονομικά αποδοτικά, συστήματα πολλαπλών μισθωτών σε AWS σε όλα τα επίπεδα της στοίβας, από υπολογιστές, αποθήκευση, βάση δεδομένων έως δικτύωση, και τώρα βλέπουμε πελάτες που πρέπει να το εφαρμόσουν στη μηχανική εκμάθηση (ML ).

Κάνοντας τη δύσκολη αντιστάθμιση μεταξύ επαναχρησιμοποίησης μοντέλων και υπερ-εξατομίκευσης

Η πολλαπλή μίσθωση για επιχειρήσεις SaaS συνήθως σημαίνει ότι μια μεμονωμένη εφαρμογή επαναχρησιμοποιείται μεταξύ πολλών χρηστών (πελάτες SaaS). Αυτό δημιουργεί αποδοτικότητα κόστους και μειώνει τα λειτουργικά έξοδα. Ωστόσο, τα μοντέλα μηχανικής μάθησης μερικές φορές χρειάζεται να εξατομικεύονται σε υψηλό βαθμό ειδικότητας (υπερ-εξατομικευμένα) για να γίνονται ακριβείς προβλέψεις. Αυτό σημαίνει ότι το παράδειγμα SaaS «κατασκευάστε μία φορά, χρησιμοποιήστε πολλές φορές» δεν μπορεί πάντα να εφαρμοστεί στο ML εάν τα μοντέλα έχουν ιδιαιτερότητα. Πάρτε για παράδειγμα την περίπτωση χρήσης των πλατφορμών υποστήριξης πελατών. Η γλώσσα που συμπεριλαμβάνουν οι χρήστες σε ένα εισιτήριο υποστήριξης ποικίλλει ανάλογα με το αν πρόκειται για πρόβλημα με το μερίδιο της διαδρομής ("η διαδρομή κράτησε πάρα πολύ") ή για ένα ζήτημα αγοράς ρούχων ("αποχρωματισμός όταν πλένεται"). Σε αυτήν την περίπτωση χρήσης, η βελτίωση της ακρίβειας της πρόβλεψης της βέλτιστης δράσης αποκατάστασης μπορεί να απαιτεί εκπαίδευση ενός μοντέλου επεξεργασίας φυσικής γλώσσας (NLP) σε ένα σύνολο δεδομένων συγκεκριμένου επιχειρηματικού τομέα ή κλάδου κλάδου. Η Zendesk αντιμετωπίζει ακριβώς αυτήν την πρόκληση όταν προσπαθεί να αξιοποιήσει την ML στις λύσεις της. Χρειάστηκε να δημιουργήσουν χιλιάδες εξαιρετικά προσαρμοσμένα μοντέλα ML, το καθένα προσαρμοσμένο για έναν συγκεκριμένο πελάτη. Για να λύσει αυτήν την πρόκληση της ανάπτυξης χιλιάδων μοντέλων, οικονομικά, η Zendesk στράφηκε στο Amazon SageMaker.

Σε αυτήν την ανάρτηση, δείχνουμε πώς να χρησιμοποιήσετε ορισμένες από τις νεότερες δυνατότητες του Amazon Sage Maker, μια πλήρως διαχειριζόμενη υπηρεσία μηχανικής εκμάθησης, για τη δημιουργία μιας δυνατότητας συμπερασμάτων ML πολλαπλών ενοικιαστών. Μοιραζόμαστε επίσης ένα πραγματικό παράδειγμα του τρόπου με τον οποίο η Zendesk πέτυχε με επιτυχία το ίδιο αποτέλεσμα αναπτύσσοντας ένα χαρούμενο μέσο μεταξύ της δυνατότητας υποστήριξης της υπερ-εξατομίκευσης στα μοντέλα ML και της οικονομικά αποδοτικής, κοινής χρήσης της υποδομής χρησιμοποιώντας τελικά σημεία πολλαπλών μοντέλων SageMaker ( MME).

Καταληκτικά σημεία πολλαπλών μοντέλων SageMaker

Τα τελικά σημεία πολλαπλών μοντέλων του SageMaker σάς επιτρέπουν να αναπτύξετε πολλά μοντέλα πίσω από ένα μόνο τελικό σημείο συμπερασμάτων που μπορεί να περιέχει μία ή περισσότερες παρουσίες. Κάθε παρουσία έχει σχεδιαστεί για να φορτώνει και να εξυπηρετεί πολλαπλά μοντέλα μέχρι τη χωρητικότητα της μνήμης και της CPU. Με αυτήν την αρχιτεκτονική, μια επιχείρηση SaaS μπορεί να σπάσει το γραμμικά αυξανόμενο κόστος φιλοξενίας πολλαπλών μοντέλων και να επιτύχει επαναχρησιμοποίηση της υποδομής σύμφωνα με το μοντέλο πολλαπλών μισθώσεων που εφαρμόζεται αλλού στη στοίβα εφαρμογών.

Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική ενός τελικού σημείου πολλαπλών μοντέλων SageMaker.

Το τελικό σημείο πολλαπλών μοντέλων SageMaker φορτώνει δυναμικά μοντέλα από Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) όταν γίνεται επίκληση, αντί να γίνεται λήψη όλων των μοντέλων όταν δημιουργείται για πρώτη φορά το τελικό σημείο. Ως αποτέλεσμα, μια αρχική επίκληση σε ένα μοντέλο μπορεί να έχει υψηλότερο λανθάνοντα χρόνο συμπερασμάτων από τα επόμενα συμπεράσματα, τα οποία ολοκληρώνονται με χαμηλή καθυστέρηση. Εάν το μοντέλο έχει ήδη φορτωθεί στο κοντέινερ κατά την κλήση, τότε το βήμα λήψης παραλείπεται και το μοντέλο επιστρέφει τα συμπεράσματα με χαμηλή καθυστέρηση. Για παράδειγμα, υποθέστε ότι έχετε ένα μοντέλο που χρησιμοποιείται μόνο μερικές φορές την ημέρα. Φορτώνεται αυτόματα κατά παραγγελία, ενώ τα μοντέλα με συχνή πρόσβαση διατηρούνται στη μνήμη και καλούνται με σταθερά χαμηλή καθυστέρηση.

Ας ρίξουμε μια πιο προσεκτική ματιά στον τρόπο με τον οποίο η Zendesk χρησιμοποίησε το SageMaker MME για να επιτύχει οικονομικά αποδοτική, υπερ-κλίμακας ανάπτυξη ML με τη δυνατότητα Προτεινόμενες Μακροεντολές ML.

Γιατί η Zendesk κατασκεύασε υπερ-προσωποποιημένα μοντέλα

Οι πελάτες της Zendesk είναι διεσπαρμένοι παγκοσμίως σε διαφορετικούς κλάδους κλάδου με διαφορετική σημασιολογία εισιτηρίων υποστήριξης. Ως εκ τούτου, για να εξυπηρετήσουν καλύτερα τους πελάτες τους, συχνά πρέπει να δημιουργήσουν εξατομικευμένα μοντέλα που εκπαιδεύονται σε δεδομένα εισιτηρίων υποστήριξης για συγκεκριμένους πελάτες για να προσδιορίζουν σωστά την πρόθεση, τις μακροεντολές και άλλα.

Τον Οκτώβριο του 2021, κυκλοφόρησαν μια νέα δυνατότητα NLP ML, το Suggested Macros, το οποίο συνιστά μακροεντολές (προκαθορισμένες ενέργειες) με βάση χιλιάδες προβλέψεις μοντέλων για συγκεκριμένους πελάτες. Η ομάδα ML της Zendesk κατασκεύασε ένα μοντέλο ταξινομητή NLP που βασίζεται στο TensorFlow, εκπαιδευμένο από το προηγούμενο ιστορικό περιεχομένου εισιτηρίων και μακροεντολών ανά πελάτη. Με αυτά τα διαθέσιμα μοντέλα, συνιστάται μια μακροπρόβλεψη κάθε φορά που ένας πράκτορας προβάλλει το εισιτήριο (όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης), η οποία βοηθά τον πράκτορα να εξυπηρετεί γρήγορα τους πελάτες. Επειδή οι μακροεντολές είναι συγκεκριμένες για τους πελάτες, η Zendesk χρειάζεται μοντέλα ειδικά για τους πελάτες για την παροχή ακριβών προβλέψεων.

Κάτω από την κουκούλα των Προτεινόμενων Μακροεντολών του Zendesk

Τα προτεινόμενα μοντέλα μακροεντολών είναι νευρωνικά δίκτυα που βασίζονται σε NLP και έχουν μέγεθος περίπου 7–15 MB. Η κύρια πρόκληση είναι να τεθούν στην παραγωγή χιλιάδες από αυτά τα μοντέλα με οικονομικά αποδοτικές, αξιόπιστες και επεκτάσιμες λύσεις.

Κάθε μοντέλο έχει διαφορετικά μοτίβα επισκεψιμότητας, με τουλάχιστον δύο αιτήματα ανά δευτερόλεπτο και μέγιστο αριθμό εκατοντάδων αιτημάτων ανά δευτερόλεπτο, εξυπηρετώντας εκατομμύρια προβλέψεις ανά ημέρα με καθυστέρηση μοντέλου περίπου 100 χιλιοστών του δευτερολέπτου όταν το μοντέλο είναι διαθέσιμο στη μνήμη. Τα τελικά σημεία του SageMaker αναπτύσσονται σε πολλές Περιοχές AWS, εξυπηρετώντας χιλιάδες αιτήματα ανά λεπτό και ανά τελικό σημείο.

Με την ικανότητά του να φιλοξενεί πολλά μοντέλα σε ένα μόνο τελικό σημείο, το SageMaker βοήθησε τη Zendesk να μειώσει τα έξοδα ανάπτυξης και να δημιουργήσει μια οικονομικά αποδοτική λύση σε σύγκριση με την ανάπτυξη ενός τελικού σημείου ενός μοντέλου ανά πελάτη. Το συμβιβασμό εδώ είναι λιγότερος έλεγχος στη διαχείριση ανά μοντέλο. Ωστόσο, αυτός είναι ένας τομέας όπου η Zendesk συνεργάζεται με το AWS για τη βελτίωση των τελικών σημείων πολλών μοντέλων.

Μία από τις δυνατότητες πολλών μοντέλων του SageMaker είναι η αργή φόρτωση μοντέλων, δηλαδή, τα μοντέλα φορτώνονται στη μνήμη όταν καλούνται για πρώτη φορά. Αυτό γίνεται για τη βελτιστοποίηση της χρήσης της μνήμης. Ωστόσο, προκαλεί αιχμές του χρόνου απόκρισης κατά την πρώτη φόρτιση, κάτι που μπορεί να θεωρηθεί ως πρόβλημα ψυχρής εκκίνησης. Για τις Προτεινόμενες Μακροεντολές, αυτό ήταν μια πρόκληση. Ωστόσο, το Zendesk το ξεπέρασε αυτό εφαρμόζοντας μια λειτουργία προφόρτωσης πάνω από την παροχή τελικού σημείου του SageMaker για να φορτώσει τα μοντέλα στη μνήμη πριν από την εξυπηρέτηση της κυκλοφορίας παραγωγής. Δεύτερον, το MME ξεφορτώνει τα μοντέλα που δεν χρησιμοποιούνται συχνά από τη μνήμη, έτσι ώστε να επιτευχθεί σταθερή χαμηλή καθυστέρηση σε όλα τα μοντέλα και να αποφευχθεί η επίδραση των "θορυβωδών γειτόνων" σε άλλα λιγότερο ενεργά μοντέλα, η Zendesk συνεργάζεται με το AWS για να προσθέσει νέες δυνατότητες, που θα συζητηθούν αργότερα στην ανάρτηση, για να ενεργοποιήσει πιο σαφή διαχείριση ανά μοντέλο. Επιπλέον, ως ενδιάμεση λύση, η Zendesk έχει διαμορφώσει το σωστό μέγεθος του στόλου MME για να ελαχιστοποιήσει την εκφόρτωση πολλών μοντέλων. Με αυτό, η Zendesk είναι σε θέση να παρέχει προβλέψεις σε όλους τους πελάτες της με χαμηλό λανθάνοντα χρόνο, περίπου 100 χιλιοστά του δευτερολέπτου, και εξακολουθεί να επιτυγχάνει εξοικονόμηση κόστους 90% σε σύγκριση με αποκλειστικά τελικά σημεία.

Σε MME δεξιού μεγέθους, η Zendesk παρατήρησε κατά τη διάρκεια της δοκιμής φόρτωσης ότι η ύπαρξη μεγαλύτερου αριθμού μικρότερων παρουσιών (προκατάληψη στην οριζόντια κλίμακα) πίσω από το MME ήταν καλύτερη επιλογή από το να έχετε λιγότερες μεγαλύτερες εμφανίσεις μνήμης (κάθετη κλιμάκωση). Ο Zendesk παρατήρησε ότι η συσκευασία υπερβολικά πολλών μοντέλων (πέραν των 500 μοντέλων TensorFlow στην περίπτωσή τους) σε μία μόνο μεγάλη παρουσία μνήμης δεν λειτούργησε καλά, επειδή η μνήμη δεν είναι ο μόνος πόρος σε μια παρουσία που μπορεί να αποτελέσει εμπόδιο. Πιο συγκεκριμένα, παρατήρησαν ότι το TensorFlow δημιούργησε πολλαπλά νήματα (3 x συνολικά instance vCPUs) ανά μοντέλο, επομένως η φόρτωση περισσότερων από 500 μοντέλων σε μία παρουσία προκάλεσε υπέρβαση των ορίων επιπέδου πυρήνα στον μέγιστο αριθμό νημάτων που θα μπορούσαν να δημιουργηθούν σε μια παρουσία. Ένα άλλο πρόβλημα με τη χρήση λιγότερων, μεγαλύτερων περιπτώσεων παρουσιάστηκε όταν το Zendesk αντιμετώπισε στραγγαλισμό (ως μηχανισμός ασφαλείας) σε ορισμένες περιπτώσεις πίσω από το MME, επειδή ο ρυθμός επίκλησης μοναδικού μοντέλου ανά δευτερόλεπτο υπερέβαινε Διακομιστής πολλαπλών μοντέλων (MMS) σε μια μεμονωμένη παρουσία θα μπορούσε να χειριστεί με ασφάλεια χωρίς να σβήσει το στιγμιότυπο. Αυτό ήταν ένα άλλο ζήτημα που επιλύθηκε με τη χρήση ολοένα και μικρότερων περιπτώσεων.

Από την άποψη της παρατηρησιμότητας, η οποία αποτελεί κρίσιμο συστατικό κάθε εφαρμογής παραγωγής, amazoncloudwatch Οι μετρήσεις όπως οι επικλήσεις, η CPU, η χρήση μνήμης και οι μετρήσεις για πολλά μοντέλα, όπως τα φορτωμένα μοντέλα στη μνήμη, ο χρόνος φόρτωσης του μοντέλου, ο χρόνος αναμονής φόρτωσης μοντέλου και η επίσκεψη στην κρυφή μνήμη του μοντέλου είναι ενημερωτικές. Συγκεκριμένα, η ανάλυση του λανθάνοντος χρόνου του μοντέλου βοήθησε τη Zendesk να κατανοήσει το πρόβλημα ψυχρής εκκίνησης και τον αντίκτυπό του.

Κάτω από το καπό της αυτόματης κλιμάκωσης MME

Πίσω από κάθε τελικό σημείο πολλαπλών μοντέλων, υπάρχουν περιπτώσεις φιλοξενίας μοντέλων, όπως απεικονίζεται στο παρακάτω διάγραμμα. Αυτά τα στιγμιότυπα φορτώνουν και αφαιρούν πολλαπλά μοντέλα προς και από τη μνήμη με βάση τα μοτίβα κυκλοφορίας στα μοντέλα.

Το SageMaker συνεχίζει να δρομολογεί αιτήματα συμπερασμάτων για ένα μοντέλο στην περίπτωση όπου το μοντέλο έχει ήδη φορτωθεί έτσι ώστε τα αιτήματα να εξυπηρετούνται από το αντίγραφο του μοντέλου προσωρινής αποθήκευσης (δείτε το ακόλουθο διάγραμμα, το οποίο δείχνει τη διαδρομή αιτήματος για το πρώτο αίτημα πρόβλεψης έναντι του αποθηκευμένου αιτήματος πρόβλεψης μονοπάτι). Ωστόσο, εάν το μοντέλο λαμβάνει πολλές αιτήσεις επίκλησης και υπάρχουν πρόσθετες περιπτώσεις για το τελικό σημείο πολλαπλών μοντέλων, το SageMaker δρομολογεί ορισμένα αιτήματα σε μια άλλη παρουσία για να ικανοποιήσει την αύξηση. Για να επωφεληθείτε από την αυτοματοποιημένη κλιμάκωση μοντέλων στο SageMaker, βεβαιωθείτε ότι έχετε ρύθμιση αυτόματης κλιμάκωσης για την παροχή πρόσθετης χωρητικότητας παρουσίας. Ρυθμίστε την πολιτική κλιμάκωσης σε επίπεδο τελικού σημείου είτε με προσαρμοσμένες παραμέτρους είτε με επικλήσεις ανά λεπτό (συνιστάται) για να προσθέσετε περισσότερες παρουσίες στον στόλο τελικών σημείων.

Χρησιμοποιήστε θήκες που ταιριάζουν καλύτερα για MME

Τα τελικά σημεία πολλαπλών μοντέλων του SageMaker είναι κατάλληλα για τη φιλοξενία μεγάλου αριθμού παρόμοιων μοντέλων που μπορείτε να εξυπηρετήσετε μέσω ενός κοινόχρηστου κοντέινερ σερβιρίσματος και δεν χρειάζεται να έχετε πρόσβαση σε όλα τα μοντέλα ταυτόχρονα. Το MME είναι το πλέον κατάλληλο για μοντέλα που έχουν παρόμοιο μέγεθος και καθυστερήσεις επίκλησης. Ορισμένες διακυμάνσεις στο μέγεθος του μοντέλου είναι αποδεκτές. Για παράδειγμα, τα μοντέλα της Zendesk κυμαίνονται από 10–50 Mb, το οποίο λειτουργεί καλά, αλλά οι διακυμάνσεις στο μέγεθος που είναι συντελεστής 10, 50 ή 100 φορές μεγαλύτερες δεν είναι κατάλληλες. Τα μεγαλύτερα μοντέλα ενδέχεται να προκαλέσουν μεγαλύτερο αριθμό φορτώσεων και εκφορτώσεων μικρότερων μοντέλων για να χωρέσουν επαρκή χώρο στη μνήμη, γεγονός που μπορεί να οδηγήσει σε πρόσθετη καθυστέρηση στο τελικό σημείο. Οι διαφορές στα χαρακτηριστικά απόδοσης μεγαλύτερων μοντέλων θα μπορούσαν επίσης να καταναλώνουν άνισα πόρους όπως η CPU, κάτι που θα μπορούσε να επηρεάσει άλλα μοντέλα στην περίπτωση.

Το MME έχει επίσης σχεδιαστεί για co-hosting μοντέλα που χρησιμοποιούν το ίδιο πλαίσιο ML επειδή χρησιμοποιούν το κοινόχρηστο κοντέινερ για τη φόρτωση πολλών μοντέλων. Επομένως, εάν έχετε έναν συνδυασμό πλαισίων ML στο στόλο μοντέλων σας (όπως PyTorch και TensorFlow), τα αποκλειστικά τελικά σημεία του SageMaker ή η φιλοξενία πολλών κοντέινερ είναι μια καλύτερη επιλογή. Τέλος, το MME είναι κατάλληλο για εφαρμογές που μπορούν να ανεχθούν μια περιστασιακή ποινή καθυστέρησης ψυχρής εκκίνησης, επειδή τα μοντέλα που χρησιμοποιούνται σπάνια μπορούν να εκφορτωθούν προς όφελος των μοντέλων που επικαλούνται συχνά. Εάν έχετε πολλά μοντέλα με σπάνια πρόσβαση, ένα τελικό σημείο πολλαπλών μοντέλων μπορεί να εξυπηρετήσει αποτελεσματικά αυτήν την επισκεψιμότητα και να επιτρέψει σημαντική εξοικονόμηση κόστους.

Χαρακτηριστικά

Σε αυτήν την ανάρτηση, μάθατε πώς το SaaS και η πολλαπλή μίσθωση σχετίζονται με την ML και πώς τα τελικά σημεία πολλαπλών μοντέλων του SageMaker επιτρέπουν την πολλαπλή μίσθωση και την αποδοτικότητα κόστους για συμπέρασμα ML. Μάθατε για την περίπτωση χρήσης πολλαπλών ενοικιαζόμενων μοντέλων ML ανά πελάτη της Zendesk και πώς φιλοξένησε χιλιάδες μοντέλα ML στο SageMaker MME για τη λειτουργία Προτεινόμενες μακροεντολές και πέτυχε 90% εξοικονόμηση κόστους στο συμπέρασμα σε σύγκριση με αποκλειστικά τελικά σημεία. Οι περιπτώσεις χρήσης υπερ-εξατομίκευσης μπορεί να απαιτούν χιλιάδες μοντέλα ML και το MME είναι μια οικονομικά αποδοτική επιλογή για αυτήν την περίπτωση χρήσης. Θα συνεχίσουμε να κάνουμε βελτιώσεις στο MME για να σας επιτρέψουμε να φιλοξενήσετε μοντέλα με χαμηλό λανθάνοντα χρόνο και με πιο λεπτομερή στοιχεία ελέγχου για κάθε εξατομικευμένο μοντέλο. Για να ξεκινήσετε με το MME, βλ Φιλοξενήστε πολλά μοντέλα σε ένα κοντέινερ πίσω από ένα τελικό σημείο.

---

Σχετικά με τους Συγγραφείς

Σάιντ Τζάφρι είναι Sr. Solutions Architect με AWS. Συνεργάζεται με μια σειρά εταιρειών από μεσαίου μεγέθους οργανισμούς έως μεγάλες επιχειρήσεις, χρηματοοικονομικές υπηρεσίες έως ISV, βοηθώντας τους να δημιουργήσουν και να λειτουργήσουν ασφαλείς, ανθεκτικές, επεκτάσιμες και υψηλής απόδοσης εφαρμογές στο cloud.

Sowmya Manusani είναι Μηχανικός Μηχανικής Εκμάθησης Ανώτερου Προσωπικού στη Zendesk. Εργάζεται στην παραγωγή λειτουργιών Machine Learning που βασίζονται σε NLP που εστιάζουν στη βελτίωση της παραγωγικότητας του Agent για χιλιάδες πελάτες της Zendesk Enterprise. Έχει εμπειρία στην κατασκευή αυτοματοποιημένων αγωγών εκπαίδευσης για χιλιάδες εξατομικευμένα μοντέλα και την εξυπηρέτησή τους χρησιμοποιώντας ασφαλείς, ανθεκτικές, επεκτάσιμες και υψηλής απόδοσης εφαρμογές. Στον ελεύθερο χρόνο της, της αρέσει να λύνει γρίφους και να δοκιμάζει τη ζωγραφική.

Saurabh Trikande είναι Ανώτερος Διευθυντής Προϊόντων για το Amazon SageMaker Inference. Είναι παθιασμένος να συνεργάζεται με πελάτες και να κάνει τη μηχανική μάθηση πιο προσιτή. Στον ελεύθερο χρόνο του, ο Saurabh απολαμβάνει την πεζοπορία, μαθαίνει για καινοτόμες τεχνολογίες, ακολουθεί το TechCrunch και περνά χρόνο με την οικογένειά του.

Deepti Ragha είναι Μηχανικός Ανάπτυξης Λογισμικού στην ομάδα του Amazon SageMaker. Η τρέχουσα δουλειά της επικεντρώνεται στη δημιουργία λειτουργιών για την αποτελεσματική φιλοξενία μοντέλων μηχανικής εκμάθησης. Στον ελεύθερο χρόνο της, της αρέσουν τα ταξίδια, η πεζοπορία και η καλλιέργεια φυτών.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/how-to-scale-machine-learning-inference-for-multi-tenant-saas-use-cases/