MLO στα άκρα με το Amazon SageMaker Edge Manager και το AWS IoT Greengrass

Το Διαδίκτυο των Πραγμάτων (IoT) έχει δώσει τη δυνατότητα στους πελάτες σε πολλαπλούς κλάδους, όπως η κατασκευή, η αυτοκινητοβιομηχανία και η ενέργεια, να παρακολουθούν και να ελέγχουν τα πραγματικά περιβάλλοντα. Με την ανάπτυξη μιας ποικιλίας συσκευών IoT αιχμής, όπως κάμερες, θερμοστάτες και αισθητήρες, μπορείτε να συλλέγετε δεδομένα, να τα στέλνετε στο cloud και να δημιουργείτε μοντέλα μηχανικής εκμάθησης (ML) για να προβλέψετε ανωμαλίες, αποτυχίες και πολλά άλλα. Ωστόσο, εάν η περίπτωση χρήσης απαιτεί πρόβλεψη σε πραγματικό χρόνο, πρέπει να εμπλουτίσετε τη λύση IoT σας με δυνατότητες ML at edge (ML@Edge). ML@Edge είναι μια ιδέα που αποσυνδέει τον κύκλο ζωής του μοντέλου ML από τον κύκλο ζωής της εφαρμογής και σας επιτρέπει να εκτελέσετε μια σωλήνωση ML από άκρο σε άκρο που περιλαμβάνει προετοιμασία δεδομένων, δημιουργία μοντέλου, συλλογή και βελτιστοποίηση μοντέλων, ανάπτυξη μοντέλου (σε έναν στόλο συσκευών αιχμής), εκτέλεση μοντέλου και παρακολούθηση και διακυβέρνηση του μοντέλου. Αναπτύξτε την εφαρμογή μία φορά και εκτελείτε τη διοχέτευση ML όσες φορές χρειάζεστε.

Όπως μπορείτε να φανταστείτε, η εφαρμογή όλων των βημάτων που προτείνονται από την ιδέα ML@Edge δεν είναι ασήμαντη. Υπάρχουν πολλά ερωτήματα που πρέπει να αντιμετωπίσουν οι προγραμματιστές για να εφαρμόσουν μια ολοκληρωμένη λύση ML@Edge, για παράδειγμα:

• Πώς μπορώ να χειρίζομαι μοντέλα ML σε έναν στόλο (εκατοντάδες, χιλιάδες ή εκατομμύρια) συσκευών στο edge;
• Πώς μπορώ να ασφαλίσω το μοντέλο μου κατά την ανάπτυξη και τη λειτουργία του στην άκρη;
• Πώς παρακολουθώ την απόδοση του μοντέλου μου και το επανεκπαιδεύω, εάν χρειάζεται;

Σε αυτήν την ανάρτηση, μαθαίνετε πώς να απαντάτε σε όλες αυτές τις ερωτήσεις και να δημιουργείτε μια ολοκληρωμένη λύση για την αυτοματοποίηση του αγωγού ML@Edge. Θα δείτε πώς να το χρησιμοποιήσετε Amazon SageMaker Edge Manager, Στούντιο Amazon SageMaker, να AWS IoT Greengrass v2 για τη δημιουργία ενός περιβάλλοντος MLOps (ML Operations) που αυτοματοποιεί τη διαδικασία δημιουργίας και ανάπτυξης μοντέλων ML σε μεγάλους στόλους συσκευών αιχμής.

Στις επόμενες ενότητες, παρουσιάζουμε μια αρχιτεκτονική αναφοράς που περιγράφει λεπτομερώς όλα τα στοιχεία και τις ροές εργασίας που απαιτούνται για τη δημιουργία μιας ολοκληρωμένης λύσης για MLO που επικεντρώνονται σε φόρτους εργασίας αιχμής. Στη συνέχεια, βουτάμε βαθιά στα βήματα που εκτελεί αυτόματα αυτή η λύση για την κατασκευή και την προετοιμασία ενός νέου μοντέλου. Σας δείχνουμε επίσης πώς να προετοιμάζετε τις συσκευές αιχμής για να ξεκινήσουν την ανάπτυξη, την εκτέλεση και την παρακολούθηση μοντέλων ML και δείχνουμε πώς να παρακολουθείτε και να συντηρείτε τα μοντέλα ML που αναπτύσσονται στο στόλο των συσκευών σας.

Επισκόπηση λύσεων

Η παραγωγή ισχυρών μοντέλων ML απαιτεί τη συνεργασία πολλών προσώπων, όπως επιστήμονες δεδομένων, μηχανικούς ML, μηχανικούς δεδομένων και επιχειρηματικούς φορείς, κάτω από μια ημι-αυτόματη υποδομή μετά από συγκεκριμένες λειτουργίες (MLOps). Επίσης, η σπονδυλοποίηση του περιβάλλοντος είναι σημαντική για να δώσει σε όλες αυτές τις διαφορετικές προσωπικότητες την ευελιξία και την ευελιξία να αναπτύξουν ή να βελτιώσουν (ανεξάρτητα από τη ροή εργασίας) το στοιχείο για το οποίο είναι υπεύθυνοι. Ένα παράδειγμα μιας τέτοιας υποδομής αποτελείται από πολλαπλούς λογαριασμούς AWS που επιτρέπουν αυτή τη συνεργασία και την παραγωγή των μοντέλων ML τόσο στο cloud όσο και στις συσκευές edge. Στην ακόλουθη αρχιτεκτονική αναφοράς, δείχνουμε πώς οργανώσαμε τους πολλαπλούς λογαριασμούς και τις υπηρεσίες που συνθέτουν αυτήν την πλατφόρμα MLOps από άκρο σε άκρο για τη δημιουργία μοντέλων ML και την ανάπτυξή τους στην άκρη.

Αυτή η λύση αποτελείται από τους ακόλουθους λογαριασμούς:

• Λογαριασμός δεδομένων λίμνης – Οι μηχανικοί δεδομένων απορροφούν, αποθηκεύουν και προετοιμάζουν δεδομένα από πολλαπλές πηγές δεδομένων, συμπεριλαμβανομένων των εσωτερικών βάσεων δεδομένων και συσκευών IoT.
• Λογαριασμός εργαλείων – Οι χειριστές πληροφορικής διαχειρίζονται και ελέγχουν τις αγωγές CI/CD για αυτοματοποιημένη συνεχή παράδοση και ανάπτυξη πακέτων μοντέλων ML στους λογαριασμούς προπαραγωγής και παραγωγής για συσκευές απομακρυσμένων άκρων. Οι διαδρομές των αγωγών CI/CD αυτοματοποιούνται με τη χρήση του Amazon EventBridge, το οποίο παρακολουθεί συμβάντα κατάστασης αλλαγής μοντέλων και στόχων ML Αγωγός κώδικα AWS.
• Λογαριασμός πειραματισμού και ανάπτυξης – Οι επιστήμονες δεδομένων μπορούν να διεξάγουν έρευνα και να πειραματίζονται με πολλαπλές τεχνικές μοντελοποίησης και αλγόριθμους για την επίλυση επιχειρηματικών προβλημάτων που βασίζονται σε ML, δημιουργώντας απόδειξη εννοιολογικών λύσεων. Οι μηχανικοί ML και οι επιστήμονες δεδομένων συνεργάζονται για να κλιμακώσουν μια απόδειξη της ιδέας, δημιουργώντας αυτοματοποιημένες ροές εργασίας χρησιμοποιώντας Αγωγοί Amazon SageMaker να προετοιμάσει δεδομένα και να δημιουργήσει, να εκπαιδεύσει και να συσκευάσει μοντέλα ML. Η ανάπτυξη των αγωγών γίνεται μέσω αγωγών CI/CD, ενώ ο έλεγχος έκδοσης των μοντέλων επιτυγχάνεται με τη χρήση του Μητρώο μοντέλων Amazon SageMaker. Οι επιστήμονες δεδομένων αξιολογούν τις μετρήσεις πολλαπλών εκδόσεων μοντέλων και ζητούν την προώθηση του καλύτερου μοντέλου στην παραγωγή ενεργοποιώντας τη γραμμή CI/CD.
• Λογαριασμός προπαραγωγής – Πριν από την προώθηση του μοντέλου στο περιβάλλον παραγωγής, το μοντέλο πρέπει να δοκιμαστεί για να διασφαλιστεί η ευρωστία σε περιβάλλον προσομοίωσης. Επομένως, το περιβάλλον προπαραγωγής είναι ένας προσομοιωτής του περιβάλλοντος παραγωγής, στο οποίο τα τελικά σημεία του μοντέλου SageMaker αναπτύσσονται και δοκιμάζονται αυτόματα. Οι μέθοδοι δοκιμής μπορεί να περιλαμβάνουν μια δοκιμή ολοκλήρωσης, μια δοκιμή ακραίων καταστάσεων ή δοκιμές ειδικά για ML σε αποτελέσματα συμπερασμάτων. Σε αυτήν την περίπτωση, το περιβάλλον παραγωγής δεν είναι ένα τελικό σημείο μοντέλου SageMaker αλλά μια συσκευή άκρων. Για την προσομοίωση μιας συσκευής ακμών στην προπαραγωγή, είναι δυνατές δύο προσεγγίσεις: χρησιμοποιήστε ένα Amazon Elastic Compute Cloud (Amazon EC2) με τα ίδια χαρακτηριστικά υλικού ή χρησιμοποιήστε μια κλίνη δοκιμών στο εργαστήριο που αποτελείται από τις πραγματικές συσκευές. Με αυτήν την υποδομή, ο αγωγός CI/CD αναπτύσσει το μοντέλο στον αντίστοιχο προσομοιωτή και πραγματοποιεί αυτόματα τις πολλαπλές δοκιμές. Μετά την επιτυχή εκτέλεση των δοκιμών, ο αγωγός CI/CD απαιτεί μη αυτόματη έγκριση (για παράδειγμα, από τον ενδιαφερόμενο φορέα IoT για την προώθηση του μοντέλου στην παραγωγή).
• Λογαριασμός παραγωγής – Στην περίπτωση φιλοξενίας του μοντέλου στο AWS Cloud, η διοχέτευση CI/CD αναπτύσσει ένα τελικό σημείο μοντέλου SageMaker στον λογαριασμό παραγωγής. Σε αυτή την περίπτωση, το περιβάλλον παραγωγής αποτελείται από πολλαπλούς στόλους συσκευών ακμής. Επομένως, η διοχέτευση CI/CD χρησιμοποιεί το Edge Manager για την ανάπτυξη των μοντέλων στον αντίστοιχο στόλο συσκευών.
• Συσκευές άκρης – Οι συσκευές απομακρυσμένης άκρης είναι συσκευές υλικού που μπορούν να εκτελούν μοντέλα ML χρησιμοποιώντας το Edge Manager. Επιτρέπει στην εφαρμογή σε αυτές τις συσκευές να διαχειρίζεται τα μοντέλα, να εκτελεί συμπεράσματα σε σχέση με τα μοντέλα και να καταγράφει δεδομένα με ασφάλεια σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3).

Έργα SageMaker σας βοηθά να αυτοματοποιήσετε τη διαδικασία παροχής πόρων σε καθέναν από αυτούς τους λογαριασμούς. Δεν εμβαθύνουμε σε αυτήν τη δυνατότητα, αλλά για να μάθετε περισσότερα σχετικά με τον τρόπο δημιουργίας ενός προτύπου έργου SageMaker που αναπτύσσει μοντέλα ML σε όλους τους λογαριασμούς, ρίξτε μια ματιά Ανάπτυξη μοντέλου πολλαπλών λογαριασμών με το Amazon SageMaker Pipelines.

Λογαριασμός προπαραγωγής: Digital twin

Μετά τη διαδικασία εκπαίδευσης, το μοντέλο που προκύπτει πρέπει να αξιολογηθεί. Στον λογαριασμό προπαραγωγής, έχετε μια προσομοιωμένη συσκευή Edge. Αντιπροσωπεύει το ψηφιακό δίδυμο της συσκευής άκρης στην οποία εκτελείται το μοντέλο ML στην παραγωγή. Αυτό το περιβάλλον έχει διπλό σκοπό να εκτελεί τις κλασικές δοκιμές (όπως μονάδα, ενσωμάτωση και καπνό) και να είναι μια παιδική χαρά για την ομάδα ανάπτυξης. Αυτή η συσκευή προσομοιώνεται χρησιμοποιώντας ένα στιγμιότυπο EC2 όπου αναπτύχθηκαν όλα τα στοιχεία που απαιτούνται για τη διαχείριση του μοντέλου ML.

Οι εμπλεκόμενες υπηρεσίες είναι οι εξής:

• AWS Core IoT - Χρησιμοποιούμε AWS Core IoT για να δημιουργήσετε αντικείμενα AWS IoT, να δημιουργήσετε έναν στόλο συσκευών, να καταχωρίσετε το στόλο συσκευών ώστε να μπορεί να αλληλεπιδρά με το cloud, να δημιουργήσετε πιστοποιητικά X.509 για τον έλεγχο ταυτότητας συσκευών edge στον AWS IoT Core, να συσχετίσετε το ψευδώνυμο ρόλου με το AWS IoT Core που δημιουργήθηκε όταν ο στόλος έχει δημιουργήσει, αποκτήστε ένα τελικό σημείο για τον πάροχο διαπιστευτηρίων για συγκεκριμένο λογαριασμό AWS, αποκτήστε ένα επίσημο αρχείο CA Root της Amazon και ανεβάστε το αρχείο CA της Amazon στο Amazon S3.
• Amazon Sagemaker Neo – Ψαλίδι Νέο βελτιστοποιεί αυτόματα τα μοντέλα μηχανικής εκμάθησης για την ταχύτερη εκτέλεση συμπερασμάτων χωρίς απώλεια ακρίβειας. Υποστηρίζει μοντέλο μηχανικής εκμάθησης που έχει ήδη κατασκευαστεί με DarkNet, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite, ONNX ή XGBoost και έχει εκπαιδευτεί στο Amazon SageMaker ή οπουδήποτε αλλού. Στη συνέχεια, επιλέγετε την πλατφόρμα υλικού-στόχου σας, η οποία μπορεί να είναι μια παρουσία φιλοξενίας SageMaker ή μια συσκευή αιχμής που βασίζεται σε επεξεργαστές από Ambarella, Apple, ARM, Intel, MediaTek, Nvidia, NXP, Qualcomm, RockChip, Texas Instruments ή Xilinx.
• Edge Manager – Χρησιμοποιούμε το Edge Manager για την εγγραφή και τη διαχείριση της συσκευής edge στους στόλους Sagemaker. Οι στόλοι είναι συλλογές λογικά ομαδοποιημένων συσκευών που μπορείτε να χρησιμοποιήσετε για τη συλλογή και ανάλυση δεδομένων. Επιπλέον, ο πακέτου Edge Manager, συσκευάζει το βελτιστοποιημένο μοντέλο και δημιουργεί ένα στοιχείο AWS IoT Greengrass V2 που μπορεί να αναπτυχθεί απευθείας. Μπορείτε να χρησιμοποιήσετε το Edge Manager για να χειριστείτε μοντέλα ML σε έναν στόλο έξυπνων καμερών, έξυπνων ηχείων, ρομπότ και άλλων στόλων συσκευών SageMaker.
• AWS IoT Greengrass V2 - AWS IoT Greengrass σας επιτρέπει να αναπτύξετε στοιχεία στις προσομοιωμένες συσκευές χρησιμοποιώντας μια παρουσία EC2. Χρησιμοποιώντας τον πράκτορα AWS IoT Greengrass V2 στις περιπτώσεις EC2, μπορούμε να απλοποιήσουμε την πρόσβαση, τη διαχείριση και την ανάπτυξη του πράκτορα και του μοντέλου Edge Manager σε συσκευές. Χωρίς το AWS IoT Greengrass V2, η ρύθμιση συσκευών και στόλων για χρήση του Edge Manager απαιτεί να αντιγράψετε μη αυτόματα τον πράκτορα από έναν κάδο απελευθέρωσης S3. Με την ενσωμάτωση AWS IoT Greengrass V2 και Edge Manager, είναι δυνατή η χρήση στοιχείων AWS IoT Greengrass V2. Τα εξαρτήματα είναι προκατασκευασμένες ενότητες λογισμικού που μπορούν να συνδέσουν συσκευές edge με υπηρεσίες AWS ή υπηρεσίες τρίτων μέσω του AWS IoT Greengrass.
• Αντιπρόσωπος Edge Manager – Ο πράκτορας Edge Manager αναπτύσσεται μέσω του AWS IoT Greengrass V2 στην περίπτωση EC2. Ο πράκτορας μπορεί να φορτώσει πολλά μοντέλα ταυτόχρονα και να βγάλει συμπεράσματα με φορτωμένα μοντέλα σε συσκευές άκρων. Ο αριθμός των μοντέλων που μπορεί να φορτώσει ο πράκτορας καθορίζεται από τη διαθέσιμη μνήμη στη συσκευή.
• Amazon S3 – Χρησιμοποιούμε έναν κάδο S3 για την αποθήκευση των συμπερασμάτων που έχουν ληφθεί από τον πράκτορα Edge Manager.

Μπορούμε να ορίσουμε έναν λογαριασμό προπαραγωγής ως ένα ψηφιακό δίδυμο για τη δοκιμή μοντέλων ML πριν τα μεταφέρουμε σε πραγματικές συσκευές αιχμής. Αυτό προσφέρει τα ακόλουθα οφέλη:

• Ευελιξία και ευελιξία – Οι επιστήμονες δεδομένων και οι μηχανικοί ML πρέπει να επικυρώσουν γρήγορα εάν το μοντέλο ML και τα σχετικά σενάρια (σενάρια προεπεξεργασίας και συμπερασμάτων) θα λειτουργήσουν στην άκρη της συσκευής. Ωστόσο, τα τμήματα IoT και επιστήμης δεδομένων σε μεγάλες επιχειρήσεις μπορεί να είναι διαφορετικές οντότητες. Με την ίδια αναπαραγωγή της στοίβας τεχνολογίας στο cloud, οι επιστήμονες δεδομένων και οι μηχανικοί ML μπορούν να επαναλάβουν και να ενοποιήσουν τεχνουργήματα πριν από την ανάπτυξη.
• Επιταχυνόμενη αξιολόγηση κινδύνου και χρόνος παραγωγής – Η ανάπτυξη στη συσκευή άκρων είναι το τελικό στάδιο της διαδικασίας. Αφού επικυρώσετε τα πάντα σε ένα απομονωμένο και αυτόνομο περιβάλλον, εξασφαλίστε ότι συμμορφώνεται με τις προδιαγραφές που απαιτούνται από το edge όσον αφορά την ποιότητα, την απόδοση και την ενσωμάτωση. Αυτό βοηθά στην αποφυγή περαιτέρω εμπλοκής άλλων ατόμων στο τμήμα IoT για επιδιόρθωση και επανάληψη εκδόσεων τεχνουργημάτων.
• Βελτιωμένη ομαδική συνεργασία και βελτιωμένη ποιότητα και απόδοση – Η ομάδα ανάπτυξης μπορεί να αξιολογήσει αμέσως τον αντίκτυπο του μοντέλου ML αναλύοντας μετρήσεις υλικού αιχμής και μετρώντας το επίπεδο αλληλεπιδράσεων με εργαλεία τρίτων (π.χ. ρυθμός εισόδου/εξόδου). Στη συνέχεια, η ομάδα IoT είναι υπεύθυνη μόνο για την ανάπτυξη στο περιβάλλον παραγωγής και μπορεί να είναι βέβαιη ότι τα τεχνουργήματα είναι ακριβή για ένα περιβάλλον παραγωγής.
• Ενσωματωμένη παιδική χαρά για δοκιμές – Δεδομένου του στόχου των μοντέλων ML, το περιβάλλον προπαραγωγής σε μια παραδοσιακή ροή εργασίας θα πρέπει να αντιπροσωπεύεται από μια συσκευή άκρων εκτός του περιβάλλοντος cloud. Αυτό εισάγει ένα άλλο επίπεδο πολυπλοκότητας. Απαιτούνται ενσωματώσεις για τη συλλογή μετρήσεων και σχολίων. Αντίθετα, με τη χρήση του ψηφιακού διπλού περιβάλλοντος προσομοίωσης, οι αλληλεπιδράσεις μειώνονται και ο χρόνος για την αγορά μειώνεται.

Λογαριασμός παραγωγής και περιβάλλον αιχμής

Αφού ολοκληρωθούν οι δοκιμές και επιτευχθεί η σταθερότητα του τεχνουργήματος, μπορείτε να προχωρήσετε στην ανάπτυξη παραγωγής μέσω των αγωγών. Η ανάπτυξη τεχνουργήματος πραγματοποιείται μέσω προγραμματισμού αφού ένας χειριστής εγκρίνει το τεχνούργημα. Ωστόσο, η πρόσβαση στο Κονσόλα διαχείρισης AWS παραχωρείται σε χειριστές σε λειτουργία μόνο για ανάγνωση, ώστε να μπορούν να παρακολουθούν τα μεταδεδομένα που σχετίζονται με τους στόλους και επομένως να έχουν πληροφορίες για την έκδοση του αναπτυγμένου μοντέλου ML και άλλες μετρήσεις που σχετίζονται με τον κύκλο ζωής.

Οι στόλοι συσκευών Edge ανήκουν στον λογαριασμό παραγωγής AWS. Αυτός ο λογαριασμός έχει συγκεκριμένες διαμορφώσεις ασφάλειας και δικτύωσης που επιτρέπουν την επικοινωνία μεταξύ του cloud και των συσκευών edge. Οι κύριες υπηρεσίες AWS που αναπτύσσονται στον λογαριασμό παραγωγής είναι ο Edge Manager, ο οποίος είναι υπεύθυνος για τη διαχείριση όλων των στόλων συσκευών, τη συλλογή δεδομένων και τη λειτουργία μοντέλων ML, και το AWS IoT Core, το οποίο διαχειρίζεται αντικείμενα IoT, πιστοποιητικά, ψευδώνυμα ρόλων και τελικά σημεία.

Ταυτόχρονα, πρέπει να διαμορφώσουμε μια συσκευή edge με τις υπηρεσίες και τα στοιχεία για τη διαχείριση μοντέλων ML. Τα κύρια συστατικά είναι τα εξής:

• AWS IoT Greengrass V2
• Ένας πράκτορας του Edge Manager
• Πιστοποιητικά AWS IoT
• Application.py, το οποίο είναι υπεύθυνο για την ενορχήστρωση της διαδικασίας εξαγωγής συμπερασμάτων (ανάκτηση πληροφοριών από την πηγή δεδομένων edge και εκτέλεση συμπερασμάτων χρησιμοποιώντας τον παράγοντα Edge Manager και φορτωμένο μοντέλο ML)
• Μια σύνδεση με το Amazon S3 ή τον λογαριασμό data lake για την αποθήκευση δεδομένων που προκύπτουν

Αυτοματοποιημένος αγωγός ML

Τώρα που γνωρίζετε περισσότερα για την οργάνωση και τα στοιχεία της αρχιτεκτονικής αναφοράς, μπορούμε να βουτήξουμε βαθύτερα στη διοχέτευση ML που χρησιμοποιούμε για να δημιουργήσουμε, να εκπαιδεύσουμε και να αξιολογήσουμε το μοντέλο ML μέσα στον λογαριασμό ανάπτυξης.

Ένας αγωγός (κατασκευασμένος με χρήση Amazon SageMaker Model Building Pipelines) είναι μια σειρά διασυνδεδεμένων βημάτων που ορίζεται από έναν ορισμό αγωγού JSON. Αυτός ο ορισμός του αγωγού κωδικοποιεί έναν αγωγό χρησιμοποιώντας ένα κατευθυνόμενο άκυκλο γράφημα (DAG). Αυτό το DAG παρέχει πληροφορίες σχετικά με τις απαιτήσεις και τις σχέσεις μεταξύ κάθε βήματος του αγωγού σας. Η δομή του DAG ενός αγωγού καθορίζεται από τις εξαρτήσεις δεδομένων μεταξύ των βημάτων. Αυτές οι εξαρτήσεις δεδομένων δημιουργούνται όταν οι ιδιότητες της εξόδου ενός βήματος μεταβιβάζονται ως είσοδος σε ένα άλλο βήμα.

Για να επιτραπεί στις ομάδες επιστήμης δεδομένων να αυτοματοποιούν εύκολα τη δημιουργία νέων εκδόσεων μοντέλων ML, είναι σημαντικό να εισαγάγετε βήματα επικύρωσης και αυτοματοποιημένα δεδομένα για συνεχή τροφοδοσία και βελτίωση μοντέλων ML, καθώς και στρατηγικές παρακολούθησης μοντέλων για την ενεργοποίηση της ενεργοποίησης αγωγών. Το παρακάτω διάγραμμα δείχνει ένα παράδειγμα αγωγού.

Για την ενεργοποίηση των αυτοματισμών και των δυνατοτήτων MLOps, είναι σημαντικό να δημιουργηθούν αρθρωτά στοιχεία για τη δημιουργία επαναχρησιμοποιήσιμων τεχνουργημάτων κώδικα που μπορούν να κοινοποιηθούν σε διαφορετικά βήματα και περιπτώσεις χρήσης ML. Αυτό σας δίνει τη δυνατότητα να μετακινήσετε γρήγορα την υλοποίηση από μια φάση πειραματισμού σε μια φάση παραγωγής, αυτοματοποιώντας τη μετάβαση.

Τα βήματα για τον καθορισμό ενός αγωγού ML για τη συνεχή εκπαίδευση και την έκδοση μοντέλων ML είναι τα εξής:

• Προεπεξεργασία – Η διαδικασία καθαρισμού δεδομένων, μηχανικής λειτουργιών και δημιουργίας δεδομένων για την εκπαίδευση του αλγόριθμου ML
• Εκπαίδευση – Η διαδικασία εκπαίδευσης του αναπτυγμένου αλγόριθμου ML για τη δημιουργία μιας νέας έκδοσης του τεχνητού μοντέλου ML
• Εκτίμηση – Η διαδικασία αξιολόγησης του παραγόμενου μοντέλου ML, για την εξαγωγή βασικών μετρήσεων που σχετίζονται με τη συμπεριφορά του μοντέλου σε νέα δεδομένα που δεν παρατηρήθηκαν κατά τη φάση εκπαίδευσης
• Εγγραφή – Η διαδικασία έκδοσης του νέου εκπαιδευμένου μοντέλου ML με σύνδεση των μετρήσεων που εξάγονται με το παραγόμενο τεχνούργημα

Μπορείτε να δείτε περισσότερες λεπτομέρειες σχετικά με τον τρόπο κατασκευής ενός αγωγού SageMaker στα παρακάτω σημειωματάριο.

Ενεργοποιήστε τις σωληνώσεις CI/CD χρησιμοποιώντας το EventBridge

Όταν ολοκληρώσετε την κατασκευή του μοντέλου, μπορείτε να ξεκινήσετε τη διαδικασία ανάπτυξης. Το τελευταίο βήμα της διοχέτευσης του SageMaker που ορίστηκε στην προηγούμενη ενότητα καταγράφει μια νέα έκδοση του μοντέλου στη συγκεκριμένη ομάδα μητρώου μοντέλων SageMaker. Η διαχείριση της ανάπτυξης μιας νέας έκδοσης του μοντέλου ML γίνεται με χρήση της κατάστασης μητρώου μοντέλου. Με την μη αυτόματη έγκριση ή απόρριψη μιας έκδοσης μοντέλου ML, αυτό το βήμα δημιουργεί ένα συμβάν που καταγράφεται από το EventBridge. Αυτό το συμβάν μπορεί στη συνέχεια να ξεκινήσει μια νέα διοχέτευση (CI/CD αυτή τη φορά) για τη δημιουργία μιας νέας έκδοσης του στοιχείου AWS IoT Greengrass που στη συνέχεια θα αναπτυχθεί στους λογαριασμούς προπαραγωγής και παραγωγής. Το ακόλουθο στιγμιότυπο οθόνης δείχνει τον καθορισμένο κανόνα μας EventBridge.

Αυτός ο κανόνας παρακολουθεί την ομάδα πακέτων μοντέλων SageMaker αναζητώντας ενημερώσεις πακέτων μοντέλων στην κατάσταση Approved or Rejected.

Στη συνέχεια, ο κανόνας EventBridge διαμορφώνεται για να στοχεύει το CodePipeline, το οποίο ξεκινά τη ροή εργασιών για τη δημιουργία ενός νέου στοιχείου AWS IoT Greengrass χρησιμοποιώντας Amazon SageMaker Neo και Edge Manager.

Βελτιστοποιήστε τα μοντέλα ML για την αρχιτεκτονική στόχο

Το Neo σάς επιτρέπει να βελτιστοποιείτε μοντέλα ML για την εκτέλεση συμπερασμάτων σε συσκευές άκρων (και στο cloud). Βελτιστοποιεί αυτόματα τα μοντέλα ML για καλύτερη απόδοση βάσει της αρχιτεκτονικής στόχου και αποσυνδέει το μοντέλο από το αρχικό πλαίσιο, επιτρέποντάς το να το εκτελείτε σε έναν ελαφρύ χρόνο εκτέλεσης.

Ανατρέξτε στα ακόλουθα σημειωματάριο για ένα παράδειγμα πώς να μεταγλωττίσετε ένα μοντέλο PyTorch Resnet18 χρησιμοποιώντας το Neo.

Δημιουργήστε το πακέτο ανάπτυξης συμπεριλαμβάνοντας το στοιχείο AWS IoT Greengrass

Το Edge Manager σάς επιτρέπει να διαχειρίζεστε, να ασφαλίζετε, να αναπτύσσετε και να παρακολουθείτε μοντέλα σε έναν στόλο συσκευών edge. Στα ακόλουθα σημειωματάριο, μπορείτε να δείτε περισσότερες λεπτομέρειες σχετικά με τον τρόπο δημιουργίας ενός μινιμαλιστικού στόλου συσκευών edge και να εκτελέσετε ορισμένα πειράματα με αυτήν τη δυνατότητα.

Αφού διαμορφώσετε τον στόλο και μεταγλωττίσετε το μοντέλο, πρέπει να εκτελέσετε μια εργασία συσκευασίας Edge Manager, η οποία προετοιμάζει το μοντέλο για ανάπτυξη στο στόλο. Μπορείτε να ξεκινήσετε μια εργασία συσκευασίας χρησιμοποιώντας το Boto3 SDK. Για τις παραμέτρους μας, χρησιμοποιούμε το βελτιστοποιημένο μοντέλο και τα μεταδεδομένα μοντέλου. Προσθέτοντας τις παρακάτω παραμέτρους σε OutputConfig, η εργασία προετοιμάζει επίσης ένα στοιχείο AWS IoT Greengrass V2 με το μοντέλο:

• PresetDeploymentType
• PresetDeploymentConfig

Δείτε τον ακόλουθο κώδικα:

import boto3
import time

SageMaker_client = boto3.client('SageMaker')

SageMaker_client.create_edge_packaging_job(
    EdgePackagingJobName="mlops-edge-packaging-{}".format(int(time.time()*1000)),
    CompilationJobName=compilation_job_name,
    ModelName="PytorchMLOpsEdgeModel",
    ModelVersion="1.0.0",
    RoleArn=role,
    OutputConfig={
        'S3OutputLocation': 's3://{}/model/'.format(bucket_name),
        "PresetDeploymentType": "GreengrassV2Component",
        "PresetDeploymentConfig": json.dumps(
            {"ComponentName": component_name, "ComponentVersion": component_version}
        ),
    }
)

Αναπτύξτε μοντέλα ML στην άκρη σε κλίμακα

Τώρα ήρθε η ώρα να αναπτύξετε το μοντέλο στον στόλο των συσκευών αιχμής σας. Πρώτον, πρέπει να διασφαλίσουμε ότι έχουμε τα απαραίτητα Διαχείριση ταυτότητας και πρόσβασης AWS (ΕΓΩ ΕΙΜΑΙ) δικαιώματα να παρέχει τις συσκευές μας IoT και να είναι σε θέση να αναπτύξει στοιχεία σε αυτό. Χρειαζόμαστε δύο βασικά στοιχεία για να ξεκινήσουμε την ενσωμάτωση συσκευών στην πλατφόρμα IoT:

• πολιτική IAM – Αυτή η πολιτική επιτρέπει την αυτόματη παροχή τέτοιων συσκευών, που συνδέονται με τον χρήστη ή τον ρόλο που εκτελεί την παροχή. Θα πρέπει να έχει δικαιώματα εγγραφής IoT για τη δημιουργία του πράγματος και της ομάδας IoT, καθώς και για να επισυνάψει τις απαραίτητες πολιτικές στη συσκευή. Για περισσότερες πληροφορίες, ανατρέξτε στο Ελάχιστη πολιτική IAM για πόρους εγκατάστασης για παροχή.
• IAM ρόλο – αυτός ο ρόλος συνδέεται με τα πράγματα και τις ομάδες IoT που δημιουργούμε. Μπορείτε να δημιουργήσετε αυτόν τον ρόλο κατά την παροχή βασικών αδειών, αλλά δεν θα διαθέτει λειτουργίες όπως πρόσβαση στο Amazon S3 ή Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS) που μπορεί να χρειαστεί αργότερα. Μπορείτε να δημιουργήσετε αυτόν τον ρόλο εκ των προτέρων και να τον επαναχρησιμοποιήσετε όταν παρέχουμε τη συσκευή. Για περισσότερες πληροφορίες, ανατρέξτε στο Εξουσιοδοτήστε τις βασικές συσκευές να αλληλεπιδρούν με το AWS.

Εγκατάσταση και παροχή AWS IoT Greengrass

Αφού έχουμε την πολιτική και τον ρόλο του IAM, είμαστε έτοιμοι να το κάνουμε εγκαταστήστε το λογισμικό AWS IoT Greengrass Core με αυτόματη παροχή πόρων. Παρόλο που είναι δυνατή η παροχή των πόρων IoT ακολουθώντας χειροκίνητα βήματα, υπάρχει η βολική διαδικασία αυτόματης παροχής αυτών των πόρων κατά την εγκατάσταση του πυρήνα AWS IoT Greengrass v2. Αυτή είναι η προτιμώμενη επιλογή για γρήγορη ενσωμάτωση νέων συσκευών στην πλατφόρμα. εκτός default-jdk, απαιτείται να εγκατασταθούν και άλλα πακέτα, όπως π.χ curl, unzip, να python3.

Όταν παρέχουμε τη συσκευή μας, το όνομα του πράγματος IoT πρέπει να είναι ακριβώς το ίδιο με τη συσκευή edge που ορίζεται στο Edge Manager, διαφορετικά τα δεδομένα δεν θα καταγράφονται στον κάδο προορισμού S3.

Το πρόγραμμα εγκατάστασης μπορεί να δημιουργήσει τον ρόλο και το ψευδώνυμο AWS IoT Greengrass κατά την εγκατάσταση, εάν δεν υπάρχουν. Ωστόσο, θα δημιουργηθούν με ελάχιστα δικαιώματα και θα απαιτούν τη μη αυτόματη προσθήκη περισσότερων πολιτικών για την αλληλεπίδραση με άλλες υπηρεσίες όπως το Amazon S3. Συνιστούμε να δημιουργήσετε αυτούς τους πόρους IAM εκ των προτέρων, όπως φαίνεται νωρίτερα και, στη συνέχεια, να τους επαναχρησιμοποιήσετε καθώς συνδέετε νέες συσκευές στον λογαριασμό.

Συσκευασία μοντέλων και συστατικών συμπερασμάτων

Αφού αναπτυχθεί ο κώδικάς μας, μπορούμε να αναπτύξουμε τόσο τον κώδικα (για συμπέρασμα) όσο και τα μοντέλα ML μας ως στοιχεία στις συσκευές μας.

Αφού το μοντέλο ML εκπαιδευτεί στο SageMaker, μπορείτε να βελτιστοποιήσετε το μοντέλο με το Neo χρησιμοποιώντας μια εργασία μεταγλώττισης του Sagemaker. Τα προκύπτοντα μεταγλωττισμένα τεχνουργήματα μοντέλων μπορούν στη συνέχεια να συσκευαστούν σε ένα στοιχείο GreenGrass V2 χρησιμοποιώντας το πρόγραμμα συσκευασίας Edge Manager. Στη συνέχεια, μπορεί να καταχωρηθεί ως προσαρμοσμένο στοιχείο στο Τα εξαρτήματά μου ενότητα στην κονσόλα AWS IoT Greengrass. Αυτό το στοιχείο περιέχει ήδη τις απαραίτητες εντολές κύκλου ζωής για τη λήψη και την αποσυμπίεση του τεχνουργήματος του μοντέλου στη συσκευή μας, έτσι ώστε ο κώδικας συμπερασμάτων να μπορεί να το φορτώσει για να στείλει τις εικόνες που τραβήχτηκαν μέσω αυτού.

Όσον αφορά τον κώδικα συμπερασμάτων, πρέπει να δημιουργήσουμε ένα στοιχείο χρησιμοποιώντας την κονσόλα ή Διεπαφή γραμμής εντολών AWS (AWS CLI). Αρχικά, συσκευάζουμε τον πηγαίο κώδικα συμπερασμάτων και τις απαραίτητες εξαρτήσεις στο Amazon S3. Αφού ανεβάσουμε τον κώδικα, μπορούμε να δημιουργήσουμε το στοιχείο μας χρησιμοποιώντας μια συνταγή σε .yaml ή JSON όπως το ακόλουθο παράδειγμα:

---
RecipeFormatVersion: 2020-01-25
ComponentName: dummymodel.inference
ComponentVersion: 0.0.1
ComponentDescription: Deploys inference code to a client
ComponentPublisher: Amazon Web Services, Inc.
ComponentDependencies:
  aws.GreenGrass.TokenExchangeService:
    VersionRequirement: '>=0.0.0'
    DependencyType: HARD
  dummymodel:
    VersionRequirement: '>=0.0.0'
    DependencyType: HARD
Manifests:
  - Platform:
      os: linux
      architecture: "*"
    Lifecycle:
      install: |-
        apt-get install python3-pip
        pip3 install numpy
        pip3 install sysv_ipc
        pip3 install boto3
        pip3 install grpcio-tools
        pip3 install grpcio
        pip3 install protobuf
        pip3 install SageMaker
        tar xf {artifacts:path}/sourcedir.tar.gz
      run:
        script: |-
          sleep 5 && sudo python3 {work:path}/inference.py 
    Artifacts:
      - URI: s3://BUCKET-NAME/path/to/inference/sourcedir.tar.gz
        Permission:
          Execute: OWNER

Αυτό το παράδειγμα συνταγής δείχνει το όνομα και την περιγραφή του στοιχείου μας, καθώς και τις απαραίτητες προϋποθέσεις πριν από την εντολή εκτέλεσης του σεναρίου. Η συνταγή αποσυσκευάζει το τεχνούργημα σε ένα περιβάλλον φακέλου εργασίας στη συσκευή και χρησιμοποιούμε αυτήν τη διαδρομή για να εκτελέσουμε τον κώδικα συμπερασμάτων μας. Η εντολή AWS CLI για τη δημιουργία μιας τέτοιας συνταγής είναι:

aws greengrassv2 create-component-version --region $REGION 
                                          --inline-recipe fileb://path/to/recipe.yaml

Τώρα μπορείτε να δείτε αυτό το στοιχείο που δημιουργήθηκε στην κονσόλα AWS IoT Greengrass.

Προσέξτε το γεγονός ότι η έκδοση του στοιχείου έχει σημασία και πρέπει να προσδιορίζεται στο αρχείο συνταγής. Η επανάληψη του ίδιου αριθμού έκδοσης θα εμφανίσει ένα σφάλμα.

Αφού το μοντέλο μας και ο κώδικας συμπερασμάτων ρυθμιστούν ως στοιχεία, είμαστε έτοιμοι να τα αναπτύξουμε.

Αναπτύξτε την εφαρμογή και το μοντέλο χρησιμοποιώντας το AWS IoT Greengrass

Στις προηγούμενες ενότητες, μάθατε πώς να πακετάρετε τον κώδικα συμπερασμάτων και τα μοντέλα ML. Τώρα μπορούμε να δημιουργήσουμε μια ανάπτυξη με πολλά στοιχεία που περιλαμβάνουν στοιχεία και διαμορφώσεις που απαιτούνται για την αλληλεπίδραση του κώδικα συμπερασμάτων μας με το μοντέλο στη συσκευή άκρων.

Ο πράκτορας Edge Manager είναι το στοιχείο που πρέπει να εγκατασταθεί σε κάθε συσκευή edge προκειμένου να ενεργοποιηθούν όλες οι δυνατότητες του Edge Manager. Στην κονσόλα SageMaker, έχουμε ορίσει έναν στόλο συσκευών, ο οποίος έχει έναν συσχετισμένο κάδο S3. Όλες οι συσκευές αιχμής που σχετίζονται με τον στόλο θα καταγράφουν και θα αναφέρουν τα δεδομένα τους σε αυτήν τη διαδρομή S3. Ο παράγοντας μπορεί να αναπτυχθεί ως στοιχείο στο AWS IoT Greengrass v2, γεγονός που καθιστά ευκολότερη την εγκατάσταση και τη ρύθμιση παραμέτρων από ό,τι αν ο πράκτορας είχε αναπτυχθεί σε αυτόνομη λειτουργία. Κατά την ανάπτυξη του πράκτορα ως στοιχείου, πρέπει να καθορίσουμε τις παραμέτρους διαμόρφωσής του, δηλαδή το στόλο της συσκευής και τη διαδρομή S3.

Δημιουργούμε μια διαμόρφωση ανάπτυξης με τα προσαρμοσμένα στοιχεία για το μοντέλο και τον κώδικα που μόλις δημιουργήσαμε. Αυτή η ρύθμιση ορίζεται σε ένα αρχείο JSON που παραθέτει το όνομα και τον στόχο ανάπτυξης, καθώς και τα στοιχεία στην ανάπτυξη. Μπορούμε να προσθέσουμε και να ενημερώσουμε τις παραμέτρους διαμόρφωσης κάθε στοιχείου, όπως στον πράκτορα Edge Manager, όπου καθορίζουμε το όνομα του στόλου και τον κάδο.

{
    "targetArn": "targetArn",
    "deploymentName": "dummy-deployment",
    "components": {
        "aws.GreenGrass.Nucleus": {
            "version": "2.5.3",
        },
        "aws.GreenGrass.Cli": {
            "version": "2.5.3"
        },
        "aws.GreenGrass.SageMakerEdgeManager": {
            "version": 1.1.0,
            "configurationUpdate": {
                "merge": {
                "DeviceFleetName": "FLEET-NAME",
                "BucketName": "BUCKET-NAME-URI"
                }
            }
        },
        "dummymodel.inference": {
            "version": "0.0.1"
        },
        "dummymodel": {
            "version": "0.0.1"
        }
    }
}

Αξίζει να σημειωθεί ότι έχουμε προσθέσει όχι μόνο το μοντέλο, τα στοιχεία συμπερασμάτων και τον παράγοντα, αλλά και το AWS IoT Greengrass CLI και τον πυρήνα ως στοιχεία. Το πρώτο μπορεί να βοηθήσει στον εντοπισμό σφαλμάτων ορισμένων αναπτύξεων τοπικά στη συσκευή. Το τελευταίο προστίθεται στην ανάπτυξη για να διαμορφώσει την απαραίτητη πρόσβαση δικτύου από την ίδια τη συσκευή, εάν χρειάζεται (για παράδειγμα, ρυθμίσεις διακομιστή μεσολάβησης), καθώς και σε περίπτωση που θέλετε να πραγματοποιήσετε αναβάθμιση OTA του πυρήνα AWS IoT Greengrass v2. Ο πυρήνας δεν έχει αναπτυχθεί επειδή είναι εγκατεστημένος στη συσκευή και θα εφαρμοστεί μόνο η ενημέρωση διαμόρφωσης (εκτός εάν υπάρχει αναβάθμιση). Για την ανάπτυξη, πρέπει απλώς να εκτελέσουμε την ακόλουθη εντολή πάνω από την προηγούμενη διαμόρφωση. Θυμηθείτε να ρυθμίσετε το ARN-στόχο στο οποίο θα εφαρμοστεί η ανάπτυξη (κάτι IoT ή ομάδα IoT). Μπορούμε επίσης να αναπτύξουμε αυτά τα στοιχεία από την κονσόλα.

aws greengrassv2 create-deployment --region $REGION 
                                   --cli-input-json file://path/to/deployment.json

Παρακολούθηση και διαχείριση των μοντέλων ML που αναπτύσσονται στην άκρη

Τώρα που η εφαρμογή σας εκτελείται σε συσκευές αιχμής, ήρθε η ώρα να κατανοήσετε πώς να παρακολουθείτε τον στόλο για να βελτιώσετε τη διακυβέρνηση, τη συντήρηση και την προβολή. Στην κονσόλα SageMaker, επιλέξτε Edge Manager στο παράθυρο πλοήγησης και, στη συνέχεια, επιλέξτε Στόλοι συσκευών Edge. Από εδώ, επιλέξτε το στόλο σας.

Στη σελίδα λεπτομερειών του στόλου, μπορείτε να δείτε ορισμένα μεταδεδομένα των μοντέλων που εκτελούνται σε κάθε συσκευή του στόλου σας. Η αναφορά στόλου δημιουργείται κάθε 24 ώρες.

Τα δεδομένα που συλλέγονται από κάθε συσκευή μέσω του Edge Agent αποστέλλονται σε έναν κάδο S3 σε μορφή json lines (JSONL). Η διαχείριση της διαδικασίας αποστολής καταγεγραμμένων δεδομένων γίνεται από τη σκοπιά της εφαρμογής. Ως εκ τούτου, είστε ελεύθεροι να αποφασίσετε εάν θα στείλετε αυτά τα δεδομένα, πώς και πόσο συχνά.

Μπορείτε να χρησιμοποιήσετε αυτά τα δεδομένα για πολλά πράγματα, όπως παρακολούθηση μετατόπισης δεδομένων και ποιότητας μοντέλου, δημιουργία νέου συνόλου δεδομένων, εμπλουτισμός μιας λίμνης δεδομένων και πολλά άλλα. Ένα απλό παράδειγμα του τρόπου χρήσης αυτών των δεδομένων είναι όταν αναγνωρίζετε κάποια απόκλιση δεδομένων στον τρόπο με τον οποίο οι χρήστες αλληλεπιδρούν με την εφαρμογή σας και πρέπει να εκπαιδεύσετε ένα νέο μοντέλο. Στη συνέχεια, δημιουργείτε ένα νέο σύνολο δεδομένων με τα δεδομένα που συλλέγονται και το αντιγράφετε πίσω στον λογαριασμό ανάπτυξης. Αυτό μπορεί να ξεκινήσει αυτόματα μια νέα εκτέλεση του περιβάλλοντός σας που δημιουργεί ένα νέο μοντέλο και το αναδιατάσσει σε ολόκληρο τον στόλο για να διατηρήσει την απόδοση της αναπτυγμένης λύσης.

Συμπέρασμα

Σε αυτήν την ανάρτηση, μάθατε πώς να δημιουργείτε μια ολοκληρωμένη λύση που συνδυάζει MLOps και ML@Edge χρησιμοποιώντας υπηρεσίες AWS. Η δημιουργία μιας τέτοιας λύσης δεν είναι ασήμαντη, αλλά ελπίζουμε ότι η αρχιτεκτονική αναφοράς που παρουσιάζεται σε αυτήν την ανάρτηση μπορεί να εμπνεύσει και να σας βοηθήσει να δημιουργήσετε μια σταθερή αρχιτεκτονική για τις δικές σας επιχειρηματικές προκλήσεις. Μπορείτε επίσης να χρησιμοποιήσετε μόνο τα μέρη ή τις μονάδες αυτής της αρχιτεκτονικής που ενσωματώνονται στο υπάρχον περιβάλλον MLOps σας. Δημιουργώντας πρωτότυπα μίας μονάδας κάθε φορά και χρησιμοποιώντας τις κατάλληλες υπηρεσίες AWS για να αντιμετωπίσετε κάθε κομμάτι αυτής της πρόκλησης, μπορείτε να μάθετε πώς να δημιουργήσετε ένα ισχυρό περιβάλλον MLOps και επίσης να απλοποιήσετε περαιτέρω την τελική αρχιτεκτονική.

Ως επόμενο βήμα, σας ενθαρρύνουμε να δοκιμάσετε το Sagemaker Edge Manager για να διαχειριστείτε την ML σας στον κύκλο ζωής edge. Για περισσότερες πληροφορίες σχετικά με τον τρόπο λειτουργίας του Edge Manager, βλ Αναπτύξτε μοντέλα στην άκρη με το SageMaker Edge Manager .

Σχετικά με τους συγγραφείς

Μπρούνο Πίστον είναι AI/ML Specialist Solutions Architect για την AWS με έδρα το Μιλάνο. Συνεργάζεται με πελάτες οποιουδήποτε μεγέθους για να τους βοηθήσει να κατανοήσουν σε βάθος τις τεχνικές τους ανάγκες και να σχεδιάσουν λύσεις AI και Machine Learning που κάνουν την καλύτερη χρήση του AWS Cloud και της στοίβας Machine Learning Amazon. Το πεδίο εξειδίκευσής του είναι η μηχανική μάθηση από άκρο σε άκρο, η μηχανική μάθηση βιομηχανοποίηση και τα MLOps. Του αρέσει να περνά χρόνο με τους φίλους του και να εξερευνά νέα μέρη, καθώς και να ταξιδεύει σε νέους προορισμούς.

Ματέο Καλαμπρέζε είναι αρχιτέκτονας παράδοσης πελατών AI/ML στην ομάδα AWS Professional Services. Συνεργάζεται με μεγάλες επιχειρήσεις της EMEA σε έργα AI/ML, βοηθώντας τις στην πρόταση, το σχεδιασμό, την παράδοση, την κλίμακα και τη βελτιστοποίηση του φόρτου εργασίας παραγωγής ML. Η κύρια τεχνογνωσία του είναι η Λειτουργία ML (MLOps) και η Μηχανική Μάθηση στο Edge. Στόχος του είναι να συντομεύσει το χρόνο τους για να εκτιμήσουν και να επιταχύνουν τα επιχειρηματικά αποτελέσματα παρέχοντας βέλτιστες πρακτικές AWS. Στον ελεύθερο χρόνο του, του αρέσει η πεζοπορία και τα ταξίδια.

Ραούλ Ντίαζ Γκαρθία είναι Sr Data Scientist στην ομάδα AWS Professional Services. Συνεργάζεται με πελάτες μεγάλων επιχειρήσεων σε όλη την EMEA, όπου τους βοηθά να ενεργοποιήσουν λύσεις που σχετίζονται με το Computer Vision και τη Machine Learning στον χώρο του IoT.

Σωκράτης Καρτάκης είναι Ανώτερος Αρχιτέκτονας Λύσεων Specialist Machine Learning για τις Υπηρεσίες Ιστού της Amazon. Ο Σωκράτης εστιάζει στο να δώσει τη δυνατότητα στους εταιρικούς πελάτες να βιομηχανοποιήσουν τις λύσεις Μηχανικής Μάθησης (ML) αξιοποιώντας τις υπηρεσίες AWS και διαμορφώνοντας το μοντέλο λειτουργίας τους, π.χ. το ίδρυμα MLOps και τον οδικό χάρτη μετασχηματισμού αξιοποιώντας βέλτιστες πρακτικές ανάπτυξης. Έχει ξοδέψει 15+ χρόνια για την εφεύρεση, το σχεδιασμό, την ηγεσία και την εφαρμογή καινοτόμων λύσεων ML και Internet of Things (IoT) σε επίπεδο παραγωγής από άκρο σε άκρο στους τομείς της ενέργειας, του λιανικού εμπορίου, της υγείας, των χρηματοοικονομικών/τραπεζικών, των μηχανοκίνητων αθλημάτων κ.λπ. Ο Σωκράτης αρέσκεται να περνά τον ελεύθερο χρόνο του με την οικογένεια και τους φίλους του ή κάνοντας μοτοσικλέτες.

Σαμίρ Αρούτζο είναι αρχιτέκτονας λύσεων AI / ML στο AWS. Βοηθά τους πελάτες να δημιουργούν λύσεις AI / ML που επιλύουν τις επιχειρηματικές τους προκλήσεις χρησιμοποιώντας AWS. Έχει εργαστεί σε διάφορα προγράμματα AI / ML που σχετίζονται με την όραση του υπολογιστή, την επεξεργασία φυσικής γλώσσας, τις προβλέψεις, το ML στην άκρη και πολλά άλλα. Του αρέσει να παίζει με έργα υλικού και αυτοματισμού στον ελεύθερο χρόνο του και έχει ιδιαίτερο ενδιαφέρον για τη ρομποτική.