Απομυθοποίηση της μηχανικής μάθησης στα άκρα μέσω πραγματικών περιπτώσεων χρήσης

άκρη είναι ένας όρος που αναφέρεται σε μια τοποθεσία, μακριά από το cloud ή ένα μεγάλο κέντρο δεδομένων, όπου έχετε μια συσκευή υπολογιστή (συσκευή άκρων) ικανή να εκτελεί εφαρμογές (edge). Ο υπολογισμός άκρων είναι η πράξη εκτέλεσης φόρτου εργασίας σε αυτές τις συσκευές αιχμής. Η μηχανική εκμάθηση στο edge (ML@Edge) είναι μια ιδέα που φέρνει τη δυνατότητα εκτέλεσης μοντέλων ML τοπικά σε συσκευές αιχμής. Αυτά τα μοντέλα ML μπορούν στη συνέχεια να επικαλεσθούν από την εφαρμογή edge. Το ML@Edge είναι σημαντικό για πολλά σενάρια όπου τα ακατέργαστα δεδομένα συλλέγονται από πηγές μακριά από το cloud. Αυτά τα σενάρια μπορεί επίσης να έχουν συγκεκριμένες απαιτήσεις ή περιορισμούς:

• Χαμηλή καθυστέρηση, προβλέψεις σε πραγματικό χρόνο
• Κακή ή ανύπαρκτη συνδεσιμότητα με το cloud
• Νομικοί περιορισμοί που δεν επιτρέπουν την αποστολή δεδομένων σε εξωτερικές υπηρεσίες
• Μεγάλα σύνολα δεδομένων που πρέπει να υποβληθούν σε προεπεξεργασία τοπικά πριν από την αποστολή απαντήσεων στο cloud

Ακολουθούν μερικές από τις πολλές περιπτώσεις χρήσης που μπορούν να επωφεληθούν από τα μοντέλα ML που τρέχουν κοντά στον εξοπλισμό που δημιουργεί τα δεδομένα που χρησιμοποιούνται για τις προβλέψεις:

• Προστασία και ασφάλεια – Μια απαγορευμένη περιοχή όπου λειτουργούν βαριά μηχανήματα σε μια αυτοματοποιημένη θύρα παρακολουθείται από κάμερα. Εάν κάποιος εισέλθει σε αυτόν τον χώρο κατά λάθος, ενεργοποιείται ένας μηχανισμός ασφαλείας για να σταματήσουν τα μηχανήματα και να προστατεύσουν τον άνθρωπο.
• Προγνωστική συντήρηση – Οι αισθητήρες κραδασμών και ήχου συλλέγουν δεδομένα από ένα κιβώτιο ταχυτήτων μιας ανεμογεννήτριας. Ένα μοντέλο ανίχνευσης ανωμαλιών επεξεργάζεται τα δεδομένα του αισθητήρα και προσδιορίζει εάν υπάρχουν ανωμαλίες με τον εξοπλισμό. Εάν εντοπιστεί μια ανωμαλία, η συσκευή ακμών μπορεί να ξεκινήσει μια μέτρηση έκτακτης ανάγκης σε πραγματικό χρόνο για να αποφευχθεί η καταστροφή του εξοπλισμού, όπως η ενεργοποίηση των σπασίμων ή η αποσύνδεση της γεννήτριας από το δίκτυο.
• Ανίχνευση ελαττωμάτων σε γραμμές παραγωγής – Μια κάμερα καταγράφει εικόνες προϊόντων σε μεταφορική ταινία και επεξεργάζεται τα πλαίσια με ένα μοντέλο ταξινόμησης εικόνων. Εάν εντοπιστεί κάποιο ελάττωμα, το προϊόν μπορεί να απορριφθεί αυτόματα χωρίς χειροκίνητη παρέμβαση.

Αν και το ML@Edge μπορεί να αντιμετωπίσει πολλές περιπτώσεις χρήσης, υπάρχουν πολύπλοκες αρχιτεκτονικές προκλήσεις που πρέπει να επιλυθούν προκειμένου να έχουμε έναν ασφαλή, στιβαρό και αξιόπιστο σχεδιασμό. Σε αυτήν την ανάρτηση, μαθαίνετε μερικές λεπτομέρειες σχετικά με το ML@Edge, σχετικά θέματα και πώς να χρησιμοποιείτε τις υπηρεσίες AWS για να ξεπεράσετε αυτές τις προκλήσεις και να εφαρμόσετε μια ολοκληρωμένη λύση για το ML σας στο φόρτο εργασίας edge.

Επισκόπηση ML@Edge

Υπάρχει μια κοινή σύγχυση όσον αφορά το ML@Edge και το Internet of Things (IoT), επομένως είναι σημαντικό να διευκρινιστεί πώς το ML@Edge διαφέρει από το IoT και πώς θα μπορούσαν και τα δύο να συνδυαστούν για να παρέχουν μια ισχυρή λύση σε ορισμένες περιπτώσεις.

Μια λύση αιχμής που χρησιμοποιεί το ML@Edge έχει δύο βασικά στοιχεία: μια εφαρμογή άκρων και ένα μοντέλο ML (που επικαλείται η εφαρμογή) που εκτελείται στη συσκευή άκρων. Το ML@Edge αφορά τον έλεγχο του κύκλου ζωής ενός ή περισσότερων μοντέλων ML που αναπτύσσονται σε έναν στόλο συσκευών αιχμής. Ο κύκλος ζωής του μοντέλου ML μπορεί να ξεκινήσει από την πλευρά του cloud (ενεργό Amazon Sage Maker, για παράδειγμα), αλλά συνήθως τελειώνει με μια αυτόνομη ανάπτυξη του μοντέλου στη συσκευή άκρων. Κάθε σενάριο απαιτεί διαφορετικούς κύκλους ζωής μοντέλων ML που μπορούν να συγκροτηθούν από πολλά στάδια, όπως η συλλογή δεδομένων. προετοιμασία δεδομένων· κατασκευή, μεταγλώττιση και ανάπτυξη μοντέλου στη συσκευή ακμών. φόρτωση και λειτουργία μοντέλου. και επανάληψη του κύκλου ζωής.

Ο μηχανισμός ML@Edge δεν είναι υπεύθυνος για τον κύκλο ζωής της εφαρμογής. Για το σκοπό αυτό θα πρέπει να υιοθετηθεί διαφορετική προσέγγιση. Η αποσύνδεση του κύκλου ζωής του μοντέλου ML και του κύκλου ζωής της εφαρμογής σάς δίνει την ελευθερία και την ευελιξία να συνεχίσετε να τα εξελίσσετε με διαφορετικούς ρυθμούς. Φανταστείτε μια εφαρμογή για κινητά που ενσωματώνει ένα μοντέλο ML ως πόρο, όπως μια εικόνα ή ένα αρχείο XML. Σε αυτήν την περίπτωση, κάθε φορά που εκπαιδεύετε ένα νέο μοντέλο και θέλετε να το αναπτύξετε στα κινητά τηλέφωνα, θα πρέπει να ανανεώνετε ολόκληρη την εφαρμογή. Αυτό καταναλώνει χρόνο και χρήμα και μπορεί να εισάγει σφάλματα στην εφαρμογή σας. Αποσυνδέοντας τον κύκλο ζωής του μοντέλου ML, δημοσιεύετε την εφαρμογή για κινητά μία φορά και αναπτύσσετε όσες εκδόσεις του μοντέλου ML χρειάζεστε.

Αλλά πώς συσχετίζεται το IoT με το ML@Edge; Το IoT σχετίζεται με φυσικά αντικείμενα ενσωματωμένα σε τεχνολογίες όπως αισθητήρες, ικανότητα επεξεργασίας και λογισμικό. Αυτά τα αντικείμενα συνδέονται με άλλες συσκευές και συστήματα μέσω του διαδικτύου ή άλλων δικτύων επικοινωνίας, προκειμένου να ανταλλάσσουν δεδομένα. Το παρακάτω σχήμα απεικονίζει αυτήν την αρχιτεκτονική. Η ιδέα δημιουργήθηκε αρχικά όταν σκεφτόμαστε απλές συσκευές που απλώς συλλέγουν δεδομένα από την άκρη, εκτελούν απλή τοπική επεξεργασία και στέλνουν το αποτέλεσμα σε μια πιο ισχυρή μονάδα υπολογιστών που εκτελεί διαδικασίες ανάλυσης που βοηθούν άτομα και εταιρείες στη λήψη αποφάσεων. Η λύση IoT είναι υπεύθυνη για τον έλεγχο του κύκλου ζωής της εφαρμογής edge. Για περισσότερες πληροφορίες σχετικά με το IoT, ανατρέξτε στο Διαδίκτυο των Πραγμάτων.

Εάν έχετε ήδη μια εφαρμογή IoT, μπορείτε να προσθέσετε δυνατότητες ML@Edge για να κάνετε το προϊόν πιο αποτελεσματικό, όπως φαίνεται στην παρακάτω εικόνα. Λάβετε υπόψη ότι το ML@Edge δεν εξαρτάται από το IoT, αλλά μπορείτε να τα συνδυάσετε για να δημιουργήσετε μια πιο ισχυρή λύση. Όταν το κάνετε αυτό, βελτιώνετε τις δυνατότητες της απλής συσκευής σας να δημιουργεί πληροφορίες σε πραγματικό χρόνο για την επιχείρησή σας πιο γρήγορα από την απλή αποστολή δεδομένων στο cloud για μεταγενέστερη επεξεργασία.

Εάν δημιουργείτε μια νέα λύση edge από την αρχή με δυνατότητες ML@Edge, είναι σημαντικό να σχεδιάσετε μια ευέλικτη αρχιτεκτονική που να υποστηρίζει τον κύκλο ζωής τόσο της εφαρμογής όσο και του μοντέλου ML. Παρέχουμε μερικές αρχιτεκτονικές αναφοράς για εφαρμογές άκρων με ML@Edge αργότερα σε αυτήν την ανάρτηση. Αλλά πρώτα, ας βουτήξουμε βαθύτερα στον υπολογισμό άκρων και ας μάθουμε πώς να επιλέγουμε τη σωστή συσκευή άκρων για τη λύση σας, με βάση τους περιορισμούς του περιβάλλοντος.

Υπολογιστική άκρη

Ανάλογα με το πόσο μακριά βρίσκεται η συσκευή από το cloud ή από ένα μεγάλο κέντρο δεδομένων (βάση), τρία κύρια χαρακτηριστικά των συσκευών ακμής πρέπει να ληφθούν υπόψη για τη μεγιστοποίηση της απόδοσης και της μακροζωίας του συστήματος: υπολογιστική και χωρητικότητα αποθήκευσης, συνδεσιμότητα και κατανάλωση ενέργειας. Το παρακάτω διάγραμμα δείχνει τρεις ομάδες συσκευών ακμών που συνδυάζουν διαφορετικές προδιαγραφές αυτών των χαρακτηριστικών, ανάλογα με το πόσο μακριά βρίσκονται από τη βάση.

Οι ομάδες είναι οι εξής:

• MEC (Υπολογισμός άκρων πολλαπλής πρόσβασης) – Τα MEC ή τα μικρά κέντρα δεδομένων, που χαρακτηρίζονται από χαμηλό ή εξαιρετικά χαμηλό λανθάνοντα χρόνο και υψηλό εύρος ζώνης, είναι κοινά περιβάλλοντα όπου το ML@Edge μπορεί να αποφέρει οφέλη χωρίς μεγάλους περιορισμούς σε σύγκριση με φόρτους εργασίας στο cloud. Οι κεραίες και οι διακομιστές 5G σε εργοστάσια, αποθήκες, εργαστήρια κ.λπ. με ελάχιστους ενεργειακούς περιορισμούς και με καλή συνδεσιμότητα στο Διαδίκτυο προσφέρουν διαφορετικούς τρόπους εκτέλεσης μοντέλων ML σε GPU και CPU, εικονικές μηχανές, κοντέινερ και διακομιστές γυμνού μετάλλου.
• Κοντά στην άκρη – Αυτό συμβαίνει όταν η κινητικότητα ή η συγκέντρωση δεδομένων είναι απαιτήσεις και οι συσκευές έχουν κάποιους περιορισμούς σχετικά με την κατανάλωση ενέργειας και την επεξεργαστική ισχύ, αλλά εξακολουθούν να έχουν κάποια αξιόπιστη συνδεσιμότητα, αν και με υψηλότερο λανθάνοντα χρόνο, με περιορισμένη απόδοση και πιο ακριβή από το "κοντά στην άκρη". Εφαρμογές για φορητές συσκευές, ειδικές πλακέτες για την επιτάχυνση μοντέλων ML ή απλές συσκευές με δυνατότητα εκτέλεσης μοντέλων ML, που καλύπτονται από ασύρματα δίκτυα, περιλαμβάνονται σε αυτήν την ομάδα.
• Μακρινή άκρη – Σε αυτό το ακραίο σενάριο, οι συσκευές αιχμής έχουν σοβαρούς περιορισμούς κατανάλωσης ενέργειας ή συνδεσιμότητας. Κατά συνέπεια, η ισχύς επεξεργασίας είναι επίσης περιορισμένη σε πολλά σενάρια αιχμής. Η γεωργία, η εξόρυξη, η επιτήρηση και η ασφάλεια, και οι θαλάσσιες μεταφορές είναι ορισμένοι τομείς όπου οι συσκευές αιχμής παίζουν σημαντικό ρόλο. Οι απλές πλακέτες, συνήθως χωρίς GPU ή άλλους επιταχυντές τεχνητής νοημοσύνης, είναι κοινές. Έχουν σχεδιαστεί για να φορτώνουν και να εκτελούν απλά μοντέλα ML, να αποθηκεύουν τις προβλέψεις σε μια τοπική βάση δεδομένων και να αδρανούν μέχρι τον επόμενο κύκλο πρόβλεψης. Οι συσκευές που πρέπει να επεξεργάζονται δεδομένα σε πραγματικό χρόνο μπορούν να έχουν μεγάλες τοπικές αποθήκες για να αποφευχθεί η απώλεια δεδομένων.

Προκλήσεις

Είναι σύνηθες να υπάρχουν σενάρια ML@Edge όπου έχετε εκατοντάδες ή χιλιάδες (ίσως και εκατομμύρια) συσκευές που εκτελούν τα ίδια μοντέλα και εφαρμογές άκρων. Όταν κλιμακώνετε το σύστημά σας, είναι σημαντικό να έχετε μια ισχυρή λύση που μπορεί να διαχειριστεί τον αριθμό των συσκευών που πρέπει να υποστηρίξετε. Αυτό είναι ένα πολύπλοκο έργο και για αυτά τα σενάρια, πρέπει να κάνετε πολλές ερωτήσεις:

• Πώς μπορώ να λειτουργήσω μοντέλα ML σε έναν στόλο συσκευών στο edge;
• Πώς μπορώ να δημιουργήσω, να βελτιστοποιήσω και να αναπτύξω μοντέλα ML σε συσκευές πολλαπλών άκρων;
• Πώς μπορώ να ασφαλίσω το μοντέλο μου κατά την ανάπτυξη και τη λειτουργία του στην άκρη;
• Πώς παρακολουθώ την απόδοση του μοντέλου μου και το επανεκπαιδεύω, εάν χρειάζεται;
• Πώς μπορώ να εξαλείψω την ανάγκη εγκατάστασης ενός μεγάλου πλαισίου όπως το TensorFlow ή το PyTorch στην περιορισμένη συσκευή μου;
• Πώς μπορώ να εκθέσω ένα ή πολλά μοντέλα με την εφαρμογή edge μου ως απλό API;
• Πώς μπορώ να δημιουργήσω ένα νέο σύνολο δεδομένων με τα ωφέλιμα φορτία και τις προβλέψεις που καταγράφονται από τις συσκευές edge;
• Πώς μπορώ να κάνω όλες αυτές τις εργασίες αυτόματα (MLOps συν ML@Edge);

Στην επόμενη ενότητα, δίνουμε απαντήσεις σε όλες αυτές τις ερωτήσεις μέσω παραδειγμάτων περιπτώσεων χρήσης και αρχιτεκτονικών αναφοράς. Συζητάμε επίσης ποιες υπηρεσίες AWS μπορείτε να συνδυάσετε για να δημιουργήσετε ολοκληρωμένες λύσεις για καθένα από τα εξερευνημένα σενάρια. Ωστόσο, εάν θέλετε να ξεκινήσετε με μια πολύ απλή ροή που περιγράφει πώς να χρησιμοποιήσετε ορισμένες από τις υπηρεσίες που παρέχονται από το AWS για να δημιουργήσετε τη λύση ML@Edge, αυτό είναι ένα παράδειγμα:

Με το SageMaker, μπορείτε εύκολα να προετοιμάσετε ένα σύνολο δεδομένων και να δημιουργήσετε τα μοντέλα ML που αναπτύσσονται στις συσκευές edge. Με Amazon SageMaker Neo, μπορείτε να μεταγλωττίσετε και να βελτιστοποιήσετε το μοντέλο που εκπαιδεύσατε στη συγκεκριμένη συσκευή edge που επιλέξατε. Μετά τη μεταγλώττιση του μοντέλου, χρειάζεστε μόνο έναν ελαφρύ χρόνο εκτέλεσης για να το εκτελέσετε (παρέχεται από την υπηρεσία). Amazon SageMaker Edge Manager είναι υπεύθυνος για τη διαχείριση του κύκλου ζωής όλων των μοντέλων ML που αναπτύσσονται στον στόλο των συσκευών αιχμής σας. Το Edge Manager μπορεί να διαχειριστεί στόλους έως και εκατομμυρίων συσκευών. Ένας πράκτορας, εγκατεστημένος σε κάθε μία από τις συσκευές άκρων, εκθέτει τα αναπτυγμένα μοντέλα ML ως API στην εφαρμογή. Ο πράκτορας είναι επίσης υπεύθυνος για τη συλλογή μετρήσεων, ωφέλιμων φορτίων και προβλέψεων που μπορείτε να χρησιμοποιήσετε για την παρακολούθηση ή τη δημιουργία ενός νέου συνόλου δεδομένων για την επανεκπαίδευση του μοντέλου, εάν χρειάζεται. Τέλος, με Αγωγοί Amazon SageMaker, μπορείτε να δημιουργήσετε μια αυτοματοποιημένη διοχέτευση με όλα τα βήματα που απαιτούνται για τη δημιουργία, τη βελτιστοποίηση και την ανάπτυξη μοντέλων ML στον στόλο των συσκευών σας. Αυτός ο αυτοματοποιημένος αγωγός μπορεί στη συνέχεια να ενεργοποιηθεί από απλά συμβάντα που ορίζετε, χωρίς ανθρώπινη παρέμβαση.

Χρήση θήκης 1

Ας υποθέσουμε ότι ένας κατασκευαστής αεροπλάνων θέλει να ανιχνεύσει και να παρακολουθήσει εξαρτήματα και εργαλεία στο υπόστεγο παραγωγής. Για να βελτιωθεί η παραγωγικότητα, όλα τα απαιτούμενα εξαρτήματα και τα σωστά εργαλεία πρέπει να είναι διαθέσιμα για τους μηχανικούς σε κάθε στάδιο της παραγωγής. Θέλουμε να μπορούμε να απαντάμε σε ερωτήσεις όπως: Πού είναι το μέρος Α; ή Πού είναι το εργαλείο Β; Έχουμε πολλές κάμερες IP ήδη εγκατεστημένες και συνδεδεμένες σε τοπικό δίκτυο. Οι κάμερες καλύπτουν ολόκληρο το υπόστεγο και μπορούν να μεταδίδουν βίντεο HD σε πραγματικό χρόνο μέσω του δικτύου.

Πανόραμα AWS ταιριάζει πολύ σε αυτή την περίπτωση. Το AWS Panorama παρέχει μια συσκευή ML και διαχειριζόμενη υπηρεσία που σας δίνει τη δυνατότητα να προσθέσετε όραση υπολογιστή (CV) στον υπάρχοντα στόλο καμερών IP σας και να αυτοματοποιήσετε. Το AWS Panorama σάς δίνει τη δυνατότητα να προσθέσετε βιογραφικό στις υπάρχουσες κάμερες πρωτοκόλλου Διαδικτύου (IP) και να αυτοματοποιήσετε εργασίες που παραδοσιακά απαιτούν ανθρώπινη επιθεώρηση και παρακολούθηση.

Στην ακόλουθη αρχιτεκτονική αναφοράς, δείχνουμε τα κύρια στοιχεία της εφαρμογής που εκτελούνται σε μια συσκευή Panorama AWS. Το Panorama Application SDK διευκολύνει τη λήψη βίντεο από ροές κάμερας, την εκτέλεση συμπερασμάτων με μια διοχέτευση πολλαπλών μοντέλων ML και την επεξεργασία των αποτελεσμάτων χρησιμοποιώντας κώδικα Python που εκτελείται μέσα σε ένα κοντέινερ. Μπορείτε να εκτελέσετε μοντέλα από οποιαδήποτε δημοφιλή βιβλιοθήκη ML, όπως το TensorFlow, το PyTorch ή το TensorRT. Τα αποτελέσματα από το μοντέλο μπορούν να ενσωματωθούν με επιχειρηματικά συστήματα στο τοπικό σας δίκτυο, επιτρέποντάς σας να απαντάτε σε γεγονότα σε πραγματικό χρόνο.

Η λύση αποτελείται από τα ακόλουθα βήματα:

1. Συνδέστε και διαμορφώστε μια συσκευή AWS Panorama στο ίδιο τοπικό δίκτυο.
2. Εκπαιδεύστε ένα μοντέλο ML (ανίχνευση αντικειμένων) για την αναγνώριση εξαρτημάτων και εργαλείων σε κάθε πλαίσιο.
3. Δημιουργήστε μια εφαρμογή πανοράματος AWS που λαμβάνει τις προβλέψεις από το μοντέλο ML, εφαρμόζει έναν μηχανισμό παρακολούθησης σε κάθε αντικείμενο και στέλνει τα αποτελέσματα σε μια βάση δεδομένων σε πραγματικό χρόνο.
4. Οι χειριστές μπορούν να στείλουν ερωτήματα στη βάση δεδομένων για να εντοπίσουν τα εξαρτήματα και τα εργαλεία.

Χρήση θήκης 2

Για την επόμενη περίπτωση χρήσης, φανταστείτε ότι δημιουργούμε μια κάμερα ταμπλό για οχήματα ικανή να υποστηρίζει τον οδηγό σε πολλές περιπτώσεις, όπως η αποφυγή πεζών, με βάση Πλακέτα CV25 από την Ambaralla. Η φιλοξενία μοντέλων ML σε μια συσκευή με περιορισμένους πόρους συστήματος μπορεί να είναι δύσκολη. Σε αυτήν την περίπτωση, ας υποθέσουμε ότι διαθέτουμε ήδη έναν καλά εδραιωμένο μηχανισμό παράδοσης over-the-air (OTA) για την ανάπτυξη των στοιχείων της εφαρμογής που απαιτούνται στη συσκευή άκρης. Ωστόσο, θα εξακολουθούσαμε να επωφελούμαστε από τη δυνατότητα ανάπτυξης OTA του ίδιου του μοντέλου, απομονώνοντας έτσι τον κύκλο ζωής της εφαρμογής και τον κύκλο ζωής του μοντέλου.

Amazon SageMaker Edge Manager και Amazon SageMaker Neo ταιριάζει καλά για αυτήν την περίπτωση χρήσης.

Το Edge Manager διευκολύνει τους προγραμματιστές ML edge να χρησιμοποιούν τα ίδια γνωστά εργαλεία στο cloud ή σε συσκευές edge. Μειώνει τον χρόνο και την προσπάθεια που απαιτείται για την παραγωγή μοντέλων, ενώ σας επιτρέπει να παρακολουθείτε και να βελτιώνετε συνεχώς την ποιότητα των μοντέλων σε όλο το στόλο των συσκευών σας. Το SageMaker Edge περιλαμβάνει έναν μηχανισμό ανάπτυξης OTA που σας βοηθά να αναπτύξετε μοντέλα στον στόλο ανεξάρτητα από το υλικολογισμικό της εφαρμογής ή της συσκευής. ο Αντιπρόσωπος Edge Manager σας επιτρέπει να εκτελείτε πολλά μοντέλα στην ίδια συσκευή. Ο πράκτορας συλλέγει δεδομένα πρόβλεψης με βάση τη λογική που ελέγχετε, όπως διαστήματα, και τα ανεβάζει στο cloud, ώστε να μπορείτε περιοδικά να επανεκπαιδεύετε τα μοντέλα σας με την πάροδο του χρόνου. Το SageMaker Edge υπογράφει κρυπτογραφικά τα μοντέλα σας, ώστε να μπορείτε να επαληθεύσετε ότι δεν έχει παραβιαστεί καθώς μετακινείται από τη συσκευή cloud στην άκρη.

Το Neo είναι ένας μεταγλωττιστής ως υπηρεσία και ταιριάζει ιδιαίτερα σε αυτήν την περίπτωση χρήσης. Το Neo βελτιστοποιεί αυτόματα τα μοντέλα ML για συμπεράσματα σε περιπτώσεις σύννεφο και συσκευές άκρων για να τρέχουν πιο γρήγορα χωρίς απώλεια ακρίβειας. Ξεκινάτε με ένα μοντέλο ML κατασκευασμένο με ένα από τα υποστηριζόμενα πλαίσια και εκπαιδεύτηκε στο SageMaker ή οπουδήποτε αλλού. Στη συνέχεια επιλέγετε την πλατφόρμα υλικού-στόχου σας, (ανατρέξτε στη λίστα των υποστηριζόμενες συσκευές). Με ένα μόνο κλικ, το Neo βελτιστοποιεί το εκπαιδευμένο μοντέλο και το μεταγλωττίζει σε ένα πακέτο που μπορεί να εκτελεστεί χρησιμοποιώντας τον ελαφρύ χρόνο εκτέλεσης του SageMaker Edge. Ο μεταγλωττιστής χρησιμοποιεί ένα μοντέλο ML για να εφαρμόσει τις βελτιστοποιήσεις απόδοσης που εξάγουν την καλύτερη διαθέσιμη απόδοση για το μοντέλο σας στην παρουσία του cloud ή στη συσκευή άκρων. Στη συνέχεια, αναπτύσσετε το μοντέλο ως τελικό σημείο του SageMaker ή σε υποστηριζόμενες συσκευές άκρης και αρχίζετε να κάνετε προβλέψεις.

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Η ροή εργασιών λύσης αποτελείται από τα ακόλουθα βήματα:

1. Ο προγραμματιστής κατασκευάζει, εκπαιδεύει, επικυρώνει και δημιουργεί το τελικό τεχνούργημα του μοντέλου που πρέπει να αναπτυχθεί στην κάμερα ταχυτήτων.
2. Επικαλέστε το Neo για να μεταγλωττίσετε το εκπαιδευμένο μοντέλο.
3. Ο παράγοντας SageMaker Edge είναι εγκατεστημένος και διαμορφωμένος στη συσκευή Edge, σε αυτήν την περίπτωση την κάμερα ελέγχου.
4. Δημιουργήστε ένα πακέτο ανάπτυξης με ένα υπογεγραμμένο μοντέλο και το χρόνο εκτέλεσης που χρησιμοποιείται από τον πράκτορα SageMaker Edge για τη φόρτωση και την κλήση του βελτιστοποιημένου μοντέλου.
5. Αναπτύξτε το πακέτο χρησιμοποιώντας τον υπάρχοντα μηχανισμό ανάπτυξης OTA.
6. Η εφαρμογή edge αλληλεπιδρά με τον πράκτορα SageMaker Edge για να κάνει συμπεράσματα.
7. Ο πράκτορας μπορεί να διαμορφωθεί (εάν απαιτείται) ώστε να στέλνει δείγματα δεδομένων εισόδου σε πραγματικό χρόνο από την εφαρμογή για σκοπούς παρακολούθησης και βελτίωσης του μοντέλου.

Χρήση θήκης 3

Ας υποθέσουμε ότι ο πελάτης σας αναπτύσσει μια εφαρμογή που ανιχνεύει ανωμαλίες στους μηχανισμούς μιας ανεμογεννήτριας (όπως το κιβώτιο ταχυτήτων, τη γεννήτρια ή τον ρότορα). Ο στόχος είναι να ελαχιστοποιηθεί η ζημιά στον εξοπλισμό εκτελώντας τοπικές διαδικασίες προστασίας εν κινήσει. Αυτοί οι στρόβιλοι είναι πολύ ακριβοί και βρίσκονται σε μέρη που δεν είναι εύκολα προσβάσιμα. Κάθε τουρμπίνα μπορεί να εξοπλιστεί με μια συσκευή NVIDIA Jetson για την παρακολούθηση των δεδομένων αισθητήρων από τον στρόβιλο. Στη συνέχεια χρειαζόμαστε μια λύση για να συλλάβουμε τα δεδομένα και να χρησιμοποιήσουμε έναν αλγόριθμο ML για τον εντοπισμό ανωμαλιών. Χρειαζόμαστε επίσης έναν μηχανισμό OTA για να διατηρείτε ενημερωμένα το λογισμικό και τα μοντέλα ML στη συσκευή.

AWS IoT Greengrass V2 μαζί με το Edge Manager ταιριάζουν καλά σε αυτήν την περίπτωση χρήσης. Το AWS IoT Greengrass είναι μια υπηρεσία χρόνου εκτέλεσης IoT edge και cloud ανοιχτού κώδικα που σας βοηθά να δημιουργήσετε, να αναπτύξετε και να διαχειριστείτε εφαρμογές IoT στις συσκευές σας. Μπορείτε να χρησιμοποιήσετε το AWS IoT Greengrass για να δημιουργήσετε εφαρμογές αιχμής χρησιμοποιώντας προκατασκευασμένες ενότητες λογισμικού, που ονομάζονται εξαρτήματα, που μπορεί να συνδέσει τις edge συσκευές σας με υπηρεσίες AWS ή υπηρεσίες τρίτων. Αυτή η ικανότητα του AWS IoT Greengrass καθιστά εύκολη την ανάπτυξη στοιχείων σε συσκευές, συμπεριλαμβανομένου ενός πράκτορα SageMaker Edge. Το AWS IoT Greengrass είναι υπεύθυνο για τη διαχείριση του κύκλου ζωής της εφαρμογής, ενώ το Edge Manager αποσυνδέει τον κύκλο ζωής του μοντέλου ML. Αυτό σας δίνει την ευελιξία να συνεχίσετε να εξελίσσετε ολόκληρη τη λύση αναπτύσσοντας ανεξάρτητα νέες εκδόσεις της εφαρμογής edge και μοντέλων ML. Το παρακάτω διάγραμμα απεικονίζει αυτήν την αρχιτεκτονική.

Η λύση αποτελείται από τα ακόλουθα βήματα:

1. Ο προγραμματιστής κατασκευάζει, εκπαιδεύει, επικυρώνει και δημιουργεί το τελικό μοντέλο τεχνούργημα που πρέπει να αναπτυχθεί στην ανεμογεννήτρια.
2. Επικαλέστε το Neo για να μεταγλωττίσετε το εκπαιδευμένο μοντέλο.
3. Δημιουργήστε ένα στοιχείο μοντέλου χρησιμοποιώντας το Edge Manager με ενσωμάτωση AWS IoT Greengrass V2.
4. Ρυθμίστε το AWS IoT Greengrass V2.
5. Δημιουργήστε ένα στοιχείο συμπερασμάτων χρησιμοποιώντας το AWS IoT Greengrass V2.
6. Η εφαρμογή edge αλληλεπιδρά με τον πράκτορα SageMaker Edge για να κάνει συμπεράσματα.
7. Ο πράκτορας μπορεί να διαμορφωθεί (εάν απαιτείται) ώστε να στέλνει δείγματα δεδομένων εισόδου σε πραγματικό χρόνο από την εφαρμογή για σκοπούς παρακολούθησης και βελτίωσης του μοντέλου.

Χρήση θήκης 4

Για την περίπτωση τελικής χρήσης, ας δούμε ένα σκάφος που μεταφέρει εμπορευματοκιβώτια, όπου κάθε κοντέινερ έχει μερικούς αισθητήρες και μεταδίδει ένα σήμα στην υποδομή υπολογιστών και αποθήκευσης που αναπτύσσεται τοπικά. Η πρόκληση είναι ότι θέλουμε να γνωρίζουμε το περιεχόμενο κάθε δοχείου και την κατάσταση των εμπορευμάτων με βάση τη θερμοκρασία, την υγρασία και τα αέρια μέσα σε κάθε δοχείο. Θέλουμε επίσης να παρακολουθούμε όλα τα αγαθά σε κάθε ένα από τα κοντέινερ. Δεν υπάρχει σύνδεση στο Διαδίκτυο καθ' όλη τη διάρκεια του ταξιδιού και το ταξίδι μπορεί να διαρκέσει μήνες. Τα μοντέλα ML που εκτελούνται σε αυτήν την υποδομή θα πρέπει να προεπεξεργάζονται τα δεδομένα και να δημιουργούν πληροφορίες για να απαντούν σε όλες τις ερωτήσεις μας. Τα δεδομένα που δημιουργούνται πρέπει να αποθηκεύονται τοπικά για μήνες. Η εφαρμογή edge αποθηκεύει όλα τα συμπεράσματα σε μια τοπική βάση δεδομένων και στη συνέχεια συγχρονίζει τα αποτελέσματα με το cloud όταν το πλοίο πλησιάζει το λιμάνι.

AWS Snowcone και AWS Snowball από το AWS Snow Family θα μπορούσε να ταιριάζει πολύ σε αυτή την περίπτωση χρήσης.

Το AWS Snowcone είναι μια μικρή, ανθεκτική και ασφαλής συσκευή υπολογιστών αιχμής και μετεγκατάστασης δεδομένων. Το Snowcone έχει σχεδιαστεί σύμφωνα με το πρότυπο OSHA για μια ανυψούμενη συσκευή για ένα άτομο. Το Snowcone σάς δίνει τη δυνατότητα να εκτελείτε φόρτους εργασίας αιχμής χρησιμοποιώντας Amazon Elastic Compute Cloud Υπολογισμός (Amazon EC2) και τοπική αποθήκευση σε σκληρά, αποσυνδεδεμένα περιβάλλοντα πεδίου, όπως εξέδρες άντλησης πετρελαίου, οχήματα έρευνας και διάσωσης, στρατιωτικές εγκαταστάσεις ή δάπεδα εργοστασίων, καθώς και απομακρυσμένα γραφεία, νοσοκομεία και κινηματογραφικές αίθουσες.

Το Snowball προσθέτει περισσότερους υπολογιστές σε σύγκριση με το Snowcone και επομένως μπορεί να ταιριάζει πολύ σε πιο απαιτητικές εφαρμογές. Η δυνατότητα Compute Optimized παρέχει μια προαιρετική GPU NVIDIA Tesla V100 μαζί με στιγμιότυπα EC2 για την επιτάχυνση της απόδοσης μιας εφαρμογής σε αποσυνδεδεμένα περιβάλλοντα. Με την επιλογή GPU, μπορείτε να εκτελέσετε εφαρμογές όπως προηγμένη ML και ανάλυση βίντεο πλήρους κίνησης σε περιβάλλοντα με μικρή ή καθόλου συνδεσιμότητα.

Πέρα από το παράδειγμα EC2, έχετε την ελευθερία να δημιουργήσετε και να αναπτύξετε οποιοδήποτε τύπο λύσης άκρων. Για παράδειγμα: μπορείτε να χρησιμοποιήσετε ECS Amazon ή άλλο διαχειριστή κοντέινερ για την ανάπτυξη της εφαρμογής edge, του Edge Manager Agent και του μοντέλου ML ως μεμονωμένα κοντέινερ. Αυτή η αρχιτεκτονική θα ήταν παρόμοια με την Περίπτωση Χρήσης 2 (εκτός από το ότι θα λειτουργεί εκτός σύνδεσης τις περισσότερες φορές), με την προσθήκη ενός εργαλείου διαχείρισης κοντέινερ.

Το παρακάτω διάγραμμα απεικονίζει αυτήν την αρχιτεκτονική λύσης.

Για να εφαρμόσετε αυτήν τη λύση, απλώς παραγγείλετε τη συσκευή Snow από το Κονσόλα διαχείρισης AWS και εκκινήστε τους πόρους σας.

Συμπέρασμα

Σε αυτήν την ανάρτηση, συζητήσαμε τις διάφορες πτυχές του edge με τις οποίες μπορείτε να επιλέξετε να εργαστείτε με βάση την περίπτωση χρήσης σας. Συζητήσαμε επίσης μερικές από τις βασικές έννοιες γύρω από το ML@Edge και πώς η αποσύνδεση του κύκλου ζωής της εφαρμογής και του κύκλου ζωής του μοντέλου ML σάς δίνει την ελευθερία να τα εξελίξετε χωρίς καμία εξάρτηση το ένα από το άλλο. Τονίσαμε πώς η επιλογή της σωστής συσκευής αιχμής για τον φόρτο εργασίας σας και η υποβολή των σωστών ερωτήσεων κατά τη διαδικασία λύσης μπορεί να σας βοηθήσει να εργαστείτε προς τα πίσω και να περιορίσετε τις σωστές υπηρεσίες AWS. Παρουσιάσαμε επίσης διαφορετικές περιπτώσεις χρήσης μαζί με αρχιτεκτονικές αναφοράς για να σας εμπνεύσουμε να δημιουργήσετε τις δικές σας λύσεις που θα λειτουργούν για τον φόρτο εργασίας σας.

---

Σχετικά με τους Συγγραφείς

Ντινές Κουμάρ Σουμπραμάνι είναι Senior Solutions Architect με την ομάδα UKIR SMB, με έδρα το Εδιμβούργο της Σκωτίας. Ειδικεύεται στην τεχνητή νοημοσύνη και τη μηχανική μάθηση. Ο Dinesh απολαμβάνει να συνεργάζεται με πελάτες σε διάφορες βιομηχανίες για να τους βοηθήσει να λύσουν τα προβλήματά τους με τις υπηρεσίες AWS. Εκτός δουλειάς, του αρέσει να περνά χρόνο με την οικογένειά του, να παίζει σκάκι και να απολαμβάνει τη μουσική σε διάφορα είδη.

Σαμίρ Αρούτζο είναι αρχιτέκτονας λύσεων AI / ML στο AWS. Βοηθά τους πελάτες να δημιουργούν λύσεις AI / ML που επιλύουν τις επιχειρηματικές τους προκλήσεις χρησιμοποιώντας AWS. Έχει εργαστεί σε διάφορα προγράμματα AI / ML που σχετίζονται με την όραση του υπολογιστή, την επεξεργασία φυσικής γλώσσας, τις προβλέψεις, το ML στην άκρη και πολλά άλλα. Του αρέσει να παίζει με έργα υλικού και αυτοματισμού στον ελεύθερο χρόνο του και έχει ιδιαίτερο ενδιαφέρον για τη ρομποτική.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/demystifying-machine-learning-at-the-edge-through-real-use-cases/