Amazon Sage Maker είναι μια πλήρως διαχειριζόμενη πλατφόρμα μηχανικής μάθησης (ML) που προσφέρει ένα ολοκληρωμένο σύνολο υπηρεσιών που εξυπηρετούν φόρτους εργασίας ML από άκρο σε άκρο. Οπως και συνιστάται από το AWS ως βέλτιστη πρακτική, οι πελάτες έχουν χρησιμοποιήσει ξεχωριστούς λογαριασμούς για να απλοποιήσουν τη διαχείριση πολιτικής για τους χρήστες και να απομονώσουν τους πόρους ανά φόρτο εργασίας και λογαριασμό. Ωστόσο, όταν περισσότεροι χρήστες και ομάδες χρησιμοποιούν την πλατφόρμα ML στο cloud, η παρακολούθηση του μεγάλου φόρτου εργασίας ML σε ένα περιβάλλον πολλαπλών λογαριασμών κλιμάκωσης γίνεται πιο δύσκολη. Για καλύτερη παρατηρησιμότητα, οι πελάτες αναζητούν λύσεις για την παρακολούθηση της χρήσης πόρων μεταξύ λογαριασμών και την παρακολούθηση δραστηριοτήτων, όπως η έναρξη εργασιών και η κατάσταση λειτουργίας, κάτι που είναι απαραίτητο για τις απαιτήσεις διακυβέρνησης και διαχείρισης ML.
Οι υπηρεσίες SageMaker, όπως η Επεξεργασία, η Εκπαίδευση και η Φιλοξενία, συλλέγουν μετρήσεις και αρχεία καταγραφής από τα τρέχοντα στιγμιότυπα και τα ωθούν στους χρήστες amazoncloudwatch λογαριασμούς. Για να δείτε τις λεπτομέρειες αυτών των εργασιών σε διαφορετικούς λογαριασμούς, πρέπει να συνδεθείτε σε κάθε λογαριασμό, να βρείτε τις αντίστοιχες εργασίες και να εξετάσετε την κατάσταση. Δεν υπάρχει κανένα τζάμι που να μπορεί εύκολα να εμφανίσει αυτές τις πληροφορίες πολλαπλών λογαριασμών και πολλαπλών εργασιών. Επιπλέον, η ομάδα διαχείρισης cloud πρέπει να παρέχει στα άτομα πρόσβαση σε διαφορετικούς λογαριασμούς φόρτου εργασίας του SageMaker, κάτι που προσθέτει επιπλέον έξοδα διαχείρισης για την ομάδα της πλατφόρμας cloud.
Σε αυτήν την ανάρτηση, παρουσιάζουμε έναν πίνακα ελέγχου παρατήρησης μεταξύ λογαριασμών που παρέχει μια κεντρική προβολή για την παρακολούθηση των δραστηριοτήτων και των πόρων των χρηστών του SageMaker σε πολλούς λογαριασμούς. Επιτρέπει στους τελικούς χρήστες και την ομάδα διαχείρισης cloud να παρακολουθούν αποτελεσματικά τους φόρτους εργασίας ML που εκτελούνται, να προβάλλουν την κατάσταση αυτών των φόρτων εργασίας και να εντοπίζουν διαφορετικές δραστηριότητες λογαριασμού σε ορισμένα χρονικά σημεία. Με αυτόν τον πίνακα εργαλείων, δεν χρειάζεται να πλοηγηθείτε από την κονσόλα SageMaker και να κάνετε κλικ σε κάθε εργασία για να βρείτε τις λεπτομέρειες των αρχείων καταγραφής εργασιών. Αντίθετα, μπορείτε εύκολα να προβάλετε τις εκτελούμενες εργασίες και την κατάσταση της εργασίας, να αντιμετωπίσετε προβλήματα εργασιών και να ρυθμίσετε ειδοποιήσεις όταν εντοπίζονται ζητήματα σε κοινόχρηστους λογαριασμούς, όπως αποτυχία εργασίας, υποχρησιμοποίηση πόρων και άλλα. Μπορείτε επίσης να ελέγξετε την πρόσβαση σε αυτόν τον κεντρικό πίνακα ελέγχου παρακολούθησης ή να μοιραστείτε τον πίνακα εργαλείων με τις αρμόδιες αρχές για απαιτήσεις ελέγχου και διαχείρισης.
Επισκόπηση της λύσης
Αυτή η λύση έχει σχεδιαστεί για να επιτρέπει την κεντρική παρακολούθηση των εργασιών και των δραστηριοτήτων του SageMaker σε ένα περιβάλλον πολλών λογαριασμών. Η λύση έχει σχεδιαστεί για να μην εξαρτάται από Οργανισμοί AWS, αλλά μπορεί να υιοθετηθεί εύκολα σε Οργανισμούς ή Πύργος ελέγχου AWS περιβάλλον. Αυτή η λύση μπορεί να βοηθήσει την ομάδα λειτουργίας να έχει μια προβολή υψηλού επιπέδου όλων των φόρτων εργασίας του SageMaker που κατανέμονται σε πολλούς λογαριασμούς φόρτου εργασίας από ένα μόνο τζάμι. Έχει επίσης μια επιλογή για ενεργοποίηση Παρατηρησιμότητα μεταξύ λογαριασμών CloudWatch σε όλους τους λογαριασμούς φόρτου εργασίας του SageMaker για παροχή πρόσβασης σε τηλεμετρίες παρακολούθησης, όπως μετρήσεις, αρχεία καταγραφής και ίχνη από τον κεντρικό λογαριασμό παρακολούθησης. Ένα παράδειγμα πίνακα εργαλείων εμφανίζεται στο παρακάτω στιγμιότυπο οθόνης.
Το παρακάτω διάγραμμα δείχνει την αρχιτεκτονική αυτής της κεντρικής λύσης πίνακα εργαλείων.
Το SageMaker έχει εγγενή ενοποίηση με το Amazon EventBridge, το οποίο παρακολουθεί τα συμβάντα αλλαγής κατάστασης στο SageMaker. Το EventBridge σάς δίνει τη δυνατότητα να αυτοματοποιήσετε το SageMaker και να απαντάτε αυτόματα σε συμβάντα, όπως αλλαγή κατάστασης εργασίας εκπαίδευσης ή αλλαγή κατάστασης τελικού σημείου. Τα συμβάντα από το SageMaker παραδίδονται στο EventBridge σε σχεδόν πραγματικό χρόνο. Για περισσότερες πληροφορίες σχετικά με τα συμβάντα SageMaker που παρακολουθούνται από το EventBridge, ανατρέξτε στο Αυτοματοποίηση του Amazon SageMaker με το Amazon EventBridge. Εκτός από τις εγγενείς εκδηλώσεις του SageMaker, AWS CloudTrail δημοσιεύει συμβάντα όταν πραγματοποιείτε κλήσεις API, το οποίο μεταδίδεται επίσης στο EventBridge, έτσι ώστε να μπορούν να χρησιμοποιηθούν από πολλές περιπτώσεις χρήσης κατάντη αυτοματισμού ή παρακολούθησης. Στη λύση μας, χρησιμοποιούμε κανόνες EventBridge στους λογαριασμούς φόρτου εργασίας για τη ροή συμβάντων υπηρεσίας SageMaker και συμβάντων API στο δίαυλο συμβάντων του λογαριασμού παρακολούθησης για κεντρική παρακολούθηση.
Στον κεντρικό λογαριασμό παρακολούθησης, τα συμβάντα καταγράφονται από έναν κανόνα EventBridge και υποβάλλονται σε περαιτέρω επεξεργασία σε διαφορετικούς στόχους:
- Μια ομάδα καταγραφής CloudWatch, για χρήση για τα εξής:
- Σκοποί ελέγχου και αρχειοθέτησης. Για περισσότερες πληροφορίες, ανατρέξτε στο Οδηγός χρήσης καταγραφής Amazon CloudWatch.
- Ανάλυση δεδομένων καταγραφής με Πληροφορίες καταγραφής CloudWatch ερωτήματα. Το CloudWatch Logs Insights σάς δίνει τη δυνατότητα να αναζητάτε και να αναλύετε διαδραστικά τα δεδομένα καταγραφής σας στα αρχεία καταγραφής CloudWatch. Μπορείτε να εκτελέσετε ερωτήματα για να σας βοηθήσουν να ανταποκριθείτε πιο αποτελεσματικά και αποτελεσματικά σε λειτουργικά ζητήματα. Εάν παρουσιαστεί κάποιο πρόβλημα, μπορείτε να χρησιμοποιήσετε το CloudWatch Logs Insights για να εντοπίσετε πιθανές αιτίες και να επικυρώσετε διορθώσεις που έχουν αναπτυχθεί.
- Υποστήριξη για το γραφικό στοιχείο ερωτημάτων CloudWatch Metrics Insights για λειτουργίες υψηλού επιπέδου στον πίνακα ελέγχου του CloudWatch, προσθήκη ερωτήματος CloudWatch Insights σε πίνακες εργαλείων και εξαγωγή αποτελεσμάτων ερωτημάτων.
- An AWS Lambda λειτουργία για την ολοκλήρωση των παρακάτω εργασιών:
- Εκτελέστε προσαρμοσμένη λογική για να αυξήσετε τα συμβάντα υπηρεσίας SageMaker. Ένα παράδειγμα είναι η εκτέλεση ενός ερωτήματος μέτρησης στις μετρήσεις χρήσης του κεντρικού υπολογιστή εργασίας του SageMaker όταν λαμβάνεται ένα συμβάν ολοκλήρωσης εργασίας.
- Μετατρέψτε τις πληροφορίες συμβάντων σε μετρήσεις σε συγκεκριμένες μορφές αρχείου καταγραφής όπως απορρόφησαν EMF κούτσουρα. Για περισσότερες πληροφορίες, ανατρέξτε στο Ενσωμάτωση μετρήσεων σε αρχεία καταγραφής.
Το παράδειγμα σε αυτήν την ανάρτηση υποστηρίζεται από τη μητρική Παρατηρησιμότητα μεταξύ λογαριασμών CloudWatch δυνατότητα επίτευξης μετρήσεων μεταξύ λογαριασμών, αρχείων καταγραφής και πρόσβασης ανίχνευσης. Όπως φαίνεται στο κάτω μέρος του διαγράμματος αρχιτεκτονικής, ενσωματώνεται με αυτήν τη δυνατότητα για να ενεργοποιήσει τις μετρήσεις και τα αρχεία καταγραφής μεταξύ λογαριασμών. Για να ενεργοποιηθεί αυτό, πρέπει να δημιουργηθούν τα απαραίτητα δικαιώματα και πόροι τόσο στους λογαριασμούς παρακολούθησης όσο και στους λογαριασμούς φόρτου εργασίας προέλευσης.
Μπορείτε να χρησιμοποιήσετε αυτήν τη λύση είτε για λογαριασμούς AWS που διαχειρίζονται Οργανισμοί είτε για μεμονωμένους λογαριασμούς. Οι ακόλουθες ενότητες εξηγούν τα βήματα για κάθε σενάριο. Σημειώστε ότι σε κάθε σενάριο, τα βήματα εκτελούνται σε διαφορετικούς λογαριασμούς AWS. Για τη διευκόλυνσή σας, ο τύπος λογαριασμού για την εκτέλεση του βήματος επισημαίνεται στην αρχή κάθε βήματος.
Προϋποθέσεις
Πριν ξεκινήσετε αυτήν τη διαδικασία, κλωνοποιήστε τον πηγαίο κώδικα μας από το GitHub repo στο τοπικό σας περιβάλλον ή AWS Cloud9. Επιπλέον, χρειάζεστε τα εξής:
Αναπτύξτε τη λύση σε περιβάλλον Οργανισμών
Εάν ο λογαριασμός παρακολούθησης και όλοι οι λογαριασμοί φόρτου εργασίας του SageMaker βρίσκονται όλοι στον ίδιο οργανισμό, η απαιτούμενη υποδομή στους λογαριασμούς φόρτου εργασίας προέλευσης δημιουργείται αυτόματα μέσω AWS CloudFormation StackSet από τον λογαριασμό διαχείρισης του οργανισμού. Επομένως, δεν απαιτείται μη αυτόματη ανάπτυξη υποδομής στους λογαριασμούς φόρτου εργασίας προέλευσης. Όταν δημιουργείται ένας νέος λογαριασμός ή ένας υπάρχων λογαριασμός μετακινείται σε μια οργανωτική μονάδα-στόχο (OU), η στοίβα υποδομής φόρτου εργασίας προέλευσης θα αναπτυχθεί αυτόματα και θα συμπεριληφθεί στο πεδίο της κεντρικής παρακολούθησης.
Ρύθμιση πόρων λογαριασμού παρακολούθησης
Πρέπει να συλλέξουμε τις ακόλουθες πληροφορίες λογαριασμού AWS για να ρυθμίσουμε τους πόρους του λογαριασμού παρακολούθησης, τους οποίους χρησιμοποιούμε ως εισόδους για το σενάριο εγκατάστασης αργότερα.
Εισαγωγή | Περιγραφή | Παράδειγμα |
Περιοχή έδρας | Η Περιφέρεια όπου εκτελούνται οι φόρτοι εργασίας. | ap-southeast-2 |
Όνομα προφίλ λογαριασμού παρακολούθησης AWS CLI | Μπορείτε να βρείτε το όνομα του προφίλ από ~/.aws/config . Αυτό είναι προαιρετικό. Εάν δεν παρέχεται, χρησιμοποιεί τα προεπιλεγμένα διαπιστευτήρια AWS από την αλυσίδα. |
. |
Διαδρομή φόρτου εργασίας SageMaker OU | Η διαδρομή OU που έχει τους λογαριασμούς φόρτου εργασίας του SageMaker. Κρατα το / στο τέλος του μονοπατιού. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
Για να ανακτήσετε τη διαδρομή OU, μπορείτε να μεταβείτε στην κονσόλα Οργανισμών και κάτω Λογαριασμοί AWS, βρείτε τις πληροφορίες για την κατασκευή της διαδρομής OU. Για το ακόλουθο παράδειγμα, η αντίστοιχη διαδρομή OU είναι o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
Αφού ανακτήσετε αυτές τις πληροφορίες, εκτελέστε την ακόλουθη εντολή για να αναπτύξετε τους απαιτούμενους πόρους στον λογαριασμό παρακολούθησης:
Μπορείτε να λάβετε τις ακόλουθες εξόδους από την ανάπτυξη. Κρατήστε μια σημείωση για τα αποτελέσματα που θα χρησιμοποιήσετε στο επόμενο βήμα κατά την ανάπτυξη της στοίβας λογαριασμού διαχείρισης.
Ρύθμιση πόρων λογαριασμού διαχείρισης
Πρέπει να συλλέξουμε τις ακόλουθες πληροφορίες λογαριασμού AWS για να ρυθμίσουμε τους πόρους του λογαριασμού διαχείρισης, τους οποίους χρησιμοποιούμε ως εισόδους για το σενάριο εγκατάστασης αργότερα.
Εισαγωγή | Περιγραφή | Παράδειγμα |
Περιοχή έδρας | Η Περιφέρεια όπου εκτελούνται οι φόρτοι εργασίας. Αυτό θα πρέπει να είναι το ίδιο με τη στοίβα παρακολούθησης. | ap-southeast-2 |
Όνομα προφίλ λογαριασμού διαχείρισης AWS CLI | Μπορείτε να βρείτε το όνομα του προφίλ από ~/.aws/config . Αυτό είναι προαιρετικό. Εάν δεν παρέχεται, χρησιμοποιεί τα προεπιλεγμένα διαπιστευτήρια AWS από την αλυσίδα. |
. |
Φόρτος εργασίας SageMaker OU ID | Εδώ χρησιμοποιούμε μόνο το OU ID, όχι τη διαδρομή. | ou-saaa-1a2b3c4d |
Αναγνωριστικό λογαριασμού παρακολούθησης | Το αναγνωριστικό λογαριασμού όπου αναπτύσσεται η στοίβα παρακολούθησης. | . |
Όνομα ρόλου λογαριασμού παρακολούθησης | Η έξοδος για MonitoringAccountRoleName από το προηγούμενο βήμα. |
. |
Παρακολούθηση διαύλου συμβάντων λογαριασμού ARN | Η έξοδος για MonitoringAccountEventbusARN από το προηγούμενο βήμα. |
. |
Αναγνωριστικό απορρόφησης λογαριασμού παρακολούθησης | Η έξοδος από MonitoringAccountSinkIdentifier από το προηγούμενο βήμα. |
. |
Μπορείτε να αναπτύξετε τους πόρους του λογαριασμού διαχείρισης εκτελώντας την ακόλουθη εντολή:
Αναπτύξτε τη λύση σε περιβάλλον μη οργανισμών
Εάν το περιβάλλον σας δεν χρησιμοποιεί Οργανισμούς, η στοίβα υποδομής λογαριασμού παρακολούθησης αναπτύσσεται με παρόμοιο τρόπο, αλλά με μερικές αλλαγές. Ωστόσο, η στοίβα υποδομής φόρτου εργασίας πρέπει να αναπτυχθεί με μη αυτόματο τρόπο σε κάθε λογαριασμό φόρτου εργασίας. Επομένως, αυτή η μέθοδος είναι κατάλληλη για περιβάλλον με περιορισμένο αριθμό λογαριασμών. Για ένα μεγάλο περιβάλλον, συνιστάται να εξετάσετε το ενδεχόμενο χρήσης Οργανισμών.
Ρύθμιση πόρων λογαριασμού παρακολούθησης
Πρέπει να συλλέξουμε τις ακόλουθες πληροφορίες λογαριασμού AWS για να ρυθμίσουμε τους πόρους του λογαριασμού παρακολούθησης, τους οποίους χρησιμοποιούμε ως εισόδους για το σενάριο εγκατάστασης αργότερα.
Εισαγωγή | Περιγραφή | Παράδειγμα |
Περιοχή έδρας | Η Περιφέρεια όπου εκτελούνται οι φόρτοι εργασίας. | ap-southeast-2 |
Λίστα λογαριασμών φόρτου εργασίας SageMaker | Μια λίστα λογαριασμών που εκτελούν το φόρτο εργασίας του SageMaker και μεταδίδουν συμβάντα στον λογαριασμό παρακολούθησης, διαχωρισμένοι με κόμματα. | 111111111111,222222222222 |
Όνομα προφίλ λογαριασμού παρακολούθησης AWS CLI | Μπορείτε να βρείτε το όνομα του προφίλ από ~/.aws/config . Αυτό είναι προαιρετικό. Εάν δεν παρέχεται, χρησιμοποιεί τα προεπιλεγμένα διαπιστευτήρια AWS από την αλυσίδα. |
. |
Μπορούμε να αναπτύξουμε τους πόρους του λογαριασμού παρακολούθησης εκτελώντας την ακόλουθη εντολή αφού συλλέξετε τις απαραίτητες πληροφορίες:
Λαμβάνουμε τις ακόλουθες εξόδους όταν ολοκληρωθεί η ανάπτυξη. Κρατήστε μια σημείωση για τα αποτελέσματα που θα χρησιμοποιήσετε στο επόμενο βήμα κατά την ανάπτυξη της στοίβας λογαριασμού διαχείρισης.
Ρύθμιση υποδομής παρακολούθησης λογαριασμού φόρτου εργασίας
Πρέπει να συλλέξουμε τις ακόλουθες πληροφορίες λογαριασμού AWS για να ρυθμίσουμε την υποδομή παρακολούθησης λογαριασμού φόρτου εργασίας, την οποία θα χρησιμοποιήσουμε ως είσοδο για το σενάριο εγκατάστασης αργότερα.
Εισαγωγή | Περιγραφή | Παράδειγμα |
Περιοχή έδρας | Η Περιφέρεια όπου εκτελούνται οι φόρτοι εργασίας. Αυτό θα πρέπει να είναι το ίδιο με τη στοίβα παρακολούθησης. | ap-southeast-2 |
Αναγνωριστικό λογαριασμού παρακολούθησης | Το αναγνωριστικό λογαριασμού όπου αναπτύσσεται η στοίβα παρακολούθησης. | . |
Όνομα ρόλου λογαριασμού παρακολούθησης | Η έξοδος για MonitoringAccountRoleName από το προηγούμενο βήμα. |
. |
Παρακολούθηση διαύλου συμβάντων λογαριασμού ARN | Η έξοδος για MonitoringAccountEventbusARN από το προηγούμενο βήμα. |
. |
Αναγνωριστικό απορρόφησης λογαριασμού παρακολούθησης | Η έξοδος από MonitoringAccountSinkIdentifier από το προηγούμενο βήμα. |
. |
Όνομα προφίλ λογαριασμού φόρτου εργασίας AWS CLI | Μπορείτε να βρείτε το όνομα του προφίλ από ~/.aws/config . Αυτό είναι προαιρετικό. Εάν δεν παρέχεται, χρησιμοποιεί τα προεπιλεγμένα διαπιστευτήρια AWS από την αλυσίδα. |
. |
Μπορούμε να αναπτύξουμε τους πόρους του λογαριασμού παρακολούθησης εκτελώντας την ακόλουθη εντολή:
Οπτικοποιήστε εργασίες ML στον πίνακα εργαλείων του CloudWatch
Για να ελέγξουμε εάν η λύση λειτουργεί, πρέπει να εκτελέσουμε πολλές εργασίες επεξεργασίας SageMaker και εργασίες εκπαίδευσης SageMaker στους λογαριασμούς φόρτου εργασίας που χρησιμοποιήσαμε στις προηγούμενες ενότητες. Ο πίνακας εργαλείων του CloudWatch είναι προσαρμόσιμος με βάση τα δικά σας σενάρια. Το δείγμα του πίνακα εργαλείων μας αποτελείται από γραφικά στοιχεία για την οπτικοποίηση εργασιών επεξεργασίας SageMaker και εργασιών εκπαίδευσης SageMaker. Όλες οι εργασίες για την παρακολούθηση λογαριασμών φόρτου εργασίας εμφανίζονται σε αυτόν τον πίνακα εργαλείων. Σε κάθε τύπο εργασίας, εμφανίζουμε τρία γραφικά στοιχεία, τα οποία είναι ο συνολικός αριθμός εργασιών, ο αριθμός των εργασιών που αποτυγχάνουν και οι λεπτομέρειες κάθε εργασίας. Στο παράδειγμά μας, έχουμε δύο λογαριασμούς φόρτου εργασίας. Μέσω αυτού του πίνακα ελέγχου, μπορούμε εύκολα να διαπιστώσουμε ότι ένας λογαριασμός φόρτου εργασίας έχει εργασίες επεξεργασίας και εκπαίδευσης, ενώ ένας άλλος λογαριασμός φόρτου εργασίας έχει μόνο εργασίες εκπαίδευσης. Όπως και με τις λειτουργίες που χρησιμοποιούμε στο CloudWatch, μπορούμε να ορίσουμε το διάστημα ανανέωσης, να καθορίσουμε τον τύπο γραφήματος και να κάνουμε μεγέθυνση ή σμίκρυνση ή μπορούμε να εκτελέσουμε ενέργειες όπως αρχεία καταγραφής λήψης σε ένα αρχείο CSV.
Προσαρμόστε τον πίνακα ελέγχου σας
Η λύση που παρέχεται στο αποθετήριο GitHub περιλαμβάνει και την παρακολούθηση εργασιών SageMaker Training και SageMaker Processing. Εάν θέλετε να προσθέσετε περισσότερους πίνακες εργαλείων για την παρακολούθηση άλλων εργασιών του SageMaker, όπως εργασίες μαζικής μετατροπής, μπορείτε να ακολουθήσετε τις οδηγίες σε αυτήν την ενότητα για να προσαρμόσετε τον πίνακα εργαλείων σας. Με την τροποποίηση του αρχείο index.py, μπορείτε να προσαρμόσετε τα πεδία που θέλετε να εμφανίζονται στον πίνακα εργαλείων. Μπορείτε να αποκτήσετε πρόσβαση σε όλες τις λεπτομέρειες που καταγράφονται από το CloudWatch μέσω του EventBridge. Στη συνάρτηση Λάμδα, μπορείτε να επιλέξετε τα απαραίτητα πεδία που θέλετε να εμφανίζονται στο ταμπλό. Δείτε τον παρακάτω κώδικα:
Για να προσαρμόσετε τον πίνακα εργαλείων ή τα γραφικά στοιχεία, μπορείτε να τροποποιήσετε τον πηγαίο κώδικα στο αρχείο monitoring-account-infra-stack.ts. Σημειώστε ότι τα ονόματα πεδίων που χρησιμοποιείτε σε αυτό το αρχείο θα πρέπει να είναι τα ίδια με αυτά (τα κλειδιά του job_detail
) που ορίζεται στο αρχείο Lambda:
Αφού τροποποιήσετε τον πίνακα εργαλείων, πρέπει να επανατοποθετήσετε αυτήν τη λύση από την αρχή. Μπορείτε να εκτελέσετε το σημειωματάριο Jupyter που παρέχεται στο αποθετήριο GitHub για να εκτελέσετε ξανά τη διοχέτευση SageMaker, η οποία θα ξεκινήσει ξανά τις εργασίες επεξεργασίας SageMaker. Όταν ολοκληρωθούν οι εργασίες, μπορείτε να μεταβείτε στην κονσόλα CloudWatch και κάτω Dashboards στο παράθυρο πλοήγησης, επιλέξτε Custom Dashboards. Μπορείτε να βρείτε τον πίνακα ελέγχου με το όνομα SageMaker-Monitoring-Dashboard.
εκκαθάριση
Εάν δεν χρειάζεστε πλέον αυτόν τον προσαρμοσμένο πίνακα εργαλείων, μπορείτε να καθαρίσετε τους πόρους. Για να διαγράψετε όλους τους πόρους που δημιουργήθηκαν, χρησιμοποιήστε τον κώδικα σε αυτήν την ενότητα. Η εκκαθάριση είναι ελαφρώς διαφορετική για περιβάλλον Οργανισμών έναντι περιβάλλοντος μη Οργανισμών.
Για περιβάλλον Οργανισμών, χρησιμοποιήστε τον ακόλουθο κώδικα:
Για περιβάλλον μη οργανισμών, χρησιμοποιήστε τον ακόλουθο κώδικα:
Εναλλακτικά, μπορείτε να συνδεθείτε στον λογαριασμό παρακολούθησης, στον λογαριασμό φόρτου εργασίας και στον λογαριασμό διαχείρισης διαγράψτε τις στοίβες από την κονσόλα CloudFormation.
Συμπέρασμα
Σε αυτήν την ανάρτηση, συζητήσαμε την εφαρμογή μιας κεντρικής λύσης παρακολούθησης και αναφοράς για το SageMaker χρησιμοποιώντας το CloudWatch. Ακολουθώντας τις οδηγίες βήμα προς βήμα που περιγράφονται σε αυτήν την ανάρτηση, μπορείτε να δημιουργήσετε έναν πίνακα ελέγχου παρακολούθησης πολλών λογαριασμών που εμφανίζει βασικές μετρήσεις και ενοποιεί αρχεία καταγραφής που σχετίζονται με τις διάφορες εργασίες του SageMaker από διαφορετικούς λογαριασμούς σε πραγματικό χρόνο. Με αυτόν τον κεντρικό πίνακα ελέγχου παρακολούθησης, μπορείτε να έχετε καλύτερη ορατότητα στις δραστηριότητες των εργασιών του SageMaker σε πολλούς λογαριασμούς, να αντιμετωπίζετε προβλήματα πιο γρήγορα και να λαμβάνετε τεκμηριωμένες αποφάσεις με βάση δεδομένα σε πραγματικό χρόνο. Συνολικά, η εφαρμογή μιας κεντρικής λύσης παρακολούθησης και αναφοράς χρησιμοποιώντας το CloudWatch προσφέρει έναν αποτελεσματικό τρόπο για τους οργανισμούς να διαχειρίζονται την υποδομή ML και τη χρήση πόρων που βασίζεται σε σύννεφο.
Δοκιμάστε τη λύση και στείλτε μας τα σχόλιά σας, είτε μέσα το φόρουμ AWS για το Amazon SageMaker, ή μέσω των συνηθισμένων επαφών σας AWS.
Για να μάθετε περισσότερα σχετικά με τη δυνατότητα παρατήρησης μεταξύ λογαριασμών, ανατρέξτε στο ιστολόγιο Παρατηρησιμότητα μεταξύ λογαριασμών Amazon CloudWatch
Σχετικά με τους Συγγραφείς
Τζι Ντονγκ είναι ένας αρχιτέκτονας AWS Cloud με έδρα το Σίδνεϊ της Αυστραλίας. Ο Jie είναι παθιασμένος με την αυτοματοποίηση και λατρεύει να αναπτύσσει λύσεις για να βοηθήσει τον πελάτη να βελτιώσει την παραγωγικότητα. Το σύστημα που βασίζεται σε συμβάντα και το πλαίσιο χωρίς διακομιστή είναι η τεχνογνωσία του. Στην εποχή του, ο Jie λατρεύει να εργάζεται για την κατασκευή έξυπνου σπιτιού και να εξερευνά νέα έξυπνα οικιακά gadget.
Μέλανι Λι, PhD, είναι Senior AI/ML Specialist TAM στο AWS με έδρα το Σίδνεϊ της Αυστραλίας. Βοηθά τους εταιρικούς πελάτες να δημιουργήσουν λύσεις χρησιμοποιώντας υπερσύγχρονα εργαλεία AI/ML στο AWS και παρέχει καθοδήγηση σχετικά με την αρχιτεκτονική και την εφαρμογή λύσεων ML με βέλτιστες πρακτικές. Στον ελεύθερο χρόνο της, της αρέσει να εξερευνά τη φύση και να περνά χρόνο με την οικογένεια και τους φίλους της.
Γκόρντον Γουάνγκ, είναι Senior AI/ML Specialist TAM στο AWS. Υποστηρίζει στρατηγικούς πελάτες με βέλτιστες πρακτικές AI/ML σε πολλούς κλάδους. Είναι παθιασμένος με την όραση υπολογιστών, το NLP, το Generative AI και τα MLOps. Στον ελεύθερο χρόνο του λατρεύει το τρέξιμο και την πεζοπορία.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- ChartPrime. Ανεβάστε το Trading Game σας με το ChartPrime. Πρόσβαση εδώ.
- BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- Σχετικα
- πρόσβαση
- Λογαριασμός
- Λογαριασμοί
- Κατορθώνω
- απέναντι
- ενεργειών
- δραστηριοτήτων
- προσθέτω
- προσθήκη
- Επιπλέον
- Πρόσθετος
- Επιπλέον
- Προσθέτει
- διαχειριστής
- θετός
- Μετά το
- πάλι
- κατά
- AI
- AI / ML
- Ειδοποιήσεις
- Όλα
- επιτρέπει
- Επίσης
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- an
- αναλύσει
- και
- Άλλος
- api
- αρχιτεκτονική
- Αρχείο
- ΕΙΝΑΙ
- AS
- At
- λογιστικού ελέγχου
- Australia
- Αρχές
- αυτοματοποίηση
- αυτομάτως
- Αυτοματοποίηση
- AWS
- πίσω
- βασίζονται
- BE
- γίνεται
- Αρχή
- ΚΑΛΎΤΕΡΟΣ
- βέλτιστες πρακτικές
- Καλύτερα
- Μπλοκ
- και οι δύο
- Κάτω μέρος
- χτίζω
- Κτίριο
- λεωφορείο
- αλλά
- by
- κλήσεις
- CAN
- Μπορεί να πάρει
- συλλαμβάνονται
- περιπτώσεις
- αίτια
- κεντρική
- ορισμένες
- αλυσίδα
- πρόκληση
- αλλαγή
- Αλλαγές
- έλεγχος
- Επιλέξτε
- κλικ
- Backup
- Cloud Platform
- κωδικός
- συλλέγουν
- πλήρης
- ολοκλήρωση
- περιεκτικός
- υπολογιστή
- Computer Vision
- Εξετάστε
- αποτελείται
- πρόξενος
- Εμπλουτίζει
- κατασκευάσει
- Επαφές
- συμφραζόμενα
- έλεγχος
- ευκολία
- Αντίστοιχος
- δημιουργία
- δημιουργήθηκε
- Διαπιστεύσεις
- Σταυρός
- έθιμο
- πελάτης
- Πελάτες
- προσαρμόσιμη
- προσαρμόσετε
- ταμπλό
- dashboards
- ημερομηνία
- αποφάσεις
- Προεπιλογή
- ορίζεται
- παραδίδεται
- Εξάρτηση
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- ανάπτυξη
- σχεδιασμένα
- λεπτομέρεια
- καθέκαστα
- ανάπτυξη
- διαφορετικές
- συζήτηση
- Display
- εκτεθειμένος
- οθόνες
- Όχι
- Μην
- κατεβάσετε
- διάρκεια
- e
- κάθε
- εύκολα
- αποτελεσματικά
- αποτελεσματικός
- αποτελεσματικά
- είτε
- ενεργοποιήσετε
- δίνει τη δυνατότητα
- τέλος
- από άκρη σε άκρη
- Τελικό σημείο
- Εταιρεία
- Περιβάλλον
- ουσιώδης
- Συμβάν
- εκδηλώσεις
- παράδειγμα
- Εκτός
- εκτελέσει
- υφιστάμενα
- εξειδίκευση
- Εξηγήστε
- διερευνήσει
- έκφραση
- Απέτυχε
- παραλείποντας
- Αποτυχία
- ψευδής
- οικογένεια
- Χαρακτηριστικό
- ανατροφοδότηση
- λίγοι
- πεδίο
- Πεδία
- Αρχεία
- φιλτράρισμα
- Εύρεση
- ακολουθήστε
- Εξής
- Για
- Φόρουμ
- Πλαίσιο
- φίλους
- από
- πλήρως
- λειτουργία
- λειτουργίες
- περαιτέρω
- Επί πλέον
- Gadgets
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- παίρνω
- GitHub
- ποτήρι
- Go
- διακυβέρνησης
- γραφική παράσταση
- Group
- καθοδήγηση
- Έχω
- he
- ύψος
- βοήθεια
- βοηθά
- αυτήν
- υψηλού επιπέδου
- Τόνισε
- του
- ιστορία
- Αρχική
- οικοδεσπότης
- φιλοξενία
- Ωστόσο
- HTML
- http
- HTTPS
- ID
- προσδιορίζονται
- προσδιορίσει
- if
- εκτέλεση
- εκτελεστικών
- βελτίωση
- in
- περιλαμβάνονται
- περιλαμβάνει
- άτομα
- βιομηχανίες
- πληροφορίες
- ενημερώνεται
- Υποδομή
- είσοδοι
- ιδέες
- αντί
- οδηγίες
- Ενσωματώνει
- ολοκλήρωση
- σε
- ζήτημα
- θέματα
- IT
- Δουλειά
- Θέσεις εργασίας
- jpg
- μόλις
- Διατήρηση
- Κλειδί
- πλήκτρα
- επιγραφή
- large
- αργότερα
- ξεκινήσει
- ΜΑΘΑΊΝΩ
- μάθηση
- αριστερά
- Περιωρισμένος
- Λιστα
- τοπικός
- κούτσουρο
- λογική
- πλέον
- ματιά
- κοιτάζοντας
- αγαπά
- μηχανή
- μάθηση μηχανής
- κάνω
- διαχείριση
- διαχειρίζεται
- διαχείριση
- Η ομάδα διαχείρισης
- τρόπος
- Ταχύτητες
- χειροκίνητα
- πολοί
- μέθοδος
- μετρικός
- Metrics
- ML
- MLOps
- τροποποιήσει
- Παρακολούθηση
- παρακολούθηση
- παρακολούθηση
- οθόνες
- περισσότερο
- μετακινηθεί
- πολλαπλούς
- όνομα
- Ονομάστηκε
- ονόματα
- ντόπιος
- Φύση
- Πλοηγηθείτε
- Πλοήγηση
- απαραίτητος
- Ανάγκη
- ανάγκες
- Νέα
- επόμενη
- nlp
- Όχι.
- Ν/Α
- σημειωματάριο
- αριθμός
- of
- προσφορές
- on
- ONE
- αποκλειστικά
- λειτουργία
- επιχειρήσεων
- λειτουργίες
- Επιλογή
- or
- επιχειρήσεις
- οργανωτικός
- οργανώσεις
- ΑΛΛΑ
- δικός μας
- έξω
- σκιαγραφείται
- παραγωγή
- φόρμες
- δική
- παράθυρο
- παράμετροι
- παθιασμένος
- μονοπάτι
- Εκτελέστε
- εκτελούνται
- εκτέλεση
- δικαιώματα
- phd
- αγωγού
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- σας παρακαλούμε
- σημεία
- πολιτική
- Θέση
- δυναμικού
- πρακτικές
- παρόν
- προηγούμενος
- διαδικασία
- Επεξεργασμένο
- μεταποίηση
- παραγωγικότητα
- Προφίλ ⬇️
- παρέχουν
- παρέχεται
- παρέχει
- Δημοσιεύει
- σκοποί
- Σπρώξτε
- ερωτήματα
- γρήγορα
- πραγματικός
- σε πραγματικό χρόνο
- δεδομένα σε πραγματικό χρόνο
- έλαβε
- συνιστάται
- περιοχή
- σχετίζεται με
- Αναφορά
- απαιτείται
- απαιτήσεις
- πόρος
- Υποστηρικτικό υλικό
- Απάντηση
- Αποτελέσματα
- δεξιά
- Ρόλος
- Άρθρο
- κανόνες
- τρέξιμο
- τρέξιμο
- σοφός
- ίδιο
- απολέπιση
- σενάριο
- σενάρια
- έκταση
- μηδέν
- Αναζήτηση
- Τμήμα
- τμήματα
- δείτε
- στείλετε
- αρχαιότερος
- ξεχωριστό
- εξυπηρετούν
- Χωρίς διακομιστή
- υπηρεσία
- Υπηρεσίες
- σειρά
- setup
- Κοινοποίηση
- Shared
- αυτή
- θα πρέπει να
- δείχνουν
- παρουσιάζεται
- Δείχνει
- παρόμοιες
- απλοποίηση
- ενιαίας
- ελαφρώς διαφορετική
- έξυπνος
- Εξυπνο σπίτι
- So
- λύση
- Λύσεις
- Πηγή
- πρωτογενής κώδικας
- ειδικός
- δαπανήσει
- διάδοση
- σωρός
- στοιβάζονται
- Στοίβες
- αυτόνομο
- Ξεκινήστε
- state-of-the-art
- Κατάσταση
- Βήμα
- Βήματα
- Στρατηγική
- μετάδοση
- ροές
- τέτοιος
- κατάλληλος
- υποστηριζόνται!
- Υποστηρίζει
- sydney
- σύστημα
- τραπέζι
- στόχος
- στόχους
- εργασίες
- ομάδες
- ότι
- Η
- Το γράφημα
- οι πληροφορίες
- Η Πηγη
- τους
- Τους
- Εκεί.
- επομένως
- Αυτοί
- αυτό
- εκείνοι
- τρία
- Μέσω
- ώρα
- Τίτλος
- προς την
- εργαλεία
- Σύνολο
- Ιχνος
- τροχιά
- Εκπαίδευση
- Μεταμορφώστε
- αληθής
- προσπαθώ
- δύο
- τύπος
- υπό
- Απροσδόκητος
- μονάδα
- us
- Χρήση
- χρήση
- μεταχειρισμένος
- Χρήστες
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- χρησιμοποιούνται
- ΕΠΙΚΥΡΩΝΩ
- αξία
- διάφορα
- μέσω
- Δες
- ορατότητα
- όραμα
- vs
- θέλω
- Τρόπος..
- we
- ιστός
- διαδικτυακές υπηρεσίες
- Τι
- πότε
- Ποιό
- πλάτος
- θα
- με
- εντός
- Εργασία
- λειτουργεί
- Εσείς
- Σας
- zephyrnet
- ζουμ