Παροχή και διαχείριση περιβαλλόντων ML με το Amazon SageMaker Canvas χρησιμοποιώντας το AWS CDK και τον κατάλογο υπηρεσιών AWS

Ο πολλαπλασιασμός της μηχανικής μάθησης (ML) σε ένα ευρύ φάσμα περιπτώσεων χρήσης γίνεται διαδεδομένος σε κάθε κλάδο. Ωστόσο, αυτό ξεπερνά την αύξηση του αριθμού των επαγγελματιών ML που ήταν παραδοσιακά υπεύθυνοι για την εφαρμογή αυτών των τεχνικών λύσεων για την επίτευξη επιχειρηματικών αποτελεσμάτων.

Στη σημερινή επιχείρηση, υπάρχει ανάγκη η μηχανική μάθηση να χρησιμοποιείται από επαγγελματίες που δεν είναι ML και είναι ικανοί στα δεδομένα, κάτι που είναι το θεμέλιο της ML. Για να γίνει αυτό πραγματικότητα, η αξία της ML γίνεται αντιληπτή σε όλη την επιχείρηση μέσω πλατφορμών ML χωρίς κώδικα. Αυτές οι πλατφόρμες επιτρέπουν σε διαφορετικά πρόσωπα, για παράδειγμα επιχειρηματικούς αναλυτές, να χρησιμοποιούν ML χωρίς να γράφουν ούτε μια γραμμή κώδικα και να παρέχουν λύσεις σε επιχειρηματικά προβλήματα με γρήγορο, απλό και διαισθητικό τρόπο. Καμβάς Amazon SageMaker είναι μια οπτική υπηρεσία point-and-click που επιτρέπει στους επιχειρησιακούς αναλυτές να χρησιμοποιούν ML για την επίλυση επιχειρηματικών προβλημάτων δημιουργώντας από μόνοι τους ακριβείς προβλέψεις — χωρίς να απαιτείται καμία εμπειρία ML ή να χρειάζεται να γράψουν ούτε μια γραμμή κώδικα. Η Canvas έχει επεκτείνει τη χρήση της ML στην επιχείρηση με μια απλή στη χρήση διαισθητική διεπαφή που βοηθά τις επιχειρήσεις να εφαρμόσουν λύσεις γρήγορα.

Αν και το Canvas επέτρεψε τον εκδημοκρατισμό της ML, η πρόκληση της παροχής και ανάπτυξης περιβαλλόντων ML με ασφαλή τρόπο εξακολουθεί να παραμένει. Συνήθως, αυτή είναι ευθύνη των κεντρικών ομάδων πληροφορικής στις περισσότερες μεγάλες επιχειρήσεις. Σε αυτήν την ανάρτηση, συζητάμε πώς οι ομάδες IT μπορούν να διαχειρίζονται, να παρέχουν και να διαχειρίζονται ασφαλή περιβάλλοντα ML χρησιμοποιώντας Καμβάς Amazon SageMaker, Κιτ ανάπτυξης AWS Cloud (AWS CDK) και Κατάλογος υπηρεσιών AWS. Η ανάρτηση παρουσιάζει έναν οδηγό βήμα προς βήμα για τους διαχειριστές IT για να το επιτύχουν αυτό γρήγορα και σε κλίμακα.

Επισκόπηση του καταλόγου υπηρεσιών AWS CDK και AWS

Το AWS CDK είναι ένα πλαίσιο ανάπτυξης λογισμικού ανοιχτού κώδικα για τον καθορισμό των πόρων της εφαρμογής σας στο cloud. Χρησιμοποιεί την εξοικείωση και την εκφραστική δύναμη των γλωσσών προγραμματισμού για τη μοντελοποίηση των εφαρμογών σας, ενώ παρέχει πόρους με ασφαλή και επαναλαμβανόμενο τρόπο.

Ο Κατάλογος Υπηρεσιών AWS σάς επιτρέπει να διαχειρίζεστε κεντρικά τις αναπτυγμένες υπηρεσίες πληροφορικής, τις εφαρμογές, τους πόρους και τα μεταδεδομένα. Με τον Κατάλογο Υπηρεσιών AWS, μπορείτε να δημιουργήσετε, να μοιραστείτε, να οργανώσετε και να διαχειριστείτε πόρους cloud με πρότυπα υποδομής ως κώδικα (IaC) και να ενεργοποιήσετε τη γρήγορη και απλή παροχή.

Επισκόπηση λύσεων

Ενεργοποιούμε την παροχή περιβαλλόντων ML χρησιμοποιώντας το Canvas σε τρία βήματα:

1. Αρχικά, μοιραζόμαστε πώς μπορείτε να διαχειριστείτε ένα χαρτοφυλάκιο πόρων που είναι απαραίτητοι για την εγκεκριμένη χρήση του Canvas χρησιμοποιώντας τον Κατάλογο υπηρεσιών AWS.
2. Στη συνέχεια, αναπτύσσουμε ένα παράδειγμα χαρτοφυλακίου καταλόγου υπηρεσιών AWS για Canvas χρησιμοποιώντας το AWS CDK.
3. Τέλος, δείχνουμε πώς μπορείτε να παρέχετε περιβάλλοντα Canvas κατόπιν ζήτησης μέσα σε λίγα λεπτά.

Προϋποθέσεις

Για να παρέχετε περιβάλλοντα ML με το Canvas, το AWS CDK και τον Κατάλογο υπηρεσιών AWS, πρέπει να κάνετε τα εξής:

1. Έχετε πρόσβαση στον λογαριασμό AWS όπου θα αναπτυχθεί το χαρτοφυλάκιο του Καταλόγου Υπηρεσιών. Βεβαιωθείτε ότι έχετε τα διαπιστευτήρια και τα δικαιώματα για να αναπτύξετε τη στοίβα CDK AWS στον λογαριασμό σας. ο Εργαστήριο AWS CDK είναι μια χρήσιμη πηγή στην οποία μπορείτε να ανατρέξετε εάν χρειάζεστε υποστήριξη.
2. Συνιστούμε να ακολουθήσετε ορισμένες βέλτιστες πρακτικές που επισημαίνονται μέσω των εννοιών που περιγράφονται λεπτομερώς στους ακόλουθους πόρους:
3. Κλώνος αυτό το αποθετήριο GitHub στο περιβάλλον σας.

Παρέχετε εγκεκριμένα περιβάλλοντα ML με το Amazon SageMaker Canvas χρησιμοποιώντας τον κατάλογο υπηρεσιών AWS

Σε ρυθμιζόμενες βιομηχανίες και στις περισσότερες μεγάλες επιχειρήσεις, πρέπει να τηρείτε τις απαιτήσεις που επιβάλλουν οι ομάδες IT για την παροχή και τη διαχείριση περιβαλλόντων ML. Αυτά μπορεί να περιλαμβάνουν ένα ασφαλές, ιδιωτικό δίκτυο, κρυπτογράφηση δεδομένων, στοιχεία ελέγχου που επιτρέπουν μόνο εξουσιοδοτημένους και πιστοποιημένους χρήστες, όπως Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) για πρόσβαση σε λύσεις όπως το Canvas και αυστηρή καταγραφή και παρακολούθηση για σκοπούς ελέγχου.

Ως διαχειριστής IT, μπορείτε να χρησιμοποιήσετε τον Κατάλογο υπηρεσιών AWS για να δημιουργήσετε και να οργανώσετε ασφαλή, αναπαραγώγιμα περιβάλλοντα ML με το SageMaker Canvas σε ένα χαρτοφυλάκιο προϊόντων. Αυτή η διαχείριση γίνεται με τη χρήση στοιχείων ελέγχου IaC που είναι ενσωματωμένα για να πληρούν τις απαιτήσεις που αναφέρθηκαν προηγουμένως και μπορούν να παρέχονται κατόπιν ζήτησης μέσα σε λίγα λεπτά. Μπορείτε επίσης να διατηρήσετε τον έλεγχο του ποιος μπορεί να έχει πρόσβαση σε αυτό το χαρτοφυλάκιο για την κυκλοφορία προϊόντων.

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Παράδειγμα ροής

Σε αυτήν την ενότητα, παρουσιάζουμε ένα παράδειγμα χαρτοφυλακίου καταλόγου υπηρεσιών AWS με το SageMaker Canvas. Το χαρτοφυλάκιο αποτελείται από διάφορες πτυχές του περιβάλλοντος Canvas που αποτελούν μέρος του χαρτοφυλακίου Service Catalog:

• Τομέας Studio – Το Canvas είναι μια εφαρμογή που εκτελείται μέσα Τομείς στούντιο. Ο τομέας αποτελείται από ένα Σύστημα αρχείων ελαστικού Amazon τόμο (Amazon EFS), μια λίστα εξουσιοδοτημένων χρηστών και μια σειρά από θέματα ασφάλειας, εφαρμογών, πολιτικών και Εικονικό ιδιωτικό σύννεφο Amazon (VPC) διαμορφώσεις. Ένας λογαριασμός AWS συνδέεται με έναν τομέα ανά Περιοχή.
• Κάδος Amazon S3 – Αφού δημιουργηθεί ο τομέας Studio, ένα Απλή υπηρεσία αποθήκευσης Amazon Ο κάδος (Amazon S3) παρέχεται για το Canvas για να επιτρέπει την εισαγωγή συνόλων δεδομένων από τοπικά αρχεία, γνωστή και ως τοπική μεταφόρτωση αρχείων. Αυτός ο κάδος βρίσκεται στο λογαριασμό του πελάτη και παρέχεται μία φορά.
• Χρήστης καμβά – Το SageMaker Canvas είναι μια εφαρμογή όπου μπορείτε να προσθέσετε προφίλ χρήστη στον τομέα Studio για κάθε χρήστη του Canvas, ο οποίος μπορεί να προχωρήσει στην εισαγωγή συνόλων δεδομένων, να δημιουργήσει και να εκπαιδεύσει μοντέλα ML χωρίς να γράψει κώδικα και να εκτελέσει προβλέψεις στο μοντέλο.
• Προγραμματισμένος τερματισμός των περιόδων λειτουργίας Canvas – Οι χρήστες του Canvas μπορούν να αποσυνδεθούν από τη διεπαφή του Canvas όταν ολοκληρώσουν τις εργασίες τους. Εναλλακτικά, Οι διαχειριστές μπορούν να τερματίσουν τις συνεδρίες Canvas από το Κονσόλα διαχείρισης AWS ως μέρος της διαχείρισης των συνεδριών Canvas. Σε αυτό το μέρος του χαρτοφυλακίου καταλόγου υπηρεσιών AWS, ένα AWS Lambda λειτουργία δημιουργείται και παρέχεται για να τερματίζει αυτόματα τις συνεδρίες Canvas σε καθορισμένα προγραμματισμένα χρονικά διαστήματα. Αυτό βοηθά στη διαχείριση των ανοιχτών περιόδων σύνδεσης και τον τερματισμό τους όταν δεν χρησιμοποιούνται.

Αυτό το παράδειγμα ροής μπορεί να βρεθεί στο Αποθετήριο GitHub για γρήγορη αναφορά.

Αναπτύξτε τη ροή με το AWS CDK

Σε αυτήν την ενότητα, αναπτύσσουμε τη ροή που περιγράφηκε προηγουμένως χρησιμοποιώντας το AWS CDK. Αφού αναπτυχθεί, μπορείτε επίσης να κάνετε παρακολούθηση εκδόσεων και να διαχειριστείτε το χαρτοφυλάκιο.

Η στοίβα χαρτοφυλακίου βρίσκεται στο app.py και οι στοίβες προϊόντων κάτω από το products/ ντοσιέ. Μπορείτε να επαναλάβετε τους ρόλους του IAM, Υπηρεσία διαχείρισης κλειδιών AWS πλήκτρα (AWS KMS) και ρύθμιση VPC στο studio_constructs/ ντοσιέ. Πριν αναπτύξετε τη στοίβα στον λογαριασμό σας, μπορείτε να επεξεργαστείτε τις ακόλουθες γραμμές app.py και παραχωρήστε πρόσβαση στο χαρτοφυλάκιο σε ρόλο IAM της επιλογής σας.

Μπορείτε να διαχειριστείτε την πρόσβαση στο χαρτοφυλάκιο για τους σχετικούς χρήστες, ομάδες και ρόλους IAM. Βλέπω Παροχή πρόσβασης στους χρήστες Για περισσότερες πληροφορίες.

Αναπτύξτε το χαρτοφυλάκιο στον λογαριασμό σας

Τώρα μπορείτε να εκτελέσετε τις ακόλουθες εντολές για να εγκαταστήσετε το AWS CDK και να βεβαιωθείτε ότι έχετε τις σωστές εξαρτήσεις για την ανάπτυξη του χαρτοφυλακίου:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Εκτελέστε τις ακόλουθες εντολές για να αναπτύξετε το χαρτοφυλάκιο στον λογαριασμό σας:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Οι δύο πρώτες εντολές λαμβάνουν το αναγνωριστικό του λογαριασμού σας και την τρέχουσα περιοχή χρησιμοποιώντας το Διεπαφή γραμμής εντολών AWS (AWS CLI) στον υπολογιστή σας. Ακολουθώντας αυτό, cdk bootstrap και cdk deploy δημιουργήστε στοιχεία τοπικά και αναπτύξτε τη στοίβα σε λίγα λεπτά.

Το χαρτοφυλάκιο βρίσκεται πλέον στον Κατάλογο υπηρεσιών AWS, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Παροχή κατ' απαίτηση

Τα προϊόντα του χαρτοφυλακίου μπορούν να λανσαριστούν γρήγορα και εύκολα κατόπιν ζήτησης από το Προμήθεια μενού στην κονσόλα καταλόγου υπηρεσιών AWS. Μια τυπική ροή είναι να εκκινήσετε πρώτα τον τομέα Studio και τον αυτόματο τερματισμό Canvas, επειδή αυτή είναι συνήθως μια εφάπαξ ενέργεια. Στη συνέχεια, μπορείτε να προσθέσετε χρήστες Canvas στον τομέα. Το αναγνωριστικό τομέα και ο ρόλος IAM χρήστη ARN αποθηκεύονται Διευθυντής συστημάτων AWS και συμπληρώνονται αυτόματα με τις παραμέτρους χρήστη όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Μπορείτε επίσης να χρησιμοποιήσετε ετικέτες κατανομής κόστους που επισυνάπτονται σε κάθε χρήστη. Για παράδειγμα, UserCostCenter είναι ένα δείγμα ετικέτας όπου μπορείτε να προσθέσετε το όνομα κάθε χρήστη.

Βασικά στοιχεία για τη διαχείριση περιβαλλόντων ML με χρήση Canvas

Τώρα που έχουμε παράσχει και αναπτύξει ένα χαρτοφυλάκιο Καταλόγου Υπηρεσιών AWS που επικεντρώνεται στον Καμβά, θα θέλαμε να επισημάνουμε ορισμένες σκέψεις που διέπουν τα περιβάλλοντα ML που βασίζονται σε καμβά που εστιάζονται στον τομέα και το προφίλ χρήστη.

Τα ακόλουθα είναι ζητήματα σχετικά με τον τομέα Studio:

• Η διαχείριση του Networking for Canvas γίνεται σε επίπεδο τομέα Studio, όπου ο τομέας αναπτύσσεται σε ιδιωτικό υποδίκτυο VPC για ασφαλή συνδεσιμότητα. Βλέπω Εξασφάλιση της συνδεσιμότητας του Amazon SageMaker Studio χρησιμοποιώντας ένα ιδιωτικό VPC για να μάθετε περισσότερα.
• Ένας προεπιλεγμένος ρόλος εκτέλεσης IAM ορίζεται σε επίπεδο τομέα. Αυτός ο προεπιλεγμένος ρόλος εκχωρείται σε όλους τους χρήστες του Canvas στον τομέα.
• Η κρυπτογράφηση πραγματοποιείται χρησιμοποιώντας το AWS KMS κρυπτογραφώντας τον τόμο EFS στον τομέα. Για πρόσθετα στοιχεία ελέγχου, μπορείτε να καθορίσετε το δικό σας διαχειριζόμενο κλειδί, γνωστό και ως κλειδί διαχείρισης από τον πελάτη (CMK). Βλέπω Προστατέψτε τα δεδομένα σε κατάσταση ηρεμίας χρησιμοποιώντας κρυπτογράφηση για να μάθετε περισσότερα.
• Η δυνατότητα μεταφόρτωσης αρχείων από τον τοπικό σας δίσκο γίνεται με την επισύναψη μιας πολιτικής κοινής χρήσης πόρων μεταξύ προέλευσης (CORS) στον κάδο S3 που χρησιμοποιείται από το Canvas. Βλέπω Δώστε στους χρήστες σας δικαιώματα να ανεβάζουν τοπικά αρχεία για να μάθετε περισσότερα.

Τα ακόλουθα είναι τα ζητήματα σχετικά με το προφίλ χρήστη:

• Ο έλεγχος ταυτότητας στο Studio μπορεί να γίνει τόσο μέσω single sign-on (SSO) όσο και μέσω IAM. Εάν έχετε έναν υπάρχοντα πάροχο ταυτότητας για να συνενώνετε χρήστες για πρόσβαση στην κονσόλα, μπορείτε να εκχωρήσετε ένα προφίλ χρήστη Studio σε κάθε ομοσπονδιακή ταυτότητα χρησιμοποιώντας το IAM. Δείτε την ενότητα Εκχώρηση πολιτικής σε χρήστες του Studio in Διαμόρφωση του Amazon SageMaker Studio για ομάδες και ομάδες με πλήρη απομόνωση πόρων για να μάθετε περισσότερα.
• Μπορείτε να εκχωρήσετε ρόλους εκτέλεσης IAM σε κάθε προφίλ χρήστη. Κατά τη χρήση του Studio, ένας χρήστης αναλαμβάνει τον ρόλο που έχει αντιστοιχιστεί στο προφίλ χρήστη του που αντικαθιστά τον προεπιλεγμένο ρόλο εκτέλεσης. Μπορείτε να το χρησιμοποιήσετε για λεπτομερή έλεγχο πρόσβασης σε μια ομάδα.
• Μπορείτε να επιτύχετε απομόνωση χρησιμοποιώντας στοιχεία ελέγχου πρόσβασης που βασίζονται σε χαρακτηριστικά (ABAC) για να διασφαλίσετε ότι οι χρήστες μπορούν να έχουν πρόσβαση μόνο στους πόρους της ομάδας τους. Βλέπω Διαμόρφωση του Amazon SageMaker Studio για ομάδες και ομάδες με πλήρη απομόνωση πόρων για να μάθετε περισσότερα.
• Μπορείτε να εκτελέσετε λεπτομερή παρακολούθηση κόστους εφαρμόζοντας ετικέτες κατανομής κόστους στα προφίλ χρηστών.

εκκαθάριση

Για να καθαρίσετε τους πόρους που δημιουργήθηκαν από τη στοίβα CDK AWS παραπάνω, μεταβείτε στη σελίδα στοίβες AWS CloudFormation και διαγράψτε τις στοίβες Canvas. Μπορείτε επίσης να τρέξετε cdk destroy μέσα από το φάκελο του αποθετηρίου, για να κάνετε το ίδιο.

Συμπέρασμα

Σε αυτήν την ανάρτηση, μοιραστήκαμε πώς μπορείτε να παρέχετε γρήγορα και εύκολα περιβάλλοντα ML με το Canvas χρησιμοποιώντας τον Κατάλογο υπηρεσιών AWS και το AWS CDK. Συζητήσαμε πώς μπορείτε να δημιουργήσετε ένα χαρτοφυλάκιο στον Κατάλογο υπηρεσιών AWS, να παρέχετε το χαρτοφυλάκιο και να το αναπτύξετε στον λογαριασμό σας. Οι διαχειριστές IT μπορούν να χρησιμοποιήσουν αυτήν τη μέθοδο για την ανάπτυξη και τη διαχείριση χρηστών, περιόδων σύνδεσης και σχετικών δαπανών κατά την παροχή του Canvas.

Μάθετε περισσότερα για το Canvas στο σελίδα του προϊόντος και την Οδηγός προγραμματιστή. Για περαιτέρω ανάγνωση, μπορείτε να μάθετε πώς να επιτρέψτε στους επιχειρηματικούς αναλυτές να έχουν πρόσβαση στον καμβά SageMaker χρησιμοποιώντας το AWS SSO χωρίς την κονσόλα. Μπορείτε επίσης να μάθετε πώς Οι επιχειρησιακοί αναλυτές και οι επιστήμονες δεδομένων μπορούν να συνεργαστούν πιο γρήγορα χρησιμοποιώντας το Canvas και το Studio.

Σχετικά με τους Συγγραφείς

Davide Gallitelli είναι Ειδικός Αρχιτέκτονας Λύσεων για AI/ML στην περιοχή EMEA. Εδρεύει στις Βρυξέλλες και συνεργάζεται στενά με πελάτες σε όλη τη Μπενελούξ. Είναι προγραμματιστής από πολύ μικρός, ξεκινώντας να κωδικοποιεί σε ηλικία 7 ετών. Άρχισε να μαθαίνει AI/ML στο πανεπιστήμιο και από τότε το ερωτεύτηκε.

Σοφιανή Χαμίτη είναι εξειδικευμένος αρχιτέκτονας λύσεων AI / ML στο AWS. Βοηθά τους πελάτες σε όλες τις βιομηχανίες να επιταχύνουν το ταξίδι AI / ML βοηθώντας τους να δημιουργήσουν και να λειτουργήσουν λύσεις μηχανικής μάθησης από άκρο σε άκρο.

Σιάμ Σρινιβασάν είναι Κύριος Διευθυντής Προϊόντων στην ομάδα AWS AI/ML, κορυφαίος στη διαχείριση προϊόντων για το Amazon SageMaker Canvas. Ο Shyam ενδιαφέρεται να κάνει τον κόσμο ένα καλύτερο μέρος μέσω της τεχνολογίας και είναι παθιασμένος με το πώς η τεχνητή νοημοσύνη και η ML μπορούν να αποτελέσουν καταλύτη σε αυτό το ταξίδι.

Avi Patel εργάζεται ως μηχανικός λογισμικού στην ομάδα του Amazon SageMaker Canvas. Το υπόβαθρό του αποτελείται από την εργασία full stack με εστίαση στο frontend. Στον ελεύθερο χρόνο του, του αρέσει να συνεισφέρει σε έργα ανοιχτού κώδικα στον χώρο της κρυπτογράφησης και να μαθαίνει για νέα πρωτόκολλα DeFi.

Jared Heywood είναι Ανώτερος Διευθυντής Επιχειρηματικής Ανάπτυξης στην AWS. Είναι παγκόσμιος ειδικός AI/ML που βοηθά τους πελάτες με μηχανική εκμάθηση χωρίς κώδικα. Εργάστηκε στον χώρο της AutoML τα τελευταία 5 χρόνια και λάνσαρε προϊόντα στην Amazon όπως το Amazon SageMaker JumpStart και το Amazon SageMaker Canvas.