Η εκτέλεση πειραμάτων μηχανικής μάθησης (ML) στο cloud μπορεί να εκτείνεται σε πολλές υπηρεσίες και στοιχεία. Η ικανότητα δομής, αυτοματοποίησης και παρακολούθησης πειραμάτων ML είναι απαραίτητη για να καταστεί δυνατή η ταχεία ανάπτυξη μοντέλων ML. Με τις πιο πρόσφατες εξελίξεις στον τομέα της αυτοματοποιημένης μηχανικής μάθησης (AutoML), δηλαδή στον τομέα της ML που είναι αφιερωμένος στην αυτοματοποίηση των διαδικασιών ML, μπορείτε να δημιουργήσετε ακριβή μοντέλα λήψης αποφάσεων χωρίς να χρειάζεστε βαθιά γνώση ML. Σε αυτήν την ανάρτηση, κοιτάμε το AutoGluon, ένα πλαίσιο AutoML ανοιχτού κώδικα που σας επιτρέπει να δημιουργείτε ακριβή μοντέλα ML με λίγες μόνο γραμμές Python.
Το AWS προσφέρει ένα ευρύ φάσμα υπηρεσιών για τη διαχείριση και την εκτέλεση ροών εργασιών ML, επιτρέποντάς σας να επιλέξετε μια λύση με βάση τις δεξιότητες και την εφαρμογή σας. Για παράδειγμα, εάν χρησιμοποιείτε ήδη Λειτουργίες βημάτων AWS για να ενορχηστρώσετε τα στοιχεία των κατανεμημένων εφαρμογών, μπορείτε να χρησιμοποιήσετε την ίδια υπηρεσία για να δημιουργήσετε και να αυτοματοποιήσετε τις ροές εργασίας σας ML. Άλλα εργαλεία MLOps που προσφέρονται από το AWS περιλαμβάνουν Αγωγοί Amazon SageMaker, το οποίο σας δίνει τη δυνατότητα να δημιουργήσετε μοντέλα ML Στούντιο Amazon SageMaker με δυνατότητες MLOps (όπως συμβατότητα CI/CD, παρακολούθηση μοντέλου και εγκρίσεις μοντέλων). Εργαλεία ανοιχτού κώδικα, όπως π.χ Ροή αέρα Apache—διαθέσιμο στο AWS μέσω Ροές εργασίας που διαχειρίζεται η Amazon για ροή αέρα Apache-και KubeFlow, καθώς και υβριδικές λύσεις, υποστηρίζονται επίσης. Για παράδειγμα, μπορείτε να διαχειριστείτε την απορρόφηση και την επεξεργασία δεδομένων με τις Step Functions ενώ εκπαιδεύετε και αναπτύσσετε τα μοντέλα σας ML με το SageMaker Pipelines.
Σε αυτήν την ανάρτηση, δείχνουμε πώς ακόμη και προγραμματιστές χωρίς τεχνογνωσία ML μπορούν εύκολα να δημιουργήσουν και να διατηρήσουν μοντέλα ML τελευταίας τεχνολογίας χρησιμοποιώντας το AutoGluon στο Amazon Sage Maker και Βήμα Λειτουργίες για την ενορχήστρωση στοιχείων ροής εργασίας.
Μετά από μια επισκόπηση του αλγορίθμου AutoGluon, παρουσιάζουμε τους ορισμούς της ροής εργασίας μαζί με παραδείγματα και σεμινάριο κώδικα που μπορείτε να εφαρμόσετε στα δικά σας δεδομένα.
AutoGluon
Το AutoGluon είναι ένα πλαίσιο AutoML ανοιχτού κώδικα που επιταχύνει την υιοθέτηση της ML εκπαιδεύοντας ακριβή μοντέλα ML με λίγες μόνο γραμμές κώδικα Python. Αν και αυτή η ανάρτηση εστιάζει σε δεδομένα σε πίνακα, το AutoGluon σάς επιτρέπει επίσης να εκπαιδεύετε μοντέλα τελευταίας τεχνολογίας για ταξινόμηση εικόνων, ανίχνευση αντικειμένων και ταξινόμηση κειμένου. Το AutoGluon tabular δημιουργεί και συνδυάζει διαφορετικά μοντέλα για να βρει τη βέλτιστη λύση.
Η ομάδα AutoGluon στο AWS κυκλοφόρησε ένα χαρτί που παρουσιάζει τις αρχές που δομούν τη βιβλιοθήκη:
- Απλότητα – Μπορείτε να δημιουργήσετε μοντέλα ταξινόμησης και παλινδρόμησης απευθείας από ακατέργαστα δεδομένα χωρίς να χρειάζεται να αναλύσετε τα δεδομένα ή να εκτελέσετε μηχανική χαρακτηριστικών
- Ευρωστία – Η συνολική εκπαιδευτική διαδικασία θα πρέπει να πετύχει ακόμη και αν κάποια από τα μεμονωμένα μοντέλα αποτύχουν
- Προβλέψιμος χρόνος – Μπορείτε να έχετε βέλτιστα αποτελέσματα μέσα στο χρόνο που θέλετε να επενδύσετε για προπόνηση
- Ανοχή σε σφάλματα – Μπορείτε να διακόψετε την εκπαίδευση και να την συνεχίσετε ανά πάσα στιγμή, γεγονός που βελτιστοποιεί το κόστος εάν η διαδικασία εκτελείται σε σημειακές εικόνες στο cloud
Για περισσότερες λεπτομέρειες σχετικά με τον αλγόριθμο, ανατρέξτε στο χαρτί κυκλοφόρησε από την ομάδα AutoGluon στο AWS.
Αφού εγκαταστήσετε το Συσκευασία AutoGluon και οι εξαρτήσεις του, η εκπαίδευση ενός μοντέλου είναι τόσο εύκολη όσο η σύνταξη τριών γραμμών κώδικα:
Η ομάδα AutoGluon απέδειξε τη δύναμη του πλαισίου φτάνοντας στο top 10 leaderboard σε πολλούς διαγωνισμούς Kaggle.
Επισκόπηση λύσεων
Χρησιμοποιούμε Βήμα Λειτουργίες για να εφαρμόσουμε μια ροή εργασίας ML που καλύπτει εκπαίδευση, αξιολόγηση και ανάπτυξη. Η σχεδίαση σωλήνωσης επιτρέπει γρήγορα και διαμορφώσιμα πειράματα τροποποιώντας τις παραμέτρους εισόδου που τροφοδοτείτε στον αγωγό κατά το χρόνο εκτέλεσης.
Μπορείτε να διαμορφώσετε τη διοχέτευση ώστε να εφαρμόζει διαφορετικές ροές εργασίας, όπως οι ακόλουθες:
- Εκπαιδεύστε ένα νέο μοντέλο ML και αποθηκεύστε το στο μητρώο μοντέλων SageMaker, εάν δεν απαιτείται ανάπτυξη σε αυτό το σημείο
- Αναπτύξτε ένα προεκπαιδευμένο μοντέλο ML, είτε για online (Το τελικό σημείο του SageMaker) ή εκτός σύνδεσης (Μετασχηματισμός παρτίδας SageMaker) συμπέρασμα
- Εκτελέστε μια πλήρη διοχέτευση για να εκπαιδεύσετε, να αξιολογήσετε και να αναπτύξετε ένα μοντέλο ML από την αρχή
Οι λύσεις αποτελούνται από μια γενική κρατική μηχανή (δείτε το παρακάτω διάγραμμα) που ενορχηστρώνει το σύνολο των ενεργειών που θα εκτελεστούν με βάση ένα σύνολο παραμέτρων εισαγωγής.
Τα βήματα της κρατικής μηχανής είναι τα εξής:
- Το πρώτο βήμα
IsTraining
αποφασίζει εάν χρησιμοποιούμε ένα προεκπαιδευμένο μοντέλο ή εκπαιδεύουμε ένα μοντέλο από την αρχή. Εάν χρησιμοποιείτε ένα προεκπαιδευμένο μοντέλο, το μηχάνημα κατάστασης μεταβαίνει στο Βήμα 7. - Όταν απαιτείται ένα νέο μοντέλο ML,
TrainSteps
ενεργοποιεί μια μηχανή δεύτερης κατάστασης που εκτελεί όλες τις απαραίτητες ενέργειες και επιστρέφει το αποτέλεσμα στην τρέχουσα μηχανή. Μπαίνουμε σε περισσότερες λεπτομέρειες για το μηχάνημα κατάστασης εκπαίδευσης στην επόμενη ενότητα. - Όταν ολοκληρωθεί η προπόνηση,
PassModelName
αποθηκεύει το όνομα της εργασίας εκπαίδευσης σε μια καθορισμένη θέση του περιβάλλοντος της μηχανής κατάστασης που θα επαναχρησιμοποιηθεί στις ακόλουθες καταστάσεις. - Εάν επιλεγεί μια φάση αξιολόγησης,
IsEvaluation
ανακατευθύνει την κρατική μηχανή προς τον κλάδο αξιολόγησης. Διαφορετικά, μεταβαίνει στο Βήμα 7. - Στη συνέχεια, η φάση αξιολόγησης υλοποιείται χρησιμοποιώντας ένα AWS Lambda λειτουργία που επικαλείται το
ModelValidation
βήμα. Η συνάρτηση Lambda ανακτά τις επιδόσεις του μοντέλου σε ένα δοκιμαστικό σύνολο και το συγκρίνει με ένα όριο που ρυθμίζεται από το χρήστη που καθορίζεται στις παραμέτρους εισόδου. Ο παρακάτω κώδικας είναι ένα παράδειγμα αποτελεσμάτων αξιολόγησης: - Εάν η αξιολόγηση του μοντέλου στο
EvaluationResults
είναι επιτυχής, η κρατική μηχανή συνεχίζει με ενδεχόμενα βήματα ανάπτυξης. Εάν το μοντέλο αποδίδει κάτω από κριτήρια που καθορίζονται από τον χρήστη, η μηχανή κατάστασης σταματά και η ανάπτυξη παραλείπεται. - Εάν επιλεγεί η ανάπτυξη,
IsDeploy
ξεκινά μια μηχανή τρίτης κατάστασηςDeploySteps
, το οποίο περιγράφουμε αργότερα σε αυτήν την ανάρτηση. Εάν δεν απαιτείται ανάπτυξη, το μηχάνημα κατάστασης σταματά εδώ.
Ένα σύνολο δειγμάτων παραμέτρων εισόδου είναι διαθέσιμο στο GitHub repo.
Προπονητική κρατική μηχανή
Το μηχάνημα κατάστασης για την εκπαίδευση ενός νέου μοντέλου ML χρησιμοποιώντας το AutoGluon αποτελείται από δύο βήματα, όπως φαίνεται στο παρακάτω διάγραμμα. Το πρώτο βήμα είναι μια εργασία εκπαίδευσης του SageMaker που δημιουργεί το μοντέλο. Το δεύτερο αποθηκεύει τις εγγραφές στο μητρώο μοντέλων SageMaker.
Μπορείτε να εκτελέσετε αυτά τα βήματα είτε αυτόματα ως μέρος της κύριας μηχανής κατάστασης είτε ως αυτόνομη διαδικασία.
Μηχανή κατάστασης ανάπτυξης
Ας δούμε τώρα το μηχάνημα κατάστασης που είναι αφιερωμένο στη φάση ανάπτυξης (δείτε το παρακάτω διάγραμμα). Όπως αναφέρθηκε προηγουμένως, η αρχιτεκτονική υποστηρίζει την ανάπτυξη τόσο σε απευθείας σύνδεση όσο και εκτός σύνδεσης. Το πρώτο συνίσταται στην ανάπτυξη ενός τερματικού σημείου SageMaker, ενώ το δεύτερο εκτελεί μια εργασία μετασχηματισμού δέσμης SageMaker.
Τα βήματα υλοποίησης είναι τα εξής:
ChoiceDeploymentMode
εξετάζει τις παραμέτρους εισόδου για να καθορίσει ποια λειτουργία ανάπτυξης χρειάζεται και κατευθύνει τη μηχανή κατάστασης προς τον αντίστοιχο κλάδο.- Εάν επιλεγεί ένα τελικό σημείο, το
EndpointConfig
βήμα ορίζει τη διαμόρφωσή του, ενώCreateEndpoint
ξεκινά τη διαδικασία κατανομής των απαιτούμενων υπολογιστικών πόρων. Αυτή η κατανομή μπορεί να διαρκέσει αρκετά λεπτά, επομένως ο υπολογιστής κατάστασης σταματάει στοWaitForEndpoint
και χρησιμοποιεί μια συνάρτηση Lambda για να ελέγξει την κατάσταση του τελικού σημείου. - Ενώ διαμορφώνεται το τελικό σημείο,
ChoiceEndpointStatus
επιστρέφει στοWaitForEndpoint
κράτος, διαφορετικά συνεχίζει είτεDeploymentFailed
orDeploymentSucceeded
. - Εάν έχει επιλεγεί η ανάπτυξη εκτός σύνδεσης, ο υπολογιστής κατάστασης εκτελεί μια εργασία μετασχηματισμού παρτίδας του SageMaker, μετά την οποία ο υπολογιστής κατάστασης σταματά.
Συμπέρασμα
Αυτή η ανάρτηση παρουσιάζει μια εύχρηστη διοχέτευση για να ενορχηστρώσει τις ροές εργασίας AutoML και να ενεργοποιήσει γρήγορα πειράματα στο cloud, επιτρέποντας ακριβείς λύσεις ML χωρίς να απαιτείται προηγμένη γνώση ML.
Παρέχουμε έναν γενικό αγωγό καθώς και δύο αρθρωτούς που σας επιτρέπουν να εκτελείτε εκπαίδευση και ανάπτυξη ξεχωριστά εάν χρειάζεται. Επιπλέον, η λύση είναι πλήρως ενσωματωμένη στο SageMaker, επωφελούμενη από τις δυνατότητες και τους υπολογιστικούς πόρους του.
Ξεκινήστε τώρα με αυτό σεμινάριο κώδικα για να αναπτύξετε τους πόρους που παρουσιάζονται σε αυτήν την ανάρτηση στον λογαριασμό σας AWS και να εκτελέσετε τα πρώτα σας πειράματα AutoML.
Σχετικά με τους Συγγραφείς
Φεντερίκο Πιτσινίνι είναι αρχιτέκτονας Deep Learning για το Amazon Machine Learning Solutions Lab. Είναι παθιασμένος με τη μηχανική μάθηση, την εξηγήσιμη τεχνητή νοημοσύνη και τα MLOps. Επικεντρώνεται στο σχεδιασμό αγωγών ML για πελάτες AWS. Εκτός δουλειάς, του αρέσει ο αθλητισμός και η πίτσα.
Πάολο Ιρέρα είναι Επιστήμονας Δεδομένων στο Amazon Machine Learning Solutions Lab, όπου βοηθά τους πελάτες να αντιμετωπίσουν επιχειρηματικά προβλήματα με δυνατότητες ML και cloud. Είναι κάτοχος διδακτορικού στο Computer Vision από την Telecom ParisTech, Παρίσι.
- Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
- CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
- Πηγή: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- ικανότητα
- Σχετικά
- Λογαριασμός
- ακριβής
- απέναντι
- ενεργειών
- διεύθυνση
- Υιοθεσία
- προηγμένες
- εξελίξεις
- AI
- αλγόριθμος
- Όλα
- κατανομή
- Επιτρέποντας
- επιτρέπει
- ήδη
- Αν και
- Amazon
- αναλύσει
- Εφαρμογή
- εφαρμογές
- Εφαρμογή
- αρχιτεκτονική
- ΠΕΡΙΟΧΗ
- αυτοματοποίηση
- Αυτοματοποιημένη
- αυτομάτως
- Αυτοματοποίηση
- διαθέσιμος
- AWS
- είναι
- παρακάτω
- χτίζω
- επιχείρηση
- Μπορεί να πάρει
- δυνατότητες
- επιλέγονται
- ταξινόμηση
- Backup
- κωδικός
- συμβατότητα
- Διαγωνισμοί
- πλήρης
- εξαρτήματα
- υπολογιστή
- χρήση υπολογιστή
- διαμόρφωση
- συνεχίζεται
- Αντίστοιχος
- Δικαστικά έξοδα
- δημιουργία
- δημιουργεί
- κριτήρια
- Ρεύμα
- Τωρινή κατάσταση
- Πελάτες
- ημερομηνία
- επιστήμονας δεδομένων
- αφιερωμένο
- βαθύς
- παρατάσσω
- ανάπτυξη
- ανάπτυξη
- περιγράφουν
- Υπηρεσίες
- σχέδιο
- λεπτομέρεια
- καθέκαστα
- Ανίχνευση
- προγραμματιστές
- Ανάπτυξη
- διαφορετικές
- κατευθείαν
- διανέμονται
- εύκολα
- εύκολο στη χρήση
- ενεργοποιήσετε
- δίνει τη δυνατότητα
- Τελικό σημείο
- ουσιώδης
- αξιολογήσει
- εκτίμηση
- παράδειγμα
- παραδείγματα
- εξειδίκευση
- FAST
- Χαρακτηριστικό
- Χαρακτηριστικά
- Όνομα
- εστιάζει
- Εξής
- εξής
- Πλαίσιο
- από
- λειτουργία
- λειτουργίες
- General
- που έχει
- βοηθά
- εδώ
- κατέχει
- Πως
- HTTPS
- Υβριδικό
- εικόνα
- εικόνες
- εφαρμογή
- εκτέλεση
- εφαρμοστεί
- περιλαμβάνουν
- ατομικές
- εισαγωγή
- εγκαθιστώ
- ενσωματωθεί
- IT
- Δουλειά
- γνώση
- εργαστήριο
- αργότερο
- μάθηση
- Βιβλιοθήκη
- γραμμές
- τοποθεσία
- ματιά
- μηχανή
- μάθηση μηχανής
- διατηρήσουν
- διαχείριση
- διαχειρίζεται
- που αναφέρθηκαν
- ML
- μοντέλο
- μοντέλα
- σπονδυλωτή
- παρακολούθηση
- περισσότερο
- πολλαπλούς
- και συγκεκριμένα
- απαραίτητος
- χρειάζονται
- επόμενη
- προσφέρονται
- προσφορές
- offline
- διαδικτυακά (online)
- ΑΛΛΑ
- αλλιώς
- φόρμες
- δική
- Παρίσι
- μέρος
- παθιασμένος
- παραστάσεις
- εκτέλεση
- φάση
- πίτσα
- ψηφοφορία
- παρόν
- δώρα
- προβλήματα
- διαδικασια μας
- Διεργασίες
- μεταποίηση
- παρέχουν
- σειρά
- Ακατέργαστος
- κυκλοφόρησε
- απαιτείται
- Υποστηρικτικό υλικό
- Αποτελέσματα
- περίληψη
- Επιστροφές
- τρέξιμο
- ίδιο
- Επιστήμονας
- επιλέγονται
- υπηρεσία
- Υπηρεσίες
- σειρά
- διάφοροι
- δείχνουν
- δεξιότητες
- So
- λύση
- Λύσεις
- μερικοί
- Αθλητισμός
- Spot
- αυτόνομο
- ξεκίνησε
- ξεκινά
- Κατάσταση
- state-of-the-art
- Μελών
- Κατάσταση
- κατάστημα
- καταστήματα
- δύναμη
- επιτυχής
- υποστηριζόνται!
- Υποστηρίζει
- τηλεπικοινωνιών
- δοκιμή
- Η
- τρία
- κατώφλι
- Μέσω
- ώρα
- εργαλεία
- κορυφή
- προς
- τροχιά
- Τρένο
- Εκπαίδευση
- Μεταμορφώστε
- χρήση
- όραμα
- αν
- ενώ
- εντός
- χωρίς
- Εργασία
- ροές εργασίας
- γραφή
- Σας