Το Amazon SageMaker Automatic Model Tuning υποστηρίζει πλέον την αναζήτηση πλέγματος

Σήμερα Amazon Sage Maker ανακοίνωσε την υποστήριξη της αναζήτησης Grid για αυτόματος συντονισμός μοντέλου, παρέχοντας στους χρήστες μια πρόσθετη στρατηγική για την εύρεση της καλύτερης διαμόρφωσης υπερπαραμέτρων για το μοντέλο σας.

Ο αυτόματος συντονισμός μοντέλου Amazon SageMaker βρίσκει την καλύτερη έκδοση ενός μοντέλου εκτελώντας πολλές εργασίες εκπαίδευσης στο σύνολο δεδομένων σας χρησιμοποιώντας ένα σειρά των υπερπαραμέτρων που καθορίζετε. Στη συνέχεια επιλέγει τις τιμές υπερπαραμέτρων που καταλήγουν σε ένα μοντέλο που έχει την καλύτερη απόδοση, όπως μετράται με το a μετρικός της επιλογής σας.

Για να βρείτε τις καλύτερες τιμές υπερπαραμέτρων για το μοντέλο σας, ο αυτόματος συντονισμός μοντέλου Amazon SageMaker υποστηρίζει πολλαπλές στρατηγικές, όπως Bayesian (Προεπιλογή) Τυχαίος αναζήτηση και Υπερζώνη.

Αναζήτηση πλέγματος

Η αναζήτηση πλέγματος εξερευνά εξαντλητικά τις διαμορφώσεις στο πλέγμα των υπερπαραμέτρων που ορίζετε, κάτι που σας επιτρέπει να λαμβάνετε πληροφορίες για τις πιο υποσχόμενες διαμορφώσεις υπερπαραμέτρων στο πλέγμα σας και να αναπαράγετε ντετερμινιστικά τα αποτελέσματά σας σε διαφορετικές σειρές συντονισμού. Η αναζήτηση πλέγματος σάς δίνει μεγαλύτερη σιγουριά ότι εξερευνήθηκε ολόκληρος ο χώρος αναζήτησης υπερπαραμέτρων. Αυτό το όφελος συνοδεύεται από συμβιβασμό, επειδή είναι υπολογιστικά πιο ακριβό από τη Bayesian και την τυχαία αναζήτηση, εάν ο κύριος στόχος σας είναι να βρείτε την καλύτερη διαμόρφωση υπερπαραμέτρων.

Αναζήτηση πλέγματος με το Amazon SageMaker

Στο Amazon SageMaker, χρησιμοποιείτε την αναζήτηση πλέγματος όταν το πρόβλημά σας απαιτεί να έχετε τον βέλτιστο συνδυασμό υπερπαραμέτρων που μεγιστοποιεί ή ελαχιστοποιεί τη μέτρηση του στόχου σας. Μια συνηθισμένη περίπτωση χρήσης όπου η αναζήτηση πλέγματος από τον πελάτη είναι όταν η ακρίβεια και η αναπαραγωγιμότητα του μοντέλου είναι πιο σημαντικές για την επιχείρησή σας από το κόστος εκπαίδευσης που απαιτείται για την απόκτησή τους.

Για να ενεργοποιήσετε την Αναζήτηση Πλέγματος στο Amazon SageMaker, ορίστε το Strategy πεδίο στο Grid όταν δημιουργείτε μια εργασία συντονισμού, ως εξής:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Επιπλέον, η αναζήτηση πλέγματος απαιτεί να ορίσετε τον χώρο αναζήτησής σας (καρτεσιανό πλέγμα) ως ένα κατηγορηματικό εύρος διακριτών τιμών στον ορισμό της εργασίας σας χρησιμοποιώντας το CategoricalParameterRanges κλειδί κάτω από το ParameterRanges παράμετρος, ως εξής:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Σημειώστε ότι δεν διευκρινίζουμε MaxNumberOfTrainingJobs για την αναζήτηση πλέγματος στον ορισμό της εργασίας επειδή αυτό καθορίζεται για εσάς από τον αριθμό των συνδυασμών κατηγοριών. Όταν χρησιμοποιείτε Τυχαία και Μπεϋζιανή αναζήτηση, καθορίζετε το MaxNumberOfTrainingJobs παράμετρος ως τρόπος ελέγχου του κόστους εργασίας συντονισμού ορίζοντας ένα ανώτερο όριο για τον υπολογισμό. Με την αναζήτηση πλέγματος, η τιμή του MaxNumberOfTrainingJobs (τώρα προαιρετικό) ορίζεται αυτόματα ως ο αριθμός των υποψηφίων για την αναζήτηση πλέγματος στο DescribeHyperParameterTuningJob σχήμα. Αυτό σας επιτρέπει να εξερευνήσετε εξαντλητικά το επιθυμητό πλέγμα υπερπαραμέτρων. Επιπλέον, ο ορισμός εργασίας αναζήτησης πλέγματος δέχεται μόνο διακριτές κατηγορίες κατηγοριών και δεν απαιτεί ορισμό συνεχών ή ακέραιων περιοχών, επειδή κάθε τιμή στο πλέγμα θεωρείται διακριτή.

Πείραμα αναζήτησης πλέγματος

Σε αυτό το πείραμα, δίνοντας μια εργασία παλινδρόμησης, αναζητούμε τις βέλτιστες υπερπαραμέτρους μέσα σε ένα χώρο αναζήτησης 200 υπερπαραμέτρων, 20 eta και 10 alpha που κυμαίνονται από 0.1 έως 1. Χρησιμοποιούμε το σύνολο δεδομένων άμεσου μάρκετινγκ για να συντονίσετε ένα μοντέλο παλινδρόμησης.

• eta: Συρρίκνωση μεγέθους βήματος που χρησιμοποιείται στις ενημερώσεις για την αποφυγή υπερβολικής προσαρμογής. Μετά από κάθε βήμα ενίσχυσης, μπορείτε να λαμβάνετε απευθείας τα βάρη των νέων λειτουργιών. ο eta Η παράμετρος στην πραγματικότητα συρρικνώνει τα βάρη των χαρακτηριστικών για να κάνει τη διαδικασία ενίσχυσης πιο συντηρητική.
• άλφα: L1 όρος τακτοποίησης στα βάρη. Η αύξηση αυτής της τιμής κάνει τα μοντέλα πιο συντηρητικά.

Το γράφημα στα αριστερά δείχνει μια ανάλυση του eta υπερπαράμετρος σε σχέση με την αντικειμενική μέτρηση και δείχνει πώς η αναζήτηση πλέγματος έχει εξαντλήσει ολόκληρο τον χώρο αναζήτησης (πλέγμα) στους άξονες Χ πριν επιστρέψει το καλύτερο μοντέλο. Ομοίως, το γράφημα στα δεξιά αναλύει τις δύο υπερπαραμέτρους σε έναν ενιαίο καρτεσιανό χώρο για να δείξει ότι όλα τα σημεία του πλέγματος επιλέχθηκαν κατά τη διάρκεια του συντονισμού.

Το παραπάνω πείραμα δείχνει ότι η εξαντλητική φύση της αναζήτησης πλέγματος εγγυάται μια βέλτιστη επιλογή υπερπαραμέτρων δεδομένου του καθορισμένου χώρου αναζήτησης. Αποδεικνύει επίσης ότι μπορείτε να αναπαράγετε το αποτέλεσμα της αναζήτησής σας σε επαναλήψεις συντονισμού, ενώ όλα τα άλλα είναι ίσα.

Ροές εργασίας Amazon SageMaker Automatic Model Tuning (AMT)

Με τον αυτόματο συντονισμό μοντέλων του Amazon SageMaker, μπορείτε να βρείτε την καλύτερη έκδοση του μοντέλου σας εκτελώντας εργασίες εκπαίδευσης στο σύνολο δεδομένων σας με διάφορες στρατηγικές αναζήτησης, όπως Bayesian, Τυχαία αναζήτηση, Αναζήτηση πλέγματος και Hyperband. Ο αυτόματος συντονισμός μοντέλου σάς επιτρέπει να μειώσετε το χρόνο συντονισμού ενός μοντέλου αναζητώντας αυτόματα την καλύτερη διαμόρφωση υπερπαραμέτρων εντός των περιοχών υπερπαραμέτρων που καθορίζετε.

Τώρα που εξετάσαμε το πλεονέκτημα της χρήσης Grid Search στο Amazon SageMaker AMT, ας ρίξουμε μια ματιά στις ροές εργασίας του AMT και ας καταλάβουμε πώς ταιριάζουν όλα μαζί στο SageMaker.

Συμπέρασμα

Σε αυτήν την ανάρτηση, συζητήσαμε πώς μπορείτε τώρα να χρησιμοποιήσετε τη στρατηγική αναζήτησης πλέγματος για να βρείτε το καλύτερο μοντέλο και την ικανότητά του να αναπαράγει ντετερμινιστικά αποτελέσματα σε διαφορετικές εργασίες συντονισμού. Συζητήσαμε την αντιστάθμιση κατά τη χρήση της αναζήτησης πλέγματος σε σύγκριση με άλλες στρατηγικές και πώς σας επιτρέπει να εξερευνήσετε ποιες περιοχές των χώρων υπερπαραμέτρων είναι πιο ελπιδοφόρες και να αναπαράγετε τα αποτελέσματά σας ντετερμινιστικά.

Για να μάθετε περισσότερα σχετικά με τον αυτόματο συντονισμό μοντέλου, επισκεφθείτε τη διεύθυνση σελίδα του προϊόντος και Τεχνικό εγχειρίδιο.

Σχετικά με τον Συγγραφέα

Νταγκ Μπάγια είναι αρχιτέκτονας Senior Partner Solution με έμφαση στα δεδομένα και την ανάλυση. Ο Doug συνεργάζεται στενά με τους συνεργάτες της AWS, βοηθώντας τους να ενσωματώσουν λύσεις δεδομένων και αναλυτικών στοιχείων στο cloud.