Εκκινήστε τα πειράματα Amazon SageMaker Autopilot απευθείας από τους αγωγούς Amazon SageMaker για να αυτοματοποιήσετε εύκολα τις ροές εργασίας MLOps

Αυτόματος πιλότος Amazon SageMaker, μια υπηρεσία μηχανικής εκμάθησης χαμηλού κώδικα (ML) που δημιουργεί αυτόματα, εκπαιδεύει και συντονίζει τα καλύτερα μοντέλα ML με βάση τα δεδομένα σε πίνακα, είναι πλέον ενσωματωμένη με Αγωγοί Amazon SageMaker, η πρώτη στοχευμένη υπηρεσία συνεχούς ενοποίησης και συνεχούς παράδοσης (CI/CD) για ML. Αυτό επιτρέπει την αυτοματοποίηση μιας ροής από άκρο σε άκρο κατασκευής μοντέλων ML με χρήση Autopilot και ενσωμάτωση μοντέλων σε επόμενα βήματα CI/CD.

Μέχρι στιγμής, για να ξεκινήσετε ένα πείραμα αυτόματου πιλότου εντός των Pipelines, πρέπει να δημιουργήσετε μια ροή εργασιών δημιουργίας μοντέλων γράφοντας προσαρμοσμένο κώδικα ενσωμάτωσης με Pipelines Λάμδα or Επεξεργασία βήματα. Για περισσότερες πληροφορίες, βλ Μετακινήστε τα μοντέλα Amazon SageMaker Autopilot ML από τον πειραματισμό στην παραγωγή χρησιμοποιώντας το Amazon SageMaker Pipelines.

Με την υποστήριξη για αυτόματο πιλότο ως εγγενές βήμα στο Pipelines, μπορείτε τώρα να προσθέσετε ένα αυτοματοποιημένο βήμα εκπαίδευσης (AutoMLStep) στο Pipelines και καλέστε ένα πείραμα Autopilot με Λειτουργία εκπαίδευσης συνόλου. Για παράδειγμα, εάν δημιουργείτε μια ροή εργασιών εκπαίδευσης και αξιολόγησης ML για μια περίπτωση χρήσης ανίχνευσης απάτης με το Pipelines, μπορείτε τώρα να ξεκινήσετε ένα πείραμα αυτόματου πιλότου χρησιμοποιώντας το βήμα AutoML, το οποίο εκτελεί αυτόματα πολλαπλές δοκιμές για να βρει το καλύτερο μοντέλο σε ένα δεδομένο σύνολο δεδομένων εισόδου . Αφού δημιουργηθεί το καλύτερο μοντέλο χρησιμοποιώντας το Μοντέλο βήμα, η απόδοσή του μπορεί να αξιολογηθεί σε δεδομένα δοκιμής χρησιμοποιώντας το Βήμα μετασχηματισμού και σε έναν Βήμα επεξεργασίας για ένα προσαρμοσμένο σενάριο αξιολόγησης εντός Pipelines. Τελικά, το μοντέλο μπορεί να εγγραφεί στο μητρώο μοντέλου SageMaker χρησιμοποιώντας το Μοντέλο βήμα σε συνδυασμό με ένα Βήμα συνθήκης.

Σε αυτήν την ανάρτηση, δείχνουμε πώς να δημιουργήσετε μια ροή εργασιών ML από άκρο σε άκρο για να εκπαιδεύσετε και να αξιολογήσετε ένα μοντέλο ML που δημιουργήθηκε από το SageMaker χρησιμοποιώντας το νέο βήμα AutoML στο Pipelines και να το καταχωρίσετε στο μητρώο μοντέλων του SageMaker. Το μοντέλο ML με την καλύτερη απόδοση μπορεί να αναπτυχθεί σε ένα τελικό σημείο του SageMaker.

Επισκόπηση συνόλου δεδομένων

Χρησιμοποιούμε τα διαθέσιμα στο κοινό Δεδομένα εισοδήματος απογραφής UCI Ενηλίκων 1994 να προβλέψει εάν ένα άτομο έχει ετήσιο εισόδημα μεγαλύτερο από 50,000 $ ετησίως. Αυτό είναι ένα πρόβλημα δυαδικής ταξινόμησης. οι επιλογές για τη μεταβλητή στόχο εισοδήματος είναι είτε 50 χιλιάδες.

Το σύνολο δεδομένων περιέχει 32,561 σειρές για εκπαίδευση και επικύρωση και 16,281 σειρές για δοκιμή με 15 στήλες η καθεμία. Αυτό περιλαμβάνει δημογραφικές πληροφορίες για άτομα και class ως στήλη στόχου που υποδεικνύει την εισοδηματική κατηγορία.

Επισκόπηση λύσεων

Χρησιμοποιούμε Pipelines για να ενορχηστρώσουμε διαφορετικά βήματα του αγωγού απαιτείται για την εκπαίδευση ενός μοντέλου αυτόματου πιλότου. Δημιουργούμε και τρέχουμε ένα Πείραμα αυτόματου πιλότου ως μέρος ενός βήματος AutoML όπως περιγράφεται σε αυτό το σεμινάριο.

Τα ακόλουθα βήματα απαιτούνται για αυτήν τη διαδικασία εκπαίδευσης αυτόματου πιλότου από άκρο σε άκρο:

• Δημιουργήστε και παρακολουθήστε μια εργασία εκπαίδευσης αυτόματου πιλότου χρησιμοποιώντας το AutoMLStep.
• Δημιουργήστε ένα μοντέλο SageMaker χρησιμοποιώντας ModelStep. Αυτό το βήμα ανακτά τα μεταδεδομένα και τα τεχνουργήματα του καλύτερου μοντέλου που αποδόθηκαν από τον Autopilot στο προηγούμενο βήμα.
• Αξιολογήστε το εκπαιδευμένο μοντέλο Αυτόματου πιλότου σε ένα δοκιμαστικό σύνολο δεδομένων χρησιμοποιώντας TransformStep.
• Συγκρίνετε την έξοδο από την προηγούμενη εκτέλεση TransformStep με τις πραγματικές ετικέτες-στόχους που χρησιμοποιούν ProcessingStep.
• Καταχωρίστε το μοντέλο ML στο Μητρώο μοντέλων SageMaker χρησιμοποιώντας ModelStep, εάν η μέτρηση αξιολόγησης που ελήφθη προηγουμένως υπερβαίνει ένα προκαθορισμένο όριο σε ConditionStep.
• Αναπτύξτε το μοντέλο ML ως τελικό σημείο του SageMaker για σκοπούς δοκιμής.

Αρχιτεκτονική

Το διάγραμμα αρχιτεκτονικής παρακάτω απεικονίζει τα διάφορα βήματα διοχέτευσης που είναι απαραίτητα για τη συσκευασία όλων των βημάτων σε μια αναπαραγώγιμη, αυτοματοποιημένη και επεκτάσιμη γραμμή εκπαίδευσης SageMaker Autopilot. Τα αρχεία δεδομένων διαβάζονται από τον κάδο S3 και τα βήματα της διοχέτευσης καλούνται διαδοχικά.

Walkthrough

Αυτή η ανάρτηση παρέχει μια λεπτομερή εξήγηση των βημάτων του αγωγού. Εξετάζουμε τον κώδικα και συζητάμε τα στοιχεία κάθε βήματος. Για να αναπτύξετε τη λύση, ανατρέξτε στο παράδειγμα σημειωματάριο, το οποίο παρέχει οδηγίες βήμα προς βήμα για την υλοποίηση μιας ροής εργασίας Autopilot MLOps χρησιμοποιώντας Pipelines.

Προϋποθέσεις

Συμπληρώστε τις παρακάτω προϋποθέσεις:

Όταν το σύνολο δεδομένων είναι έτοιμο για χρήση, πρέπει να ρυθμίσουμε Pipelines για να δημιουργήσουμε μια επαναλαμβανόμενη διαδικασία για την αυτόματη δημιουργία και εκπαίδευση μοντέλων ML χρησιμοποιώντας τον Αυτόματο πιλότο. Χρησιμοποιούμε το SageMaker SDK για να ορίσετε, να εκτελέσετε και να παρακολουθήσετε μέσω προγραμματισμού έναν αγωγό εκπαίδευσης ML από άκρο σε άκρο.

Βήματα αγωγού

Στις επόμενες ενότητες, περνάμε από τα διάφορα βήματα στη διοχέτευση του SageMaker, συμπεριλαμβανομένης της εκπαίδευσης AutoML, της δημιουργίας μοντέλου, της εξαγωγής συμπερασμάτων παρτίδας, της αξιολόγησης και της υπό όρους καταχώρισης του καλύτερου μοντέλου. Το παρακάτω διάγραμμα απεικονίζει ολόκληρη τη ροή του αγωγού.

Βήμα εκπαίδευσης AutoML

An Αντικείμενο AutoML χρησιμοποιείται για τον καθορισμό της εκτέλεσης εργασίας εκπαίδευσης Αυτόματου πιλότου και μπορεί να προστεθεί στη διοχέτευση του SageMaker χρησιμοποιώντας το AutoMLStep τάξη, όπως φαίνεται στον παρακάτω κώδικα. Πρέπει να καθοριστεί ο τρόπος εκπαίδευσης συνόλου, αλλά άλλες παράμετροι μπορούν να προσαρμοστούν ανάλογα με τις ανάγκες. Για παράδειγμα, αντί να αφήνετε την εργασία AutoML να συμπεράνει αυτόματα το ML τύπος προβλήματος και αντικειμενική μέτρηση, αυτά θα μπορούσαν να κωδικοποιηθούν σκληρά προσδιορίζοντας το problem_type και job_objective παραμέτρους που μεταβιβάζονται στο αντικείμενο AutoML.

automl = AutoML(
    role=execution_role,
    target_attribute_name=target_attribute_name,
    sagemaker_session=pipeline_session,
    total_job_runtime_in_seconds=max_automl_runtime,
    mode="ENSEMBLING",
)
train_args = automl.fit(
    inputs=[
        AutoMLInput(
            inputs=s3_train_val,
            target_attribute_name=target_attribute_name,
            channel_type="training",
        )
    ]
)
step_auto_ml_training = AutoMLStep(
    name="AutoMLTrainingStep",
    step_args=train_args,
)

Βήμα δημιουργίας μοντέλου

Το βήμα AutoML φροντίζει να δημιουργήσει διάφορα υποψήφια μοντέλα ML, να τα συνδυάσει και να αποκτήσει το καλύτερο μοντέλο ML. Τα τεχνουργήματα μοντέλων και τα μεταδεδομένα αποθηκεύονται αυτόματα και μπορούν να ληφθούν καλώντας το get_best_auto_ml_model() μέθοδο στο βήμα εκπαίδευσης AutoML. Αυτά μπορούν στη συνέχεια να χρησιμοποιηθούν για τη δημιουργία ενός μοντέλου SageMaker ως μέρος του βήματος Μοντέλο:

best_auto_ml_model = step_auto_ml_training.get_best_auto_ml_model(
    execution_role, sagemaker_session=pipeline_session
)
step_args_create_model = best_auto_ml_model.create(instance_type=instance_type)
step_create_model = ModelStep(name="ModelCreationStep", step_args=step_args_create_model)

Βήματα μετασχηματισμού παρτίδας και αξιολόγησης

Χρησιμοποιούμε το Αντικείμενο μετασχηματιστή for συμπέρασμα παρτίδας στο σύνολο δεδομένων δοκιμής, το οποίο στη συνέχεια μπορεί να χρησιμοποιηθεί για σκοπούς αξιολόγησης. Οι προβλέψεις εξόδου συγκρίνονται με τις ετικέτες πραγματικής ή βασικής αλήθειας χρησιμοποιώντας μια συνάρτηση μετρήσεων Scikit-learn. Αξιολογούμε τα αποτελέσματά μας με βάση το Βαθμολογία F1. Οι μετρήσεις απόδοσης αποθηκεύονται σε ένα αρχείο JSON, το οποίο αναφέρεται κατά την εγγραφή του μοντέλου στο επόμενο βήμα.

Βήματα εγγραφής υπό όρους

Σε αυτό το βήμα, καταχωρούμε το νέο μας μοντέλο Autopilot στο μητρώο μοντέλων SageMaker, εάν υπερβαίνει το προκαθορισμένο όριο μετρικής αξιολόγησης.

Δημιουργήστε και εκτελέστε τη διοχέτευση

Αφού ορίσουμε τα βήματα, τα συνδυάζουμε σε μια διοχέτευση SageMaker:

pipeline = Pipeline(
    name="AutoMLTrainingPipeline",
    parameters=[
        instance_count,
        instance_type,
        max_automl_runtime,
        model_approval_status,
        model_package_group_name,
        model_registration_metric_threshold,
        s3_bucket,
        target_attribute_name,
    ],
    steps=[
        step_auto_ml_training,
        step_create_model,
        step_batch_transform,
        step_evaluation,
        step_conditional_registration,
    ],
    sagemaker_session=pipeline_session,
)

Τα βήματα εκτελούνται με διαδοχική σειρά. Η διοχέτευση εκτελεί όλα τα βήματα για μια εργασία AutoML χρησιμοποιώντας Autopilot και Pipelines για εκπαίδευση, αξιολόγηση μοντέλου και καταχώριση μοντέλου.

Μπορείτε να προβάλετε το νέο μοντέλο μεταβαίνοντας στο μητρώο μοντέλων στην κονσόλα Studio και ανοίγοντας AutoMLModelPackageGroup. Επιλέξτε οποιαδήποτε έκδοση μιας εργασίας εκπαίδευσης για να δείτε τις αντικειμενικές μετρήσεις στο Ποιότητα μοντέλου Tab.

Μπορείτε να δείτε την αναφορά επεξήγησης στο Επεξήγηση καρτέλα για να κατανοήσετε τις προβλέψεις του μοντέλου σας.

Για να δείτε το υποκείμενο πείραμα Autopilot για όλα τα μοντέλα που δημιουργήθηκαν στο AutoMLStep, μεταβείτε στο AutoML σελίδα και επιλέξτε το όνομα εργασίας.

Αναπτύξτε το μοντέλο

Αφού ελέγξουμε με μη αυτόματο τρόπο την απόδοση του μοντέλου ML, μπορούμε να αναπτύξουμε το μοντέλο που δημιουργήθηκε πρόσφατα σε ένα τελικό σημείο του SageMaker. Για αυτό, μπορούμε να εκτελέσουμε τα κελιά στο σημειωματάριο που δημιουργούν το τελικό σημείο του μοντέλου χρησιμοποιώντας τη διαμόρφωση μοντέλου που είναι αποθηκευμένη στο μητρώο μοντέλου SageMaker.

Λάβετε υπόψη ότι αυτό το σενάριο είναι κοινόχρηστο για σκοπούς επίδειξης, αλλά συνιστάται να ακολουθήσετε μια πιο ισχυρή διοχέτευση CI/CD για ανάπτυξη παραγωγής για συμπέρασμα ML. Για περισσότερες πληροφορίες, ανατρέξτε στο Δημιουργία, αυτοματοποίηση, διαχείριση και κλιμάκωση ροών εργασίας ML χρησιμοποιώντας το Amazon SageMaker Pipelines.

Χαρακτηριστικά

Αυτή η ανάρτηση περιγράφει μια εύχρηστη προσέγγιση διοχέτευσης ML για την αυτόματη εκπαίδευση μοντέλων ML σε πίνακα (AutoML) με χρήση Autopilot, Pipelines και Studio. Το AutoML βελτιώνει την αποτελεσματικότητα των επαγγελματιών ML, επιταχύνοντας τη διαδρομή από τον πειραματισμό ML στην παραγωγή χωρίς την ανάγκη εκτεταμένης τεχνογνωσίας ML. Περιγράφουμε τα αντίστοιχα βήματα διοχέτευσης που απαιτούνται για τη δημιουργία, την αξιολόγηση και την καταχώριση του μοντέλου ML. Ξεκινήστε δοκιμάζοντας το παράδειγμα σημειωματάριο για να εκπαιδεύσετε και να αναπτύξετε τα δικά σας προσαρμοσμένα μοντέλα AutoML.

Για περισσότερες πληροφορίες σχετικά με τον αυτόματο πιλότο και τους αγωγούς, ανατρέξτε στο Αυτοματοποιήστε την ανάπτυξη μοντέλων με το Amazon SageMaker Autopilot και Αγωγοί Amazon SageMaker.

Ιδιαίτερες ευχαριστίες σε όλους όσους συνέβαλαν στην κυκλοφορία: Shenghua Yue, John He, Ao Guo, Xinlu Tu, Tian Qin, Yanda Hu, Zhankui Lu και Dewen Qi.

Σχετικά με τους Συγγραφείς

Janisha Anand είναι Ανώτερος Διευθυντής Προϊόντων στην ομάδα SageMaker Low/No Code ML, η οποία περιλαμβάνει το SageMaker Autopilot. Απολαμβάνει τον καφέ, μένει δραστήρια και περνά χρόνο με την οικογένειά της.

Μαρσέλο Αμπέρλε είναι Μηχανικός ML στο AWS AI. Αυτος βοηθαει Εργαστήριο Amazon ML Solutions Οι πελάτες δημιουργούν επεκτάσιμα συστήματα και πλαίσια ML(-Ops). Στον ελεύθερο χρόνο του, του αρέσει η πεζοπορία και η ποδηλασία στην περιοχή του κόλπου του Σαν Φρανσίσκο.

Τζέρεμι Κοέν είναι ένας αρχιτέκτονας λύσεων με AWS, όπου βοηθά τους πελάτες να δημιουργήσουν πρωτοποριακές λύσεις που βασίζονται στο cloud. Στον ελεύθερο χρόνο του, απολαμβάνει μικρούς περιπάτους στην παραλία, εξερευνά την περιοχή του κόλπου με την οικογένειά του, διορθώνει πράγματα γύρω από το σπίτι, σπάει τα πράγματα γύρω από το σπίτι και μπάρμπεκιου.

Shenghua Yue είναι Μηχανικός Ανάπτυξης Λογισμικού στο Amazon SageMaker. Επικεντρώνεται στην κατασκευή εργαλείων και προϊόντων ML για πελάτες. Εκτός δουλειάς, της αρέσει η ύπαιθρος, η γιόγκα και η πεζοπορία.