Οργανώστε το ταξίδι μηχανικής εκμάθησης με το Amazon SageMaker Experiments και το Amazon SageMaker Pipelines

Η διαδικασία δημιουργίας ενός μοντέλου μηχανικής μάθησης (ML) είναι επαναληπτική μέχρι να βρείτε το υποψήφιο μοντέλο που έχει καλή απόδοση και είναι έτοιμο για ανάπτυξη. Καθώς οι επιστήμονες δεδομένων επαναλαμβάνουν αυτή τη διαδικασία, χρειάζονται μια αξιόπιστη μέθοδο για την εύκολη παρακολούθηση των πειραμάτων για να κατανοήσουν πώς κατασκευάστηκε κάθε έκδοση μοντέλου και πώς αποδόθηκε.

Amazon Sage Maker επιτρέπει στις ομάδες να επωφεληθούν από ένα ευρύ φάσμα χαρακτηριστικών για γρήγορη προετοιμασία, κατασκευή, εκπαίδευση, ανάπτυξη και παρακολούθηση μοντέλων ML. Αγωγοί Amazon SageMaker παρέχει μια επαναλαμβανόμενη διαδικασία για επανάληψη μέσω δραστηριοτήτων κατασκευής μοντέλων και είναι ενσωματωμένη με Πειράματα Amazon SageMaker. Από προεπιλογή, κάθε διοχέτευση SageMaker σχετίζεται με ένα πείραμα και κάθε εκτέλεση αυτού του αγωγού παρακολουθείται ως δοκιμή σε αυτό το πείραμα. Στη συνέχεια, οι επαναλήψεις σας παρακολουθούνται αυτόματα χωρίς πρόσθετα βήματα.

Σε αυτήν την ανάρτηση, ρίχνουμε μια πιο προσεκτική ματιά στο κίνητρο πίσω από την ύπαρξη μιας αυτοματοποιημένης διαδικασίας παρακολούθησης πειραμάτων με Πειράματα και τις εγγενείς δυνατότητες που είναι ενσωματωμένες σε Pipelines.

Γιατί είναι σημαντικό να διατηρείτε τα πειράματά σας οργανωμένα;

Ας κάνουμε ένα βήμα πίσω για λίγο και ας προσπαθήσουμε να καταλάβουμε γιατί είναι σημαντικό να οργανώνονται πειράματα για τη μηχανική εκμάθηση. Όταν οι επιστήμονες δεδομένων προσεγγίζουν ένα νέο πρόβλημα ML, πρέπει να απαντήσουν σε πολλές διαφορετικές ερωτήσεις, από τη διαθεσιμότητα δεδομένων μέχρι τον τρόπο μέτρησης της απόδοσης του μοντέλου.

Στην αρχή, η διαδικασία είναι γεμάτη αβεβαιότητα και είναι εξαιρετικά επαναληπτική. Ως αποτέλεσμα, αυτή η πειραματική φάση μπορεί να παράγει πολλαπλά μοντέλα, καθένα από τα οποία δημιουργείται από τις δικές του εισόδους (σύνολα δεδομένων, σενάρια εκπαίδευσης και υπερπαράμετροι) και παράγει τα δικά του αποτελέσματα (τεχνουργήματα μοντέλων και μετρήσεις αξιολόγησης). Η πρόκληση λοιπόν είναι να παρακολουθείτε όλες αυτές τις εισόδους και εξόδους κάθε επανάληψης.

Οι επιστήμονες δεδομένων συνήθως εκπαιδεύουν πολλές διαφορετικές εκδόσεις μοντέλων μέχρι να βρουν τον συνδυασμό μετασχηματισμού δεδομένων, αλγορίθμου και υπερπαραμέτρων που έχει ως αποτέλεσμα την καλύτερη απόδοση ενός μοντέλου. Κάθε ένας από αυτούς τους μοναδικούς συνδυασμούς είναι ένα μόνο πείραμα. Με μια ανιχνεύσιμη εγγραφή των εισόδων, των αλγορίθμων και των υπερπαραμέτρων που χρησιμοποιήθηκαν από αυτήν τη δοκιμή, η ομάδα της επιστήμης δεδομένων μπορεί να βρει εύκολο να αναπαράγει τα βήματά της.

Η ύπαρξη μιας αυτοματοποιημένης διαδικασίας παρακολούθησης πειραμάτων βελτιώνει την ικανότητα αναπαραγωγής καθώς και την ανάπτυξη συγκεκριμένων εκδόσεων μοντέλων που έχουν καλή απόδοση. Η εγγενής ενσωμάτωση του Pipelines με τα πειράματα καθιστά εύκολη την αυτόματη παρακολούθηση και διαχείριση των πειραμάτων σε όλες τις εκτελέσεις αγωγών.

Οφέλη των πειραμάτων SageMaker

Το SageMaker Experiments επιτρέπει στους επιστήμονες δεδομένων να οργανώνουν, να παρακολουθούν, να συγκρίνουν και να αξιολογούν τις επαναλήψεις εκπαίδευσής τους.

Ας ξεκινήσουμε πρώτα με μια επισκόπηση του τι μπορείτε να κάνετε με τα Πειράματα:

• Οργάνωση πειραμάτων – Τα πειράματα δομούν τον πειραματισμό με μια οντότητα ανώτατου επιπέδου που ονομάζεται an πείραμα που περιέχει ένα σύνολο από δοκιμές. Κάθε δοκιμή περιέχει ένα σύνολο βημάτων που καλούνται δοκιμαστικά στοιχεία. Κάθε δοκιμαστικό στοιχείο είναι ένας συνδυασμός συνόλων δεδομένων, αλγορίθμων και παραμέτρων. Μπορείτε να απεικονίσετε τα πειράματα ως τον φάκελο ανώτατου επιπέδου για την οργάνωση των υποθέσεων σας, τις δοκιμές σας ως υποφάκελους για κάθε ομαδική δοκιμαστική εκτέλεση και τα δοκιμαστικά στοιχεία ως τα αρχεία σας για κάθε παρουσία μιας δοκιμαστικής εκτέλεσης.
• Παρακολούθηση πειραμάτων – Τα πειράματα επιτρέπουν στους επιστήμονες δεδομένων να παρακολουθούν τα πειράματα. Προσφέρει τη δυνατότητα αυτόματης ανάθεσης εργασιών SageMaker σε μια δοκιμή μέσω απλών διαμορφώσεων και μέσω των SDK παρακολούθησης.
• Συγκρίνετε και αξιολογήστε τα πειράματα – Η ενσωμάτωση των πειραμάτων με Στούντιο Amazon SageMaker διευκολύνει την παραγωγή οπτικοποιήσεων δεδομένων και τη σύγκριση διαφορετικών δοκιμών. Μπορείτε επίσης να αποκτήσετε πρόσβαση στα δοκιμαστικά δεδομένα μέσω του Python SDK για να δημιουργήσετε τη δική σας οπτικοποίηση χρησιμοποιώντας τις προτιμώμενες βιβλιοθήκες σχεδίασης.

Για να μάθετε περισσότερα σχετικά με τα Experiments API και SDK, προτείνουμε την ακόλουθη τεκμηρίωση: Δημιουργία Πειράματος και Amazon SageMaker Experiments Python SDK.

Εάν θέλετε να βουτήξετε βαθύτερα, σας συνιστούμε να εξετάσετε το amazon-sagemaker-examples/sagemaker-experiments Αποθετήριο GitHub για περαιτέρω παραδείγματα.

Ενοποίηση μεταξύ αγωγών και πειραμάτων

Οι αγωγοί κατασκευής μοντέλων που αποτελούν μέρος των Pipelines έχουν σχεδιαστεί ειδικά για ML και σας επιτρέπουν να ενορχηστρώνετε τις εργασίες κατασκευής μοντέλων χρησιμοποιώντας ένα εργαλείο διοχέτευσης που περιλαμβάνει εγγενείς ενσωματώσεις με άλλες δυνατότητες του SageMaker καθώς και την ευελιξία να επεκτείνετε τη διοχέτευσή σας με βήματα που εκτελούνται εκτός του SageMaker . Κάθε βήμα ορίζει μια ενέργεια που κάνει ο αγωγός. Οι εξαρτήσεις μεταξύ των βημάτων ορίζονται από ένα άμεσο ακυκλικό γράφημα (DAG) που έχει δημιουργηθεί χρησιμοποιώντας το Pipelines Python SDK. Μπορείτε να δημιουργήσετε μια διοχέτευση SageMaker μέσω προγραμματισμού μέσω του ίδιου SDK. Αφού αναπτυχθεί μια διοχέτευση, μπορείτε προαιρετικά να οπτικοποιήσετε τη ροή εργασιών της μέσα στο Studio.

Οι αγωγοί ενσωματώνονται αυτόματα με τα Πειράματα δημιουργώντας αυτόματα ένα πείραμα και μια δοκιμή για κάθε εκτέλεση. Οι αγωγοί δημιουργούν αυτόματα ένα πείραμα και μια δοκιμή για κάθε εκτέλεση του αγωγού πριν από την εκτέλεση των βημάτων, εκτός εάν καθορίζεται μία ή και οι δύο από αυτές τις εισόδους. Κατά την εκτέλεση της εργασίας SageMaker του αγωγού, ο σωλήνας συσχετίζει τη δοκιμή με το πείραμα και συσχετίζει με τη δοκιμή κάθε δοκιμαστικό στοιχείο που δημιουργείται από την εργασία. Ο καθορισμός του δικού σας πειράματος ή δοκιμής μέσω προγραμματισμού σάς επιτρέπει να τελειοποιήσετε τον τρόπο οργάνωσης των πειραμάτων σας.

Η ροή εργασίας που παρουσιάζουμε σε αυτό το παράδειγμα αποτελείται από μια σειρά βημάτων: ένα βήμα προεπεξεργασίας για να χωρίσουμε το σύνολο δεδομένων εισόδου σε σύνολα δεδομένων εκπαίδευσης, δοκιμής και επικύρωσης. ένα βήμα συντονισμού για τον συντονισμό των υπερπαραμέτρων μας και την έναρξη εργασιών εκπαίδευσης για την εκπαίδευση ενός μοντέλου χρησιμοποιώντας το Ενσωματωμένος αλγόριθμος XGBoost; και τέλος ένα μοντέλο βήμα για τη δημιουργία ενός μοντέλου SageMaker από το καλύτερα εκπαιδευμένο τεχνούργημα μοντέλου. Οι Pipelines προσφέρουν επίσης αρκετές εγγενώς υποστηριζόμενες τύπους βημάτων έξω από αυτά που συζητούνται σε αυτήν την ανάρτηση. Δείχνουμε επίσης πώς μπορείτε να παρακολουθείτε τη ροή εργασιών του αγωγού σας και να δημιουργήσετε μετρήσεις και γραφήματα σύγκρισης. Επιπλέον, δείχνουμε πώς να συσχετίσουμε τη νέα δοκιμή που δημιουργήθηκε με ένα υπάρχον πείραμα που θα μπορούσε να είχε δημιουργηθεί πριν από τον καθορισμό του αγωγού.

Κωδικός SageMaker Pipelines

Μπορείτε να ελέγξετε και να κατεβάσετε το σημειωματάριο από το Αποθετήριο GitHub σχετίζεται με αυτήν την ανάρτηση. Εξετάζουμε τον κώδικα για συγκεκριμένους αγωγούς για να τον κατανοήσουμε καλύτερα.

Το Pipelines σάς δίνει τη δυνατότητα να μεταβιβάζετε παραμέτρους κατά το χρόνο εκτέλεσης. Εδώ ορίζουμε τους τύπους και τις μετρήσεις παρουσιών επεξεργασίας και εκπαίδευσης κατά το χρόνο εκτέλεσης με προκαθορισμένες προεπιλογές:

base_job_prefix = "pipeline-experiment-sample"
model_package_group_name = "pipeline-experiment-model-package"

processing_instance_count = ParameterInteger(
  name="ProcessingInstanceCount", default_value=1
)

training_instance_count = ParameterInteger(
  name="TrainingInstanceCount", default_value=1
)

processing_instance_type = ParameterString(
  name="ProcessingInstanceType", default_value="ml.m5.xlarge"
)
training_instance_type = ParameterString(
  name="TrainingInstanceType", default_value="ml.m5.xlarge"
)

Στη συνέχεια, δημιουργήσαμε ένα σενάριο επεξεργασίας που κατεβάζει και χωρίζει το σύνολο δεδομένων εισόδου σε τμήματα εκπαίδευσης, δοκιμής και επικύρωσης. Χρησιμοποιούμε SKLearnProcessor για την εκτέλεση αυτού του βήματος προεπεξεργασίας. Για να γίνει αυτό, ορίζουμε ένα αντικείμενο επεξεργαστή με τον τύπο παρουσίας και τον αριθμό που απαιτείται για την εκτέλεση της εργασίας επεξεργασίας.

Το Pipelines μας επιτρέπει να επιτύχουμε την έκδοση δεδομένων με προγραμματικό τρόπο, χρησιμοποιώντας μεταβλητές που αφορούν την εκτέλεση, όπως ExecutionVariables.PIPELINE_EXECUTION_ID, που είναι το μοναδικό αναγνωριστικό μιας εκτέλεσης αγωγού. Μπορούμε, για παράδειγμα, να δημιουργήσουμε ένα μοναδικό κλειδί για την αποθήκευση των συνόλων δεδομένων εξόδου Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) που τα συνδέει σε μια συγκεκριμένη διαδρομή αγωγού. Για την πλήρη λίστα των μεταβλητών, ανατρέξτε στο Μεταβλητές Εκτέλεσης.

framework_version = "0.23-1"

sklearn_processor = SKLearnProcessor(
    framework_version=framework_version,
    instance_type=processing_instance_type,
    instance_count=processing_instance_count,
    base_job_name="sklearn-ca-housing",
    role=role,
)

process_step = ProcessingStep(
    name="ca-housing-preprocessing",
    processor=sklearn_processor,
    outputs=[
        ProcessingOutput(
            output_name="train",
            source="/opt/ml/processing/train",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "train",
                ],
            ),
        ),
        ProcessingOutput(
            output_name="validation",
            source="/opt/ml/processing/validation",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "validation",
                ],
            )
        ),
        ProcessingOutput(
            output_name="test",
            source="/opt/ml/processing/test",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "test",
                ],
            )
        ),
    ],
    code="california-housing-preprocessing.py",
)

Στη συνέχεια, προχωράμε στη δημιουργία ενός αντικειμένου εκτιμητή για την εκπαίδευση ενός μοντέλου XGBoost. Ορίζουμε ορισμένες στατικές υπερπαράμετροι που χρησιμοποιούνται συνήθως με το XGBoost:

model_path = f"s3://{default_bucket}/{base_job_prefix}/ca-housing-experiment-pipeline"

image_uri = sagemaker.image_uris.retrieve(
    framework="xgboost",
    region=region,
    version="1.2-2",
    py_version="py3",
    instance_type=training_instance_type,
)

xgb_train = Estimator(
    image_uri=image_uri,
    instance_type=training_instance_type,
    instance_count=training_instance_count,
    output_path=model_path,
    base_job_name=f"{base_job_prefix}/ca-housing-train",
    sagemaker_session=sagemaker_session,
    role=role,
)

xgb_train.set_hyperparameters(
    eval_metric="rmse",
    objective="reg:squarederror",  # Define the object metric for the training job
    num_round=50,
    max_depth=5,
    eta=0.2,
    gamma=4,
    min_child_weight=6,
    subsample=0.7
)

Κάνουμε συντονισμό υπερπαραμέτρων των μοντέλων που δημιουργούμε χρησιμοποιώντας a ContinuousParameter εύρος για lambda. Επιλέγοντας μια μέτρηση ως αντικειμενική μέτρηση ενημερώνεται ο δέκτης (το παράδειγμα που εκτελεί τις εργασίες συντονισμού υπερπαραμέτρων) ότι θα αξιολογήσετε την εργασία εκπαίδευσης με βάση αυτήν τη συγκεκριμένη μέτρηση. Ο δέκτης επιστρέφει τον καλύτερο συνδυασμό με βάση την καλύτερη τιμή για αυτήν την αντικειμενική μέτρηση, δηλαδή τον καλύτερο συνδυασμό που ελαχιστοποιεί το καλύτερο ριζικό μέσο τετραγωνικό σφάλμα (RMSE).

objective_metric_name = "validation:rmse"

hyperparameter_ranges = {
    "lambda": ContinuousParameter(0.01, 10, scaling_type="Logarithmic")
}

tuner = HyperparameterTuner(estimator,
                            objective_metric_name,
                            hyperparameter_ranges,
                            objective_type=objective_type,
                            strategy="Bayesian",
                            max_jobs=10,
                            max_parallel_jobs=3)

tune_step = TuningStep(
    name="HPTuning",
    tuner=tuner_log,
    inputs={
        "train": TrainingInput(
            s3_data=process_step.properties.ProcessingOutputConfig.Outputs[
                "train"
            ].S3Output.S3Uri,
            content_type="text/csv",
        ),
        "validation": TrainingInput(
            s3_data=process_step.properties.ProcessingOutputConfig.Outputs[
                "validation"
            ].S3Output.S3Uri,
            content_type="text/csv",
        ),
    } 
)

Το βήμα συντονισμού εκτελεί πολλαπλές δοκιμές με στόχο τον προσδιορισμό του καλύτερου μοντέλου μεταξύ των εύρους παραμέτρων που δοκιμάστηκαν. Με τη μέθοδο get_top_model_s3_uri, κατατάσσουμε τις 50 κορυφαίες εκδόσεις του μοντέλου τεχνουργήματος S3 URI και εξάγουμε μόνο την έκδοση με την καλύτερη απόδοση (καθορίζουμε k=0 για το καλύτερο) για να δημιουργήσετε ένα μοντέλο SageMaker.

model_bucket_key = f"{default_bucket}/{base_job_prefix}/ca-housing-experiment-pipeline"
model_candidate = Model(
    image_uri=image_uri,
    model_data=tune_step.get_top_model_s3_uri(top_k=0, s3_bucket=model_bucket_key),
    sagemaker_session=sagemaker_session,
    role=role,
    predictor_cls=XGBoostPredictor,
)

create_model_step = CreateModelStep(
    name="CreateTopModel",
    model=model_candidate,
    inputs=sagemaker.inputs.CreateModelInput(instance_type="ml.m4.large"),
)

Όταν εκτελείται η διοχέτευση, δημιουργεί δοκιμαστικά στοιχεία για κάθε εργασία συντονισμού υπερπαραμέτρων και κάθε εργασία του SageMaker που δημιουργείται από τα βήματα της διοχέτευσης.

Μπορείτε να διαμορφώσετε περαιτέρω την ενοποίηση των αγωγών με τα Πειράματα δημιουργώντας ένα PipelineExperimentConfig αντικείμενο και περάστε το στο αντικείμενο του pipeline. Οι δύο παράμετροι ορίζουν το όνομα του πειράματος που θα δημιουργηθεί και τη δοκιμή που θα αναφέρεται σε ολόκληρη τη λειτουργία του αγωγού.

Εάν θέλετε να συσχετίσετε μια εκτέλεση αγωγών με ένα υπάρχον πείραμα, μπορείτε να μεταβιβάσετε το όνομά της και οι Pipelines θα συσχετίσουν τη νέα δοκιμή με αυτό. Μπορείτε να αποτρέψετε τη δημιουργία ενός πειράματος και μιας δοκιμής για έναν αγωγό που εκτελείται με ρύθμιση pipeline_experiment_config προς την None.

#Pipeline experiment config
ca_housing_experiment_config = PipelineExperimentConfig(
    experiment_name,
    Join(
        on="-",
        values=[
            "pipeline-execution",
            ExecutionVariables.PIPELINE_EXECUTION_ID
        ],
    )
)

Μεταβιβάζουμε τους τύπους και τις μετρήσεις παρουσιών ως παραμέτρους και αλυσιδώνουμε τα προηγούμενα βήματα με τη σειρά ως εξής. Η ροή εργασίας του αγωγού ορίζεται έμμεσα από τις εξόδους ενός βήματος που είναι οι είσοδοι ενός άλλου βήματος.

pipeline_name = f"CAHousingExperimentsPipeline"

pipeline = Pipeline(
    name=pipeline_name,
    pipeline_experiment_config=ca_housing_experiment_config,
    parameters=[
        processing_instance_count,
        processing_instance_type,
        training_instance_count,
        training_instance_type
    ],
    steps=[process_step,tune_step,create_model_step],
)

Ο πλήρης αγωγός έχει πλέον δημιουργηθεί και είναι έτοιμος να ξεκινήσει. Προσθέτουμε έναν ρόλο εκτέλεσης στο pipeline και τον ξεκινάμε. Από εδώ, μπορούμε να μεταβούμε στην κονσόλα SageMaker Studio Pipelines και να παρακολουθούμε οπτικά κάθε βήμα. Μπορείτε επίσης να αποκτήσετε πρόσβαση στα συνδεδεμένα αρχεία καταγραφής από την κονσόλα για τον εντοπισμό σφαλμάτων μιας διοχέτευσης.

pipeline.upsert(role_arn=sagemaker.get_execution_role())
execution = pipeline.start()

Το προηγούμενο στιγμιότυπο οθόνης δείχνει με πράσινο χρώμα μια επιτυχή εκτέλεση αγωγού. Λαμβάνουμε τις μετρήσεις μιας δοκιμής από μια εκτέλεση του αγωγού με τον ακόλουθο κώδικα:

# SM Pipeline injects the Execution ID into trial component names
execution_id = execution.describe()['PipelineExecutionArn'].split('/')[-1]
source_arn_filter = Filter(
    name="TrialComponentName", operator=Operator.CONTAINS, value=execution_id
)

source_type_filter = Filter(
    name="Source.SourceType", operator=Operator.EQUALS, value="SageMakerTrainingJob"
)

search_expression = SearchExpression(
    filters=[source_arn_filter, source_type_filter]
)

trial_component_analytics = ExperimentAnalytics(
    sagemaker_session=sagemaker_session,
    experiment_name=experiment_name,
    search_expression=search_expression.to_boto()
)

analytic_table = trial_component_analytics.dataframe()
analytic_table.head()

Συγκρίνετε τις μετρήσεις για κάθε δοκιμαστικό στοιχείο

Μπορείτε να σχεδιάσετε τα αποτελέσματα του συντονισμού υπερπαραμέτρων στο Studio ή μέσω άλλων βιβλιοθηκών σχεδίασης Python. Δείχνουμε και τους δύο τρόπους να το κάνουμε αυτό.

Εξερευνήστε τις μετρήσεις εκπαίδευσης και αξιολόγησης στο Studio

Το Studio παρέχει μια διαδραστική διεπαφή χρήστη όπου μπορείτε να δημιουργήσετε διαδραστικά σχέδια. Τα βήματα είναι τα εξής:

1. Επιλέξτε Πειράματα και Δοκιμές από το Πόροι SageMaker εικονίδιο στην αριστερή πλαϊνή γραμμή.
2. Επιλέξτε το πείραμά σας για να το ανοίξετε.
3. Επιλέξτε (κάντε δεξί κλικ) τη δοκιμή που σας ενδιαφέρει.
4. Επιλέξτε Άνοιγμα στη δοκιμαστική λίστα στοιχείων.
5. Τύπος αλλαγή για να επιλέξετε τα δοκιμαστικά στοιχεία που αντιπροσωπεύουν τις εργασίες κατάρτισης.
6. Επιλέξτε Προσθήκη γραφήματος.
7. Επιλέξτε Νέο γράφημα και προσαρμόστε το για να σχεδιάσει τις συλλεγμένες μετρήσεις που θέλετε να αναλύσετε. Για την περίπτωση χρήσης μας, επιλέξτε τα ακόλουθα:
   1. Για Τύπος δεδομένων¸ επιλέξτε Συνοπτικά Στατιστικά.
   2. Για τύπο γραφήματος¸ επιλέξτε Διάγραμμα διασποράς.
   3. Για Άξονας Χ, επιλέξτε lambda.
   4. Για Άξονας Υ, επιλέξτε validation:rmse_last.

Το νέο γράφημα εμφανίζεται στο κάτω μέρος του παραθύρου, με την ένδειξη "8".

Μπορείτε να συμπεριλάβετε περισσότερες ή λιγότερες εργασίες εκπαίδευσης πατώντας αλλαγή και επιλέγοντας το εικονίδιο του ματιού για μια πιο διαδραστική εμπειρία.

Analytics με πειράματα SageMaker

Όταν ολοκληρωθεί η εκτέλεση του αγωγού, μπορούμε να οπτικοποιήσουμε γρήγορα πώς συγκρίνονται οι διαφορετικές παραλλαγές του μοντέλου ως προς τις μετρήσεις που συλλέγονται κατά τη διάρκεια της εκπαίδευσης. Νωρίτερα, εξάγαμε όλες τις δοκιμαστικές μετρήσεις στο α Πάντα DataFrame χρησιμοποιώντας ExperimentAnalytics. Μπορούμε να αναπαράγουμε την γραφική παράσταση που αποκτήθηκε στο Studio χρησιμοποιώντας τη βιβλιοθήκη Matplotlib.

analytic_table.plot.scatter("lambda", "validation:rmse - Last", grid=True)

Συμπέρασμα

Η εγγενής ενοποίηση μεταξύ του SageMaker Pipelines και του SageMaker Experiments επιτρέπει στους επιστήμονες δεδομένων να οργανώνουν, να παρακολουθούν και να οπτικοποιούν αυτόματα τα πειράματα κατά τη διάρκεια δραστηριοτήτων ανάπτυξης μοντέλων. Μπορείτε να δημιουργήσετε πειράματα για να οργανώσετε όλες τις εργασίες ανάπτυξης μοντέλων σας, όπως τα ακόλουθα:

• Μια περίπτωση επαγγελματικής χρήσης που αντιμετωπίζετε, όπως η δημιουργία ενός πειράματος για την πρόβλεψη της απόσυρσης πελατών
• Ένα πείραμα που ανήκει στην ομάδα της επιστήμης δεδομένων σχετικά με την ανάλυση μάρκετινγκ, για παράδειγμα
• Ένα συγκεκριμένο έργο επιστήμης δεδομένων και ML

Σε αυτήν την ανάρτηση, ασχολούμαστε με το Pipelines για να δείξουμε πώς μπορείτε να το χρησιμοποιήσετε παράλληλα με τα Πειράματα για να οργανώσετε μια πλήρως αυτοματοποιημένη ροή εργασίας από άκρο σε άκρο.

Ως επόμενο βήμα, μπορείτε να χρησιμοποιήσετε αυτές τις τρεις δυνατότητες του SageMaker – Studio, Experiments και Pipelines – για το επόμενο έργο σας ML.

Προτεινόμενες αναγνώσεις

Σχετικά με τους συγγραφείς

Πάολο Ντι Φραντσέσκο είναι αρχιτέκτονας λύσεων στην AWS. Έχει εμπειρία στον τομέα των τηλεπικοινωνιών και της μηχανικής λογισμικού. Είναι παθιασμένος με τη μηχανική μάθηση και επί του παρόντος εστιάζει στη χρήση της εμπειρίας του για να βοηθήσει τους πελάτες να επιτύχουν τους στόχους τους στο AWS, ιδιαίτερα σε συζητήσεις γύρω από τα MLOps. Εκτός δουλειάς, του αρέσει να παίζει ποδόσφαιρο και να διαβάζει.

Mario Bourgoin είναι Senior Partner Solutions Architect για το AWS, ειδικός σε AI/ML και παγκόσμιος επικεφαλής τεχνολογίας για MLOps. Συνεργάζεται με εταιρικούς πελάτες και συνεργάτες που αναπτύσσουν λύσεις AI στο cloud. Έχει περισσότερα από 30 χρόνια εμπειρίας στο να κάνει μηχανική μάθηση και τεχνητή νοημοσύνη σε νεοφυείς επιχειρήσεις και σε επιχειρήσεις, ξεκινώντας με τη δημιουργία ενός από τα πρώτα εμπορικά συστήματα μηχανικής μάθησης για μεγάλα δεδομένα. Ο Mario περνά τον ελεύθερο χρόνο του παίζοντας με τους τρεις Βέλγους Tervuren του, μαγειρεύοντας δείπνο για την οικογένειά του και μαθαίνοντας για τα μαθηματικά και την κοσμολογία.

Ganapathi Krishnamoorthi είναι Senior ML Solutions Architect στην AWS. Το Ganapathi παρέχει καθοδήγηση σε πελάτες εκκίνησης και επιχειρήσεων, βοηθώντας τους να σχεδιάσουν και να αναπτύξουν εφαρμογές cloud σε κλίμακα. Είναι εξειδικευμένος στη μηχανική μάθηση και επικεντρώνεται στο να βοηθά τους πελάτες να αξιοποιήσουν το AI/ML για τα επιχειρηματικά τους αποτελέσματα. Όταν δεν είναι στη δουλειά, του αρέσει να εξερευνά σε εξωτερικούς χώρους και να ακούει μουσική.

Βαλερί Σουνθάκιθ είναι αρχιτέκτονας λύσεων για το AWS, που εργάζεται στη βιομηχανία τυχερών παιχνιδιών και με συνεργάτες που αναπτύσσουν λύσεις τεχνητής νοημοσύνης. Στόχος της είναι να οικοδομήσει την καριέρα της γύρω από το Computer Vision. Τον ελεύθερο χρόνο της, η Valerie τον ξοδεύει για να ταξιδέψει, να ανακαλύψει νέα μέρη για φαγητό και να αλλάξει το εσωτερικό του σπιτιού της.