Πρόβλεψη ανατροπής χρησιμοποιώντας ενσωματωμένους αλγόριθμους πίνακα LightGBM, CatBoost, TabTransformer και AutoGluon-Tabular του Amazon SageMaker

Amazon Sage Maker παρέχει μια σουίτα από ενσωματωμένοι αλγόριθμοι, προ-εκπαιδευμένα μοντέλα, να προκατασκευασμένα πρότυπα λύσεων για να βοηθήσουν τους επιστήμονες δεδομένων και τους επαγγελματίες της μηχανικής μάθησης (ML) να ξεκινήσουν την εκπαίδευση και την ανάπτυξη μοντέλων ML γρήγορα. Αυτοί οι αλγόριθμοι και τα μοντέλα μπορούν να χρησιμοποιηθούν τόσο για εποπτευόμενη όσο και για μη εποπτευόμενη μάθηση. Μπορούν να επεξεργαστούν διάφορους τύπους δεδομένων εισόδου, συμπεριλαμβανομένων πινάκων, εικόνας και κειμένου.

Η απόσυρση πελατών είναι ένα πρόβλημα που αντιμετωπίζει ένα ευρύ φάσμα εταιρειών, από τις τηλεπικοινωνίες έως τις τραπεζικές υπηρεσίες, όπου οι πελάτες συνήθως χάνονται από τους ανταγωνιστές. Είναι προς το συμφέρον μιας εταιρείας να διατηρήσει τους υπάρχοντες πελάτες αντί να αποκτήσει νέους πελάτες, επειδή συνήθως κοστίζει πολύ περισσότερο η προσέλκυση νέων πελατών. Οι πάροχοι κινητής τηλεφωνίας έχουν ιστορικά αρχεία στα οποία οι πελάτες συνέχισαν να χρησιμοποιούν την υπηρεσία ή τελικά κατέληξαν να αναστατωθούν. Μπορούμε να χρησιμοποιήσουμε αυτές τις ιστορικές πληροφορίες της ανατροπής μιας εταιρείας κινητής τηλεφωνίας για να εκπαιδεύσουμε ένα μοντέλο ML. Αφού εκπαιδεύσουμε αυτό το μοντέλο, μπορούμε να μεταβιβάσουμε τις πληροφορίες προφίλ ενός αυθαίρετου πελάτη (τις ίδιες πληροφορίες προφίλ που χρησιμοποιήσαμε για να εκπαιδεύσουμε το μοντέλο) στο μοντέλο και να προβλέψει εάν αυτός ο πελάτης πρόκειται να διακοπεί ή όχι.

Σε αυτήν την ανάρτηση, εκπαιδεύουμε και αναπτύσσουμε τέσσερις αλγόριθμοι SageMaker που κυκλοφόρησαν πρόσφατα—LightGBM, CatBoost, TabTransformer και AutoGluon-Tabular—σε ένα σύνολο δεδομένων πρόβλεψης εκτροπής. Χρησιμοποιούμε Αυτόματος συντονισμός μοντέλων SageMaker (ένα εργαλείο για βελτιστοποίηση υπερπαραμέτρων) για να βρείτε τις καλύτερες υπερπαραμέτρους για κάθε μοντέλο και να συγκρίνετε την απόδοσή τους σε ένα σύνολο δεδομένων δοκιμής διατήρησης για να επιλέξετε τη βέλτιστη.

Μπορείτε επίσης να χρησιμοποιήσετε αυτήν τη λύση ως πρότυπο για να πραγματοποιήσετε αναζήτηση σε μια συλλογή πινάκων αλγορίθμων τελευταίας τεχνολογίας και να χρησιμοποιήσετε τη βελτιστοποίηση υπερπαραμέτρων για να βρείτε το καλύτερο συνολικό μοντέλο. Μπορείτε εύκολα να αντικαταστήσετε το παράδειγμα δεδομένων με το δικό σας για να λύσετε πραγματικά επιχειρηματικά προβλήματα που σας ενδιαφέρουν. Εάν θέλετε να μεταβείτε απευθείας στον κώδικα SageMaker SDK που εξετάζουμε σε αυτήν την ανάρτηση, μπορείτε να ανατρέξετε στα παρακάτω δείγμα σημειωματάριου Jupyter.

Πλεονεκτήματα των ενσωματωμένων αλγορίθμων SageMaker

Όταν επιλέγετε έναν αλγόριθμο για τον συγκεκριμένο τύπο προβλήματος και δεδομένων σας, η χρήση ενός ενσωματωμένου αλγόριθμου SageMaker είναι η πιο εύκολη επιλογή, επειδή κάτι τέτοιο έχει τα ακόλουθα σημαντικά πλεονεκτήματα:

• Χαμηλή κωδικοποίηση – Οι ενσωματωμένοι αλγόριθμοι απαιτούν λίγη κωδικοποίηση για να ξεκινήσει η εκτέλεση πειραμάτων. Οι μόνες είσοδοι που πρέπει να παρέχετε είναι τα δεδομένα, οι υπερπαράμετροι και οι υπολογιστικοί πόροι. Αυτό σας επιτρέπει να εκτελείτε πειράματα πιο γρήγορα, με λιγότερα έξοδα για την παρακολούθηση των αποτελεσμάτων και τις αλλαγές κώδικα.
• Αποτελεσματικές και επεκτάσιμες υλοποιήσεις αλγορίθμων – Οι ενσωματωμένοι αλγόριθμοι συνοδεύονται από παραλληλισμό σε πολλαπλές περιπτώσεις υπολογισμού και υποστήριξη GPU αμέσως για όλους τους ισχύοντες αλγόριθμους. Εάν έχετε πολλά δεδομένα με τα οποία μπορείτε να εκπαιδεύσετε το μοντέλο σας, οι περισσότεροι ενσωματωμένοι αλγόριθμοι μπορούν εύκολα να κλιμακωθούν ώστε να καλύψουν τη ζήτηση. Ακόμα κι αν έχετε ήδη ένα προεκπαιδευμένο μοντέλο, μπορεί να είναι ακόμα πιο εύκολο να χρησιμοποιήσετε το συμπέρασμά του στο SageMaker και να εισαγάγετε τις υπερπαραμέτρους που ήδη γνωρίζετε παρά να το μεταφέρετε και να γράψετε μόνοι σας ένα σενάριο εκπαίδευσης.
• Διαφάνεια – Είστε ο ιδιοκτήτης των τεχνουργημάτων μοντέλων που προκύπτουν. Μπορείτε να πάρετε αυτό το μοντέλο και να το αναπτύξετε στο SageMaker για πολλά διαφορετικά μοτίβα συμπερασμάτων (δείτε όλα τα διαθέσιμους τύπους ανάπτυξης) και εύκολη κλιμάκωση και διαχείριση τελικού σημείου, ή μπορείτε να το αναπτύξετε όπου αλλού το χρειάζεστε.

Οπτικοποίηση και προεπεξεργασία δεδομένων

Αρχικά, συγκεντρώνουμε το σύνολο δεδομένων απόκλισης πελατών. Είναι ένα σχετικά μικρό σύνολο δεδομένων με 5,000 εγγραφές, όπου κάθε εγγραφή χρησιμοποιεί 21 χαρακτηριστικά για να περιγράψει το προφίλ ενός πελάτη μιας άγνωστης εταιρείας κινητής τηλεφωνίας στις ΗΠΑ. Τα χαρακτηριστικά κυμαίνονται από την πολιτεία των ΗΠΑ όπου κατοικεί ο πελάτης, τον αριθμό των κλήσεων που πραγματοποίησαν στην εξυπηρέτηση πελατών, μέχρι το κόστος που χρεώνονται για τις ημερήσιες κλήσεις. Προσπαθούμε να προβλέψουμε εάν ο πελάτης θα ανακληθεί ή όχι, κάτι που είναι ένα πρόβλημα δυαδικής ταξινόμησης. Το παρακάτω είναι ένα υποσύνολο αυτών των χαρακτηριστικών που μοιάζουν, με την ετικέτα ως την τελευταία στήλη.

Ακολουθούν ορισμένες πληροφορίες για κάθε στήλη, συγκεκριμένα τα συνοπτικά στατιστικά στοιχεία και το ιστόγραμμα των επιλεγμένων χαρακτηριστικών.

Στη συνέχεια προεπεξεργαζόμαστε τα δεδομένα, τα χωρίζουμε σε σύνολα εκπαίδευσης, επικύρωσης και δοκιμής και ανεβάζουμε τα δεδομένα στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3).

Αυτόματος συντονισμός μοντέλων αλγορίθμων πινάκων

Οι υπερπαράμετροι ελέγχουν πώς λειτουργούν οι υποκείμενοι αλγόριθμοί μας και επηρεάζουν την απόδοση του μοντέλου. Αυτές οι υπερπαράμετροι μπορεί να είναι ο αριθμός των επιπέδων, ο ρυθμός εκμάθησης, ο ρυθμός αποσύνθεσης βάρους και η εγκατάλειψη για μοντέλα που βασίζονται σε νευρωνικά δίκτυα ή ο αριθμός των φύλλων, οι επαναλήψεις και το μέγιστο βάθος δέντρου για τα μοντέλα συνόλων δέντρων. Για να επιλέξουμε το καλύτερο μοντέλο, εφαρμόζουμε τον αυτόματο συντονισμό μοντέλου SageMaker σε καθέναν από τους τέσσερις εκπαιδευμένους πινακοποιητικούς αλγόριθμους SageMaker. Χρειάζεται μόνο να επιλέξετε τις υπερπαραμέτρους για συντονισμό και ένα εύρος για κάθε παράμετρο προς εξερεύνηση. Για περισσότερες πληροφορίες σχετικά με τον αυτόματο συντονισμό μοντέλου, ανατρέξτε στο Αυτόματος συντονισμός μοντέλου Amazon SageMaker: Χρήση μηχανικής εκμάθησης για μηχανική εκμάθηση or Αυτόματος συντονισμός μοντέλων Amazon SageMaker: Βελτιστοποίηση κλιμακούμενης χωρίς κλίση.

Ας δούμε πώς λειτουργεί αυτό στην πράξη.

LightGBM

Ξεκινάμε εκτελώντας αυτόματο συντονισμό μοντέλου με το LightGBM και προσαρμόζουμε αυτή τη διαδικασία στους άλλους αλγόριθμους. Όπως εξηγείται στην ανάρτηση Τα μοντέλα και οι αλγόριθμοι του Amazon SageMaker JumpStart είναι πλέον διαθέσιμα μέσω API, απαιτούνται τα ακόλουθα τεχνουργήματα για την εκπαίδευση ενός προκατασκευασμένου αλγόριθμου μέσω του SageMaker SDK:

• Η εικόνα του κοντέινερ για συγκεκριμένο πλαίσιο, που περιέχει όλες τις απαιτούμενες εξαρτήσεις για εκπαίδευση και εξαγωγή συμπερασμάτων
• Τα σενάρια εκπαίδευσης και συμπερασμάτων για το επιλεγμένο μοντέλο ή αλγόριθμο

Αρχικά ανακτούμε αυτά τα τεχνουργήματα, τα οποία εξαρτώνται από το model_id (lightgbm-classification-model σε αυτήν την περίπτωση) και έκδοση:

from sagemaker import image_uris, model_uris, script_uris
train_model_id, train_model_version, train_scope = "lightgbm-classification-model", "*", "training"
training_instance_type = "ml.m5.4xlarge"

# Retrieve the docker image
train_image_uri = image_uris.retrieve(region=None,
                                      framework=None,
                                      model_id=train_model_id,
                                      model_version=train_model_version,
                                      image_scope=train_scope,
                                      instance_type=training_instance_type,
                                      )                                      
# Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=train_model_id,
                                        model_version=train_model_version,
                                        script_scope=train_scope
                                        )
# Retrieve the pre-trained model tarball (in the case of tabular modeling, it is a dummy file)
train_model_uri = model_uris.retrieve(model_id=train_model_id,
                                      model_version=train_model_version,
                                      model_scope=train_scope)

Στη συνέχεια, λαμβάνουμε τις προεπιλεγμένες υπερπαραμέτρους για το LightGBM, ορίζουμε ορισμένες από αυτές σε επιλεγμένες σταθερές τιμές, όπως ο αριθμός των κύκλων ενίσχυσης και η μέτρηση αξιολόγησης στα δεδομένα επικύρωσης και ορίζουμε τα εύρη τιμών που θέλουμε να αναζητήσουμε για άλλες. Χρησιμοποιούμε τις παραμέτρους SageMaker ContinuousParameter και IntegerParameter για αυτό:

from sagemaker import hyperparameters
from sagemaker.tuner import ContinuousParameter, IntegerParameter, HyperparameterTuner

# Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=train_model_id,
                                                   model_version=train_model_version
                                                   )
# [Optional] Override default hyperparameters with custom values
hyperparameters["num_boost_round"] = "500"
hyperparameters["metric"] = "auc"

# Define search ranges for other hyperparameters
hyperparameter_ranges_lgb = {
    "learning_rate": ContinuousParameter(1e-4, 1, scaling_type="Logarithmic"),
    "num_boost_round": IntegerParameter(2, 30),
    "num_leaves": IntegerParameter(10, 50),
    "feature_fraction": ContinuousParameter(0, 1),
    "bagging_fraction": ContinuousParameter(0, 1),
    "bagging_freq": IntegerParameter(1, 10),
    "max_depth": IntegerParameter(5, 30),
    "min_data_in_leaf": IntegerParameter(5, 50),
}

Τέλος, δημιουργούμε ένα Εκτιμητής SageMaker, τροφοδοτήστε το σε α HyperarameterTunerκαι ξεκινήστε την εργασία συντονισμού υπερπαραμέτρων με tuner.fit():

from sagemaker.estimator import Estimator
from sagemaker.tuner import HyperParameterTuner

# Create SageMaker Estimator instance
tabular_estimator = Estimator(
    role=aws_role,
    image_uri=train_image_uri,
    source_dir=train_source_uri,
    model_uri=train_model_uri,
    entry_point="transfer_learning.py",
    instance_count=1,
    instance_type=training_instance_type,
    max_run=360000,
    hyperparameters=hyperparameters,
)

tuner = HyperparameterTuner(
            tabular_estimator,
            "auc",
            hyperparameter_ranges_lgb,
            [{"Name": "auc", "Regex": "auc: ([0-9.]+)"}],
            max_jobs=10,
            max_parallel_jobs=5,
            objective_type="Maximize",
            base_tuning_job_name="some_name",
        )

tuner.fit({"training": training_dataset_s3_path}, logs=True)

Η max_jobs Η παράμετρος καθορίζει πόσες συνολικές εργασίες θα εκτελεστούν στην εργασία αυτόματου συντονισμού μοντέλου και max_parallel_jobs καθορίζει πόσες ταυτόχρονες εργασίες κατάρτισης πρέπει να ξεκινήσουν. Καθορίζουμε επίσης τον στόχο να “Maximize” AUC του μοντέλου (περιοχή κάτω από την καμπύλη). Για να βουτήξετε βαθύτερα στις διαθέσιμες παραμέτρους που εκτίθενται από HyperParameterTuner, αναφέρομαι σε HyperparameterTuner.

Ελέγξτε το δείγμα σημειωματάριου για να δούμε πώς θα προχωρήσουμε στην ανάπτυξη και αξιολόγηση αυτού του μοντέλου στο δοκιμαστικό σύνολο.

CatBoost

Η διαδικασία για τον συντονισμό υπερπαραμέτρων στον αλγόριθμο CatBoost είναι η ίδια όπως πριν, αν και πρέπει να ανακτήσουμε τα τεχνουργήματα του μοντέλου κάτω από το αναγνωριστικό catboost-classification-model και αλλάξτε την επιλογή εύρους των υπερπαραμέτρων:

from sagemaker import hyperparameters

# Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(
    model_id=train_model_id, model_version=train_model_version
)
# [Optional] Override default hyperparameters with custom values
hyperparameters["iterations"] = "500"
hyperparameters["eval_metric"] = "AUC"

# Define search ranges for other hyperparameters
hyperparameter_ranges_cat = {
    "learning_rate": ContinuousParameter(0.00001, 0.1, scaling_type="Logarithmic"),
    "iterations": IntegerParameter(50, 1000),
    "depth": IntegerParameter(1, 10),
    "l2_leaf_reg": IntegerParameter(1, 10),
    "random_strength": ContinuousParameter(0.01, 10, scaling_type="Logarithmic"),
}

TabTransformer

Η διαδικασία για τον συντονισμό υπερπαραμέτρων στο μοντέλο TabTransformer είναι η ίδια όπως πριν, αν και πρέπει να ανακτήσουμε τα τεχνουργήματα του μοντέλου κάτω από το αναγνωριστικό pytorch-tabtransformerclassification-model και αλλάξτε την επιλογή εύρους των υπερπαραμέτρων.

Αλλάζουμε και την προπόνηση instance_type προς την ml.p3.2xlarge. Το TabTransformer είναι ένα μοντέλο που προέκυψε πρόσφατα από την έρευνα της Amazon, το οποίο φέρνει τη δύναμη της βαθιάς μάθησης σε δεδομένα πίνακα χρησιμοποιώντας μοντέλα Transformer. Για να εκπαιδεύσουμε αυτό το μοντέλο με αποτελεσματικό τρόπο, χρειαζόμαστε μια παρουσία με υποστήριξη GPU. Για περισσότερες πληροφορίες, ανατρέξτε στο Μεταφορά της δύναμης της βαθιάς μάθησης σε δεδομένα σε πίνακες.

from sagemaker import hyperparameters
from sagemaker.tuner import CategoricalParameter

# Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(
    model_id=train_model_id, model_version=train_model_version
)
# [Optional] Override default hyperparameters with custom values
hyperparameters["n_epochs"] = 40  # The same hyperparameter is named as "iterations" for CatBoost
hyperparameters["patience"] = 10

# Define search ranges for other hyperparameters
hyperparameter_ranges_tab = {
    "learning_rate": ContinuousParameter(0.001, 0.01, scaling_type="Auto"),
    "batch_size": CategoricalParameter([64, 128, 256, 512]),
    "attn_dropout": ContinuousParameter(0.0, 0.8, scaling_type="Auto"),
    "mlp_dropout": ContinuousParameter(0.0, 0.8, scaling_type="Auto"),
    "input_dim": CategoricalParameter(["16", "32", "64", "128", "256"]),
    "frac_shared_embed": ContinuousParameter(0.0, 0.5, scaling_type="Auto"),
}

AutoGluon-Tabular

Στην περίπτωση του AutoGluon, δεν εκτελούμε συντονισμό υπερπαραμέτρων. Αυτό οφείλεται στο σχεδιασμό, επειδή το AutoGluon εστιάζει στη συναρμολόγηση πολλαπλών μοντέλων με λογικές επιλογές υπερπαραμέτρων και στη στοίβαξή τους σε πολλαπλά επίπεδα. Αυτό καταλήγει να είναι πιο αποτελεσματικό από την εκπαίδευση ενός μοντέλου με την τέλεια επιλογή υπερπαραμέτρων και είναι επίσης υπολογιστικά φθηνότερο. Για λεπτομέρειες, ελέγξτε έξω AutoGluon-Tabular: Ισχυρό και ακριβές AutoML για δομημένα δεδομένα.

Επομένως, αλλάζουμε το model_id προς την autogluon-classification-ensemble, και διορθώστε μόνο τη μετρική υπερπαράμετρο αξιολόγησης στην επιθυμητή βαθμολογία AUC:

from sagemaker import hyperparameters

# Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(
    model_id=train_model_id, model_version=train_model_version
)

hyperparameters["eval_metric"] = "roc_auc"

Αντί να καλέσετε tuner.fit(), καλούμε estimator.fit() να ξεκινήσει μια ενιαία εργασία εκπαίδευσης.

Συγκριτική αξιολόγηση των εκπαιδευμένων μοντέλων

Αφού αναπτύξουμε και τα τέσσερα μοντέλα, στέλνουμε το πλήρες σετ δοκιμής σε κάθε τελικό σημείο για πρόβλεψη και υπολογίζουμε μετρήσεις ακρίβειας, F1 και AUC για καθένα (δείτε τον κώδικα στο δείγμα σημειωματάριου). Παρουσιάζουμε τα αποτελέσματα στον παρακάτω πίνακα, με μια σημαντική δήλωση αποποίησης ευθύνης: τα αποτελέσματα και η σχετική απόδοση μεταξύ αυτών των μοντέλων θα εξαρτηθούν από το σύνολο δεδομένων που χρησιμοποιείτε για εκπαίδευση. Αυτά τα αποτελέσματα είναι αντιπροσωπευτικά και παρόλο που η τάση ορισμένων αλγορίθμων να αποδίδουν καλύτερα βασίζεται σε σχετικούς παράγοντες (για παράδειγμα, το AutoGluon συνδυάζει έξυπνα τις προβλέψεις και των δύο μοντέλων LightGBM και CatBoost παρασκηνιακά), η ισορροπία στην απόδοση μπορεί να αλλάξει με διαφορετική διανομή δεδομένων.

Συμπέρασμα

Σε αυτήν την ανάρτηση, εκπαιδεύσαμε τέσσερις διαφορετικούς ενσωματωμένους αλγόριθμους SageMaker για την επίλυση του προβλήματος πρόβλεψης απόκλισης πελατών με χαμηλή προσπάθεια κωδικοποίησης. Χρησιμοποιήσαμε τον αυτόματο συντονισμό μοντέλων του SageMaker για να βρούμε τις καλύτερες υπερπαραμέτρους για να εκπαιδεύσουμε αυτούς τους αλγόριθμους και συγκρίναμε την απόδοσή τους σε ένα επιλεγμένο σύνολο δεδομένων πρόβλεψης εκτροπής. Μπορείτε να χρησιμοποιήσετε το σχετικό δείγμα σημειωματάριου ως πρότυπο, αντικαθιστώντας το σύνολο δεδομένων με το δικό σας για να λύσετε το επιθυμητό πρόβλημα με βάση τα δεδομένα σε πίνακα.

Φροντίστε να δοκιμάσετε αυτούς τους αλγόριθμους στο SageMaker και δείτε δείγματα σημειωματάρια σχετικά με τον τρόπο χρήσης άλλων ενσωματωμένων αλγορίθμων που είναι διαθέσιμοι στο GitHub.

Σχετικά με τους συγγραφείς

Δόκτωρ Σιν Χουάνγκ είναι Applied Scientist για τους ενσωματωμένους αλγόριθμους Amazon SageMaker JumpStart και Amazon SageMaker. Επικεντρώνεται στην ανάπτυξη κλιμακούμενων αλγορίθμων μηχανικής μάθησης. Τα ερευνητικά του ενδιαφέροντα είναι στον τομέα της επεξεργασίας φυσικής γλώσσας, της εξηγήσιμης βαθιάς εκμάθησης σε δεδομένα πινάκων και της ισχυρής ανάλυσης της μη παραμετρικής ομαδοποίησης χωροχρόνου. Έχει δημοσιεύσει πολλές εργασίες σε συνέδρια ACL, ICDM, KDD και Royal Statistical Society: Series A.

Τζοάο Μούρα είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στο Amazon Web Services. Επικεντρώνεται κυρίως σε περιπτώσεις χρήσης NLP και βοηθά τους πελάτες να βελτιστοποιήσουν την εκπαίδευση και την ανάπτυξη του μοντέλου Deep Learning. Είναι επίσης ενεργός υποστηρικτής των λύσεων ML χαμηλού κώδικα και του υλικού εξειδικευμένου για ML.