Δημιουργήστε έναν ταξινομητή εταιρικών αξιολογήσεων πιστοληπτικής ικανότητας χρησιμοποιώντας μηχανική εκμάθηση γραφημάτων στο Amazon SageMaker JumpStart

Σήμερα, κυκλοφορούμε μια νέα λύση για τη μηχανική εκμάθηση οικονομικών γραφημάτων (ML). Amazon SageMaker JumpStart. Το JumpStart σάς βοηθά να ξεκινήσετε γρήγορα με την ML και παρέχει ένα σύνολο λύσεων για τις πιο συνηθισμένες περιπτώσεις χρήσης που μπορούν να εκπαιδευτούν και να αναπτυχθούν με λίγα μόνο κλικ.

Η νέα λύση JumpStart (Graph-Based Credit Scoring) δείχνει πώς να δημιουργήσετε ένα εταιρικό δίκτυο από αρχεία SEC (δεδομένα κειμένου μεγάλης μορφής), να το συνδυάσετε με οικονομικούς δείκτες (δεδομένα πίνακα) και να χρησιμοποιήσετε νευρωνικά δίκτυα γραφημάτων (GNN) για τη δημιουργία πίστωσης μοντέλα πρόβλεψης αξιολόγησης. Σε αυτήν την ανάρτηση, εξηγούμε πώς μπορείτε να χρησιμοποιήσετε αυτήν την πλήρως προσαρμόσιμη λύση για τη βαθμολογία πίστωσης, ώστε να επιταχύνετε το ταξίδι σας σε ML γραφήματος. Το Graph ML γίνεται μια γόνιμη περιοχή για την οικονομική ML επειδή επιτρέπει τη χρήση δεδομένων δικτύου σε συνδυασμό με παραδοσιακά σύνολα δεδομένων σε πίνακα. Για περισσότερες πληροφορίες, βλ Η Amazon στο WSDM: Το μέλλον των νευρωνικών δικτύων γραφημάτων.

Επισκόπηση λύσεων

Μπορείτε να βελτιώσετε τη βαθμολογία πίστωσης εκμεταλλευόμενοι δεδομένα για επιχειρηματικές συνδέσεις, για τις οποίες μπορείτε να δημιουργήσετε ένα γράφημα, που θα δηλώνεται ως CorpNet (συντομογραφία για το εταιρικό δίκτυο) σε αυτήν τη λύση. Στη συνέχεια, μπορείτε να εφαρμόσετε την ταξινόμηση ML γραφήματος χρησιμοποιώντας GNN σε αυτό το γράφημα και ένα σύνολο χαρακτηριστικών πινάκων για τους κόμβους, για να δείτε εάν μπορείτε να δημιουργήσετε ένα καλύτερο μοντέλο ML εκμεταλλευόμενοι περαιτέρω τις πληροφορίες στις σχέσεις δικτύου. Επομένως, αυτή η λύση προσφέρει ένα πρότυπο για επιχειρηματικά μοντέλα που εκμεταλλεύονται δεδομένα δικτύου, όπως η χρήση γραφημάτων σχέσεων αλυσίδας εφοδιασμού, γραφημάτων κοινωνικών δικτύων και άλλων.

Η λύση αναπτύσσει πολλά νέα τεχνουργήματα κατασκευάζοντας ένα εταιρικό δίκτυο και δημιουργώντας συνθετικά χρηματοοικονομικά δεδομένα και συνδυάζει και τις δύο μορφές δεδομένων για τη δημιουργία μοντέλων χρησιμοποιώντας γράφημα ML.

Η λύση δείχνει πώς να δημιουργήσετε ένα δίκτυο συνδεδεμένων εταιρειών χρησιμοποιώντας την ενότητα MD&A από αρχειοθετήσεις SEC 10-K/Q. Εταιρείες με παρόμοιες μελλοντικές δηλώσεις είναι πιθανό να συνδέονται για πιστωτικά γεγονότα. Αυτές οι συνδέσεις απεικονίζονται σε ένα γράφημα. Για τα χαρακτηριστικά κόμβου γραφήματος, η λύση χρησιμοποιεί τις μεταβλητές στο μοντέλο Altman Z-score και την κατηγορία κλάδου κάθε εταιρείας. Αυτά παρέχονται σε ένα συνθετικό σύνολο δεδομένων που διατίθεται για σκοπούς επίδειξης. Τα δεδομένα γραφήματος και τα δεδομένα πίνακα χρησιμοποιούνται για την προσαρμογή ενός ταξινομητή αξιολόγησης χρησιμοποιώντας GNN. Για επεξηγηματικούς σκοπούς, συγκρίνουμε την απόδοση των μοντέλων με και χωρίς πληροφορίες γραφήματος.

Χρησιμοποιήστε τη λύση Πιστωτικής Βαθμολογίας με βάση το γράφημα

Για να ξεκινήσετε να χρησιμοποιείτε το JumpStart, βλ Ξεκινώντας με το Amazon SageMaker. Η κάρτα JumpStart για τη λύση Πιστωτικής Βαθμολογίας Βάσει Γραφήματος είναι διαθέσιμη μέσω Στούντιο Amazon SageMaker.

1. Επιλέξτε την κάρτα μοντέλου και μετά επιλέξτε Εκκίνηση για να ξεκινήσει η λύση.
   

Η λύση δημιουργεί ένα μοντέλο για συμπεράσματα και ένα τελικό σημείο για χρήση με ένα σημειωματάριο.

2. Περιμένετε μέχρι να είναι έτοιμα και να εμφανιστεί η κατάσταση ως Complete.
3. Επιλέξτε Ανοίξτε το Σημειωματάριο για να ανοίξετε το πρώτο σημειωματάριο, το οποίο είναι για εκπαίδευση και ανάπτυξη τελικού σημείου.
   

Μπορείτε να εργαστείτε μέσω αυτού του σημειωματάριου για να μάθετε πώς να χρησιμοποιείτε αυτήν τη λύση και στη συνέχεια να την τροποποιείτε για άλλες εφαρμογές με τα δικά σας δεδομένα. Η λύση συνοδεύεται από συνθετικά δεδομένα και χρησιμοποιεί ένα υποσύνολο αυτών για να παραδειγματίσει τα βήματα που απαιτούνται για την εκπαίδευση του μοντέλου, την ανάπτυξη του σε ένα τελικό σημείο και, στη συνέχεια, την κλήση του τελικού σημείου για συμπέρασμα. Το σημειωματάριο περιέχει επίσης κώδικα για να αναπτύξετε ένα δικό σας τελικό σημείο.

4. Για να ανοίξετε το δεύτερο σημειωματάριο (χρησιμοποιείται για συμπεράσματα), επιλέξτε Χρησιμοποιήστε το Endpoint στο Σημειωματάριο δίπλα στο τεχνούργημα τελικού σημείου.

Σε αυτό το σημειωματάριο, μπορείτε να δείτε πώς να προετοιμάσετε τα δεδομένα για να καλέσετε το τελικό σημείο του παραδείγματος για να εκτελέσετε συμπέρασμα σε μια παρτίδα παραδειγμάτων.

Το τελικό σημείο επιστρέφει προβλεπόμενες αξιολογήσεις, οι οποίες χρησιμοποιούνται για την αξιολόγηση της απόδοσης του μοντέλου, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης του τελευταίου μπλοκ κώδικα του σημειωματάριου συμπερασμάτων.

Μπορείτε να χρησιμοποιήσετε αυτήν τη λύση ως πρότυπο για ένα μοντέλο αξιολόγησης πιστοληπτικής ικανότητας ενισχυμένο με γράφημα. Δεν περιορίζεστε στο σύνολο δυνατοτήτων σε αυτό το παράδειγμα—μπορείτε να αλλάξετε τόσο τα δεδομένα γραφήματος όσο και τα δεδομένα πίνακα για τη δική σας περίπτωση χρήσης. Η έκταση των απαιτούμενων αλλαγών κώδικα είναι ελάχιστη. Συνιστούμε να επεξεργαστείτε το παράδειγμα προτύπου για να κατανοήσετε τη δομή της λύσης και, στη συνέχεια, να την τροποποιήσετε όπως απαιτείται.

Αυτή η λύση είναι μόνο για αποδεικτικούς σκοπούς. Δεν είναι οικονομικές συμβουλές και δεν πρέπει να βασίζονται ως χρηματοοικονομικές ή επενδυτικές συμβουλές. Τα σχετικά σημειωματάρια, συμπεριλαμβανομένου του εκπαιδευμένου μοντέλου, χρησιμοποιούν συνθετικά δεδομένα και δεν προορίζονται για χρήση στην παραγωγή. Παρόλο που χρησιμοποιείται κείμενο από τις αρχειοθετήσεις SEC, τα οικονομικά δεδομένα δημιουργούνται συνθετικά και τυχαία και δεν έχουν καμία σχέση με τα πραγματικά οικονομικά στοιχεία οποιασδήποτε εταιρείας. Επομένως, οι συνθετικά δημιουργούμενες αξιολογήσεις δεν έχουν επίσης καμία σχέση με την πραγματική βαθμολογία οποιασδήποτε πραγματικής εταιρείας.

Δεδομένα που χρησιμοποιούνται στη λύση

Το σύνολο δεδομένων έχει συνθετικά δεδομένα σε πίνακα, όπως διάφορους λογιστικούς δείκτες (αριθμητικούς) και κωδικούς κλάδου (κατηγορικούς). Το σύνολο δεδομένων έχει 𝑁=3286 σειρές. Προστίθενται επίσης ετικέτες αξιολόγησης. Αυτά είναι τα χαρακτηριστικά κόμβου που θα χρησιμοποιηθούν με το γράφημα ML.

Το σύνολο δεδομένων περιέχει επίσης ένα εταιρικό γράφημα, το οποίο είναι μη κατευθυνόμενο και μη σταθμισμένο. Αυτή η λύση σάς επιτρέπει να προσαρμόσετε τη δομή του γραφήματος διαφοροποιώντας τον τρόπο με τον οποίο περιλαμβάνονται οι σύνδεσμοι. Κάθε εταιρεία στο πίνακα δεδομένων αντιπροσωπεύεται από έναν κόμβο στο εταιρικό γράφημα. Η λειτουργία construct_network_data() βοηθά στη δημιουργία του γραφήματος, το οποίο περιλαμβάνει λίστες κόμβων προέλευσης και κόμβων προορισμού.

Οι ετικέτες αξιολόγησης χρησιμοποιούνται για ταξινόμηση με χρήση GNN, τα οποία μπορούν να είναι πολλαπλών κατηγοριών για όλες τις αξιολογήσεις ή δυαδικά, χωρισμένα σε βαθμό επένδυσης (AAA, AA, A, BBB) και μη επενδυτικό βαθμό (BB, B, CCC, CC, C, ΡΕ). Το D εδώ σημαίνει προεπιλογή.

Ο πλήρης κώδικας για την ανάγνωση των δεδομένων και την εκτέλεση της λύσης παρέχεται στο σημειωματάριο λύσης. Το ακόλουθο στιγμιότυπο οθόνης δείχνει τη δομή των συνθετικών δεδομένων πίνακα.

Οι πληροφορίες του γραφήματος μεταβιβάζονται στο Βιβλιοθήκη Deep Graph και σε συνδυασμό με τα δεδομένα του πίνακα για να αναλάβουμε το γράφημα ML. Εάν φέρετε το δικό σας γράφημα, απλώς παρέχετέ το ως ένα σύνολο κόμβων προέλευσης και κόμβων προορισμού.

Εκπαίδευση μοντέλων

Για σύγκριση, πρώτα εκπαιδεύουμε ένα μοντέλο μόνο σε δεδομένα πίνακα χρησιμοποιώντας AutoGluon, μιμούμενο την παραδοσιακή προσέγγιση για την αξιολόγηση της πιστοληπτικής ικανότητας των εταιρειών. Στη συνέχεια προσθέτουμε στο γράφημα δεδομένα και χρησιμοποιούμε GNN για εκπαίδευση. Πλήρεις λεπτομέρειες παρέχονται στο σημειωματάριο και μια σύντομη επισκόπηση προσφέρεται σε αυτήν την ανάρτηση. Το σημειωματάριο προσφέρει επίσης μια γρήγορη επισκόπηση του γραφήματος ML με επιλεγμένες αναφορές.

Η εκπαίδευση του GNN πραγματοποιείται ως εξής. Χρησιμοποιούμε μια προσαρμογή του Μοντέλο GraphSAGE υλοποιείται στη Βιβλιοθήκη Deep Graph.

1. Διαβάστε σε γράφημα δεδομένα από Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και δημιουργήστε τις λίστες κόμβων προέλευσης και προορισμού για το CorpNet.
2. Διαβάστε στα σύνολα χαρακτηριστικών κόμβων γραφήματος (εκπαίδευση και δοκιμή). Κανονικοποιήστε τα δεδομένα όπως απαιτείται.
3. Ορίστε συντονίσιμες υπερπαραμέτρους. Καλέστε το εξειδικευμένο γραφικό κοντέινερ ML που εκτελεί το PyTorch για να χωρέσει το GNN χωρίς βελτιστοποίηση υπερπαραμέτρων (HPO).
4. Επαναλάβετε το γράφημα ML με HPO.

Για να κάνουμε την εφαρμογή απλή και σταθερή, εκτελούμε την εκπαίδευση μοντέλων σε ένα κοντέινερ χρησιμοποιώντας τον ακόλουθο κώδικα (ο κωδικός εγκατάστασης πριν από αυτόν τον κώδικα εκπαίδευσης βρίσκεται στο σημειωματάριο λύσεων):

from sagemaker.pytorch import PyTorch
from time import strftime, gmtime training_job_name = sagemaker_config["SolutionPrefix"] + "-gcn-training"
print( f"You can go to SageMaker -> Training -> Hyperparameter tuning jobs -> a job name started with {training_job_name} to monitor training job status and details."
) estimator = PyTorch( entry_point='train_dgl_pytorch_entry_point.py', source_dir='graph_convolutional_network', role=role, instance_count=1, instance_type='ml.g4dn.xlarge', framework_version="1.9.0", py_version='py38', hyperparameters=hyperparameters, output_path=output_location, code_location=output_location, sagemaker_session=sess, base_job_name=training_job_name,
) estimator.fit({'train': input_location})

Η τρέχουσα εκπαιδευτική διαδικασία πραγματοποιείται σε ένα μεταδοτικό περιβάλλον, όπου τα χαρακτηριστικά του συνόλου δεδομένων δοκιμής (χωρίς τη στήλη στόχο) χρησιμοποιούνται για την κατασκευή του γραφήματος και επομένως οι κόμβοι δοκιμής περιλαμβάνονται στη διαδικασία εκπαίδευσης. Στο τέλος της εκπαίδευσης, δημιουργούνται και αποθηκεύονται οι προβλέψεις στο σύνολο δεδομένων δοκιμής output_location στον κάδο S3.

Παρόλο που η εκπαίδευση είναι μεταδοτική, οι ετικέτες του συνόλου δεδομένων δοκιμής δεν χρησιμοποιούνται για εκπαίδευση και η άσκησή μας στοχεύει στην πρόβλεψη αυτών των ετικετών χρησιμοποιώντας ενσωματώσεις κόμβων για τους κόμβους δοκιμαστικών δεδομένων. Ένα σημαντικό χαρακτηριστικό του GraphSAGE είναι ότι η επαγωγική μάθηση σε νέες παρατηρήσεις που δεν αποτελούν μέρος του γραφήματος είναι επίσης δυνατή, αν και δεν αξιοποιείται σε αυτήν τη λύση.

Βελτιστοποίηση υπερπαραμέτρων

Αυτή η λύση επεκτείνεται περαιτέρω με διεξαγωγή HPO στο GNN. Αυτό γίνεται μέσα στο SageMaker. Δείτε τον παρακάτω κώδικα:

from sagemaker.tuner import ( IntegerParameter, CategoricalParameter, ContinuousParameter, HyperparameterTuner,
) # Static hyperparameters we do not tune
hyperparameters = { "n-layers": 2, "aggregator-type": "pool", "target-column": target_column
}
# Dynamic hyperparameters to tune and their searching ranges. # For demonstration purpose, we skip the architecture search by skipping # tuning the hyperparameters such as 'skip_rnn_num_layers', 'rnn_num_layers', etc.
hyperparameter_ranges = { "n-hidden": CategoricalParameter([32, 64, 128, 256, 512, 1024]), 'dropout': ContinuousParameter(0.0, 0.6), 'weight-decay': ContinuousParameter(1e-5, 1e-2), 'n-epochs': IntegerParameter(70, 120), #80, 160 'lr': ContinuousParameter(0.002, 0.02),
}

Στη συνέχεια, ορίσαμε τον προπονητικό στόχο, για να μεγιστοποιήσουμε το σκορ F1 σε αυτήν την περίπτωση:

objective_metric_name = "Validation F1"
metric_definitions = [{"Name": "Validation F1", "Regex": "Validation F1 (\S+)"}]
objective_type = "Maximize"

Δημιουργήστε το επιλεγμένο περιβάλλον και τους πόρους εκπαίδευσης στο SageMaker:

estimator_tuning = PyTorch( entry_point='train_dgl_pytorch_entry_point.py', source_dir='graph_convolutional_network', role=role, instance_count=1, instance_type='ml.g4dn.xlarge', framework_version="1.9.0", py_version='py38', hyperparameters=hyperparameters, output_path=output_location, code_location=output_location, sagemaker_session=sess, base_job_name=training_job_name,
)

Τέλος, εκτελέστε την εργασία εκπαίδευσης με βελτιστοποίηση υπερπαραμέτρων:

import time tuning_job_name = sagemaker_config["SolutionPrefix"] + "-gcn-hpo"
print( f"You can go to SageMaker -> Training -> Hyperparameter tuning jobs -> a job name started with {tuning_job_name} to monitor HPO tuning status and details.n" f"Note. You will be unable to successfully run the following cells until the tuning job completes. This step may take around 2 hours."
) tuner = HyperparameterTuner( estimator_tuning, # using the estimator defined in previous section objective_metric_name, hyperparameter_ranges, metric_definitions, max_jobs=30, max_parallel_jobs=10, objective_type=objective_type, base_tuning_job_name = tuning_job_name,
) start_time = time.time() tuner.fit({'train': input_location}) hpo_training_job_time_duration = time.time() - start_time

Αποτελέσματα

Η συμπερίληψη δεδομένων δικτύου και η βελτιστοποίηση υπερπαραμέτρων αποφέρει βελτιωμένα αποτελέσματα. Οι μετρήσεις απόδοσης στον παρακάτω πίνακα καταδεικνύουν το όφελος από την προσθήκη στο CorpNet σε τυπικά σύνολα δεδομένων πινάκων που χρησιμοποιούνται για τη βαθμολογία πίστωσης.

Τα αποτελέσματα για το AutoGluon δεν χρησιμοποιούν το γράφημα, μόνο τα δεδομένα πίνακα. Όταν προσθέτουμε δεδομένα στο γράφημα και χρησιμοποιούμε HPO, έχουμε ένα σημαντικό κέρδος στην απόδοση.

(Σημείωση: MCC είναι ο συντελεστής συσχέτισης Matthews. https://en.wikipedia.org/wiki/Phi_coefficient.)

εκκαθάριση

Αφού ολοκληρώσετε τη χρήση αυτού του σημειωματάριου, διαγράψτε τα τεχνουργήματα του μοντέλου και άλλους πόρους για να αποφύγετε περαιτέρω χρεώσεις. Πρέπει να διαγράψετε με μη αυτόματο τρόπο πόρους που μπορεί να έχετε δημιουργήσει κατά την εκτέλεση του σημειωματάριου, όπως κουβάδες S3 για τεχνουργήματα μοντέλων, σύνολα δεδομένων εκπαίδευσης, επεξεργασία τεχνουργημάτων και amazoncloudwatch ομάδες καταγραφής.

Χαρακτηριστικά

Σε αυτήν την ανάρτηση, παρουσιάσαμε μια λύση αξιολόγησης πιστοληπτικής ικανότητας βάσει γραφήματος στο JumpStart για να σας βοηθήσουμε να επιταχύνετε το ταξίδι σας σε ML γραφήματος. Το σημειωματάριο παρέχει μια διοχέτευση που μπορείτε να τροποποιήσετε και να εκμεταλλευτείτε γραφήματα με υπάρχοντα μοντέλα πινάκων για καλύτερη απόδοση.

Για να ξεκινήσετε, μπορείτε να βρείτε τη λύση Πιστωτικής Βαθμολογίας βάσει γραφήματος στο JumpStart in SageMaker Στούντιο.

Σχετικά με τους Συγγραφείς

Ο Δρ Sanjiv Das είναι υπότροφος του Amazon και ο Terry Professor of Finance and Data Science στο Πανεπιστήμιο Santa Clara. Είναι κάτοχος μεταπτυχιακού τίτλου στα Χρηματοοικονομικά (M.Phil και Ph.D. από το Πανεπιστήμιο της Νέας Υόρκης) και στην Επιστήμη Υπολογιστών (MS από το UC Berkeley) και MBA από το Indian Institute of Management, Ahmedabad. Πριν γίνει ακαδημαϊκός, εργάστηκε στον κλάδο των παραγώγων στην περιοχή Ασίας-Ειρηνικού ως Αντιπρόεδρος στη Citibank. Εργάζεται στην πολυτροπική μηχανική μάθηση στον τομέα των οικονομικών εφαρμογών.

Δόκτωρ Σιν Χουάνγκ είναι Εφαρμοσμένος Επιστήμονας για Amazon SageMaker JumpStart και Ενσωματωμένοι αλγόριθμοι Amazon SageMaker. Επικεντρώνεται στην ανάπτυξη κλιμακούμενων αλγορίθμων μηχανικής μάθησης. Τα ερευνητικά του ενδιαφέροντα είναι στους τομείς της επεξεργασίας φυσικής γλώσσας, της βαθιάς μάθησης σε δεδομένα πινάκων και της ισχυρής ανάλυσης της μη παραμετρικής ομαδοποίησης του χωροχρόνου.

Soji Adeshina είναι Εφαρμοσμένος Επιστήμονας στο AWS, όπου αναπτύσσει μοντέλα βασισμένα σε νευρωνικά δίκτυα γραφημάτων για μηχανική εκμάθηση σε εργασίες γραφημάτων με εφαρμογές απάτης και κατάχρησης, γραφήματα γνώσης, συστήματα συστάσεων και επιστήμες της ζωής. Στον ελεύθερο χρόνο του, του αρέσει να διαβάζει και να μαγειρεύει.

Πάτρικ Γιανγκ είναι Μηχανικός Ανάπτυξης Λογισμικού στο Amazon SageMaker. Επικεντρώνεται στην κατασκευή εργαλείων μηχανικής εκμάθησης και προϊόντων για πελάτες.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/build-a-corporate-credit-ratings-classifier-using-graph-machine-learning-in-amazon-sagemaker-jumpstart/