Amazon SageMaker JumpStart में ग्राफ मशीन लर्निंग का उपयोग करके कॉर्पोरेट क्रेडिट रेटिंग क्लासिफायरियर बनाएं

आज, हम वित्तीय ग्राफ मशीन लर्निंग (एमएल) के लिए एक नया समाधान जारी कर रहे हैं अमेज़न SageMaker जम्पस्टार्ट. जम्पस्टार्ट आपको एमएल के साथ शीघ्रता से आरंभ करने में मदद करता है और सबसे सामान्य उपयोग के मामलों के लिए समाधानों का एक सेट प्रदान करता है जिसे कुछ ही क्लिक के साथ प्रशिक्षित और तैनात किया जा सकता है।

नया जम्पस्टार्ट समाधान (ग्राफ-आधारित क्रेडिट स्कोरिंग) दर्शाता है कि एसईसी फाइलिंग (लॉन्ग-फॉर्म टेक्स्ट डेटा) से कॉर्पोरेट नेटवर्क का निर्माण कैसे किया जाता है, इसे वित्तीय अनुपात (सारणीबद्ध डेटा) के साथ संयोजित किया जाता है, और क्रेडिट बनाने के लिए ग्राफ न्यूरल नेटवर्क (जीएनएन) का उपयोग किया जाता है। रेटिंग भविष्यवाणी मॉडल। इस पोस्ट में, हम बताते हैं कि आप क्रेडिट स्कोरिंग के लिए इस पूरी तरह से अनुकूलन योग्य समाधान का उपयोग कैसे कर सकते हैं, ताकि आप अपने ग्राफ एमएल यात्रा को तेज कर सकें। ग्राफ एमएल वित्तीय एमएल के लिए एक उपयोगी क्षेत्र बन रहा है क्योंकि यह पारंपरिक सारणीबद्ध डेटासेट के साथ नेटवर्क डेटा के उपयोग को सक्षम बनाता है। अधिक जानकारी के लिए देखें WSDM में Amazon: ग्राफ न्यूरल नेटवर्क का भविष्य.

समाधान अवलोकन

आप व्यावसायिक संबंधों पर डेटा का उपयोग करके क्रेडिट स्कोरिंग में सुधार कर सकते हैं, जिसके लिए आप इस समाधान में CorpNet (कॉर्पोरेट नेटवर्क के लिए संक्षिप्त) के रूप में दर्शाए गए एक ग्राफ का निर्माण कर सकते हैं। फिर आप इस ग्राफ पर जीएनएन का उपयोग करके ग्राफ एमएल वर्गीकरण लागू कर सकते हैं और नोड्स के लिए एक सारणीबद्ध फीचर सेट कर सकते हैं, यह देखने के लिए कि क्या आप नेटवर्क संबंधों में जानकारी का और अधिक दोहन करके बेहतर एमएल मॉडल बना सकते हैं। इसलिए, यह समाधान व्यापार मॉडल के लिए एक टेम्पलेट प्रदान करता है जो नेटवर्क डेटा का शोषण करता है, जैसे कि आपूर्ति श्रृंखला संबंध ग्राफ़, सोशल नेटवर्क ग्राफ़, और बहुत कुछ का उपयोग करना।

समाधान एक कॉर्पोरेट नेटवर्क का निर्माण और सिंथेटिक वित्तीय डेटा उत्पन्न करके कई नई कलाकृतियों को विकसित करता है, और ग्राफ एमएल का उपयोग करके मॉडल बनाने के लिए डेटा के दोनों रूपों को जोड़ता है।

समाधान दिखाता है कि एसईसी 10-के/क्यू फाइलिंग से एमडी एंड ए सेक्शन का उपयोग करके कनेक्टेड कंपनियों का नेटवर्क कैसे बनाया जाए। समान फॉरवर्ड लुकिंग स्टेटमेंट वाली कंपनियों के क्रेडिट इवेंट्स के लिए जुड़े होने की संभावना है। इन कनेक्शनों को एक ग्राफ में दर्शाया गया है। ग्राफ नोड सुविधाओं के लिए, समाधान Altman Z-score मॉडल और प्रत्येक फर्म की उद्योग श्रेणी में चर का उपयोग करता है। ये प्रदर्शन उद्देश्यों के लिए उपलब्ध कराए गए सिंथेटिक डेटासेट में प्रदान किए जाते हैं। जीएनएन का उपयोग करके रेटिंग क्लासिफायरियर को फिट करने के लिए ग्राफ डेटा और सारणीबद्ध डेटा का उपयोग किया जाता है। उदाहरण के लिए, हम ग्राफ़ जानकारी के साथ और बिना मॉडल के प्रदर्शन की तुलना करते हैं।

ग्राफ़-आधारित क्रेडिट स्कोरिंग समाधान का उपयोग करें

जम्पस्टार्ट का उपयोग शुरू करने के लिए, देखें अमेज़न सेजमेकर के साथ शुरुआत करना. ग्राफ-आधारित क्रेडिट स्कोरिंग समाधान के लिए जम्पस्टार्ट कार्ड के माध्यम से उपलब्ध है अमेज़ॅन सैजमेकर स्टूडियो.

1. मॉडल कार्ड चुनें, फिर चुनें लांच समाधान शुरू करने के लिए।
   

समाधान एक नोटबुक के साथ उपयोग करने के लिए अनुमान और समापन बिंदु के लिए एक मॉडल उत्पन्न करता है।

2. उनके तैयार होने तक प्रतीक्षा करें और स्थिति इस प्रकार दिखाई देती है Complete.
3. चुनें नोटबुक खोलें पहली नोटबुक खोलने के लिए, जो प्रशिक्षण और समापन बिंदु परिनियोजन के लिए है।
   

आप इस समाधान का उपयोग करने का तरीका जानने के लिए इस नोटबुक के माध्यम से काम कर सकते हैं और फिर इसे अपने डेटा पर अन्य अनुप्रयोगों के लिए संशोधित कर सकते हैं। समाधान सिंथेटिक डेटा के साथ आता है और मॉडल को प्रशिक्षित करने के लिए आवश्यक चरणों का उदाहरण देने के लिए इसके एक सबसेट का उपयोग करता है, इसे एक समापन बिंदु पर तैनात करता है, और फिर निष्कर्ष के लिए समापन बिंदु का आह्वान करता है। नोटबुक में आपके स्वयं के समापन बिंदु को परिनियोजित करने के लिए कोड भी होता है।

4. दूसरी नोटबुक खोलने के लिए (अनुमान के लिए प्रयुक्त), चुनें नोटबुक में समापन बिंदु का प्रयोग करें समापन बिंदु विरूपण साक्ष्य के बगल में।

इस नोटबुक में, आप देख सकते हैं कि उदाहरणों के बैच पर निष्कर्ष निकालने के लिए उदाहरण समापन बिंदु को लागू करने के लिए डेटा कैसे तैयार किया जाए।

एंडपॉइंट अनुमानित रेटिंग देता है, जिसका उपयोग मॉडल के प्रदर्शन का आकलन करने के लिए किया जाता है, जैसा कि अनुमान नोटबुक के अंतिम कोड ब्लॉक के निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

आप इस समाधान का उपयोग ग्राफ़-वर्धित क्रेडिट रेटिंग मॉडल के लिए एक टेम्पलेट के रूप में कर सकते हैं। आप इस उदाहरण में सेट की गई सुविधा तक सीमित नहीं हैं—आप अपने स्वयं के उपयोग के मामले के लिए ग्राफ़ डेटा और सारणीबद्ध डेटा दोनों को बदल सकते हैं। आवश्यक कोड परिवर्तन की सीमा न्यूनतम है। समाधान की संरचना को समझने के लिए हम अपने टेम्पलेट उदाहरण के माध्यम से काम करने की सलाह देते हैं, और फिर इसे आवश्यकतानुसार संशोधित करते हैं।

यह समाधान केवल प्रदर्शनकारी उद्देश्यों के लिए है। यह वित्तीय सलाह नहीं है और इसे वित्तीय या निवेश सलाह के रूप में भरोसा नहीं किया जाना चाहिए। संबंधित नोटबुक, प्रशिक्षित मॉडल सहित, सिंथेटिक डेटा का उपयोग करते हैं, और उत्पादन के उपयोग के लिए अभिप्रेत नहीं हैं। हालांकि एसईसी फाइलिंग से पाठ का उपयोग किया जाता है, वित्तीय डेटा कृत्रिम रूप से और बेतरतीब ढंग से उत्पन्न होता है और इसका किसी भी कंपनी के वास्तविक वित्तीय से कोई संबंध नहीं है। इसलिए, कृत्रिम रूप से उत्पन्न रेटिंग का किसी वास्तविक कंपनी की वास्तविक रेटिंग से कोई संबंध नहीं है।

समाधान में प्रयुक्त डेटा

डेटासेट में सिंथेटिक सारणीबद्ध डेटा होता है जैसे कि विभिन्न लेखा अनुपात (संख्यात्मक) और उद्योग कोड (श्रेणीबद्ध)। डेटासेट में है 𝑁= 3286 पंक्तियाँ। रेटिंग लेबल भी जोड़े जाते हैं। ये ग्राफ एमएल के साथ उपयोग की जाने वाली नोड विशेषताएं हैं।

डेटासेट में एक कॉर्पोरेट ग्राफ़ भी होता है, जो अप्रत्यक्ष और बिना भार वाला होता है। यह समाधान आपको लिंक को शामिल करने के तरीके को बदलकर ग्राफ़ की संरचना को समायोजित करने की अनुमति देता है। सारणीबद्ध डेटासेट में प्रत्येक कंपनी को कॉर्पोरेट ग्राफ़ में एक नोड द्वारा दर्शाया जाता है। कार्यक्रम construct_network_data() ग्राफ बनाने में मदद करता है, जिसमें स्रोत नोड्स और गंतव्य नोड्स की सूचियां शामिल हैं।

रेटिंग लेबल का उपयोग जीएनएन का उपयोग करके वर्गीकरण के लिए किया जाता है, जो सभी रेटिंग या बाइनरी के लिए बहु-श्रेणी हो सकता है, निवेश ग्रेड (एएए, एए, ए, बीबीबी) और गैर-निवेश ग्रेड (बीबी, बी, सीसीसी, सीसी, सी, के बीच विभाजित) डी)। यहां डी का मतलब डिफॉल्ट है।

डेटा में पढ़ने और समाधान चलाने के लिए पूरा कोड समाधान नोटबुक में दिया गया है। निम्न स्क्रीनशॉट सिंथेटिक सारणीबद्ध डेटा की संरचना को दर्शाता है।

ग्राफ़ जानकारी को में पास किया जाता है डीप ग्राफ लाइब्रेरी और ग्राफ एमएल शुरू करने के लिए सारणीबद्ध डेटा के साथ संयुक्त। यदि आप अपना स्वयं का ग्राफ लाते हैं, तो बस इसे स्रोत नोड्स और गंतव्य नोड्स के सेट के रूप में आपूर्ति करें।

मॉडल प्रशिक्षण

तुलना के लिए, हम पहले एक मॉडल को केवल सारणीबद्ध डेटा पर प्रशिक्षित करते हैं ऑटोग्लून, कंपनियों की क्रेडिट रेटिंग के लिए पारंपरिक दृष्टिकोण की नकल करना। फिर हम ग्राफ़ डेटा में जोड़ते हैं और प्रशिक्षण के लिए GNN का उपयोग करते हैं। नोटबुक में पूरा विवरण दिया गया है, और इस पोस्ट में एक संक्षिप्त अवलोकन दिया गया है। नोटबुक चयनित संदर्भों के साथ ग्राफ एमएल का त्वरित अवलोकन भी प्रदान करता है।

GNN का प्रशिक्षण निम्नानुसार किया जाता है। हम के एक अनुकूलन का उपयोग करते हैं ग्राफसेज मॉडल डीप ग्राफ लाइब्रेरी में लागू किया गया।

1. से ग्राफ़ डेटा में पढ़ें अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) और CorpNet के लिए स्रोत और गंतव्य नोड सूचियाँ बनाएँ।
2. ग्राफ नोड फीचर सेट (ट्रेन और टेस्ट) में पढ़ें। आवश्यकतानुसार डेटा को सामान्य करें।
3. ट्यून करने योग्य हाइपरपैरामीटर सेट करें। हाइपरपैरामीटर ऑप्टिमाइज़ेशन (HPO) के बिना GNN को फ़िट करने के लिए PyTorch चलाने वाले विशेष ग्राफ़ ML कंटेनर को कॉल करें।
4. एचपीओ के साथ ग्राफ एमएल दोहराएं।

कार्यान्वयन को सरल और स्थिर बनाने के लिए, हम निम्नलिखित कोड का उपयोग करके एक कंटेनर में मॉडल प्रशिक्षण चलाते हैं (इस प्रशिक्षण कोड से पहले का सेटअप कोड समाधान नोटबुक में है):

from sagemaker.pytorch import PyTorch
from time import strftime, gmtime training_job_name = sagemaker_config["SolutionPrefix"] + "-gcn-training"
print( f"You can go to SageMaker -> Training -> Hyperparameter tuning jobs -> a job name started with {training_job_name} to monitor training job status and details."
) estimator = PyTorch( entry_point='train_dgl_pytorch_entry_point.py', source_dir='graph_convolutional_network', role=role, instance_count=1, instance_type='ml.g4dn.xlarge', framework_version="1.9.0", py_version='py38', hyperparameters=hyperparameters, output_path=output_location, code_location=output_location, sagemaker_session=sess, base_job_name=training_job_name,
) estimator.fit({'train': input_location})

वर्तमान प्रशिक्षण प्रक्रिया एक ट्रांसडक्टिव सेटिंग में की जाती है, जहां परीक्षण डेटासेट (लक्ष्य कॉलम को शामिल नहीं) की सुविधाओं का उपयोग ग्राफ़ बनाने के लिए किया जाता है और इसलिए परीक्षण नोड्स को प्रशिक्षण प्रक्रिया में शामिल किया जाता है। प्रशिक्षण के अंत में, परीक्षण डेटासेट पर भविष्यवाणियां उत्पन्न और सहेजी जाती हैं output_location S3 बाल्टी में।

भले ही प्रशिक्षण ट्रांसडक्टिव है, परीक्षण डेटासेट के लेबल का उपयोग प्रशिक्षण के लिए नहीं किया जाता है, और हमारे अभ्यास का उद्देश्य परीक्षण डेटासेट नोड्स के लिए नोड एम्बेडिंग का उपयोग करके इन लेबलों की भविष्यवाणी करना है। ग्राफ़सेज की एक महत्वपूर्ण विशेषता यह है कि नए अवलोकनों पर आगमनात्मक शिक्षण जो ग्राफ़ का हिस्सा नहीं हैं, भी संभव है, हालांकि इस समाधान में इसका उपयोग नहीं किया गया है।

हाइपरपरमेटर अनुकूलन

जीएनएन पर एचपीओ आयोजित करके इस समाधान को और बढ़ाया गया है। यह सेजमेकर के भीतर किया जाता है। निम्नलिखित कोड देखें:

from sagemaker.tuner import ( IntegerParameter, CategoricalParameter, ContinuousParameter, HyperparameterTuner,
) # Static hyperparameters we do not tune
hyperparameters = { "n-layers": 2, "aggregator-type": "pool", "target-column": target_column
}
# Dynamic hyperparameters to tune and their searching ranges. # For demonstration purpose, we skip the architecture search by skipping # tuning the hyperparameters such as 'skip_rnn_num_layers', 'rnn_num_layers', etc.
hyperparameter_ranges = { "n-hidden": CategoricalParameter([32, 64, 128, 256, 512, 1024]), 'dropout': ContinuousParameter(0.0, 0.6), 'weight-decay': ContinuousParameter(1e-5, 1e-2), 'n-epochs': IntegerParameter(70, 120), #80, 160 'lr': ContinuousParameter(0.002, 0.02),
}

फिर हम इस मामले में F1 स्कोर को अधिकतम करने के लिए प्रशिक्षण उद्देश्य निर्धारित करते हैं:

objective_metric_name = "Validation F1"
metric_definitions = [{"Name": "Validation F1", "Regex": "Validation F1 (\S+)"}]
objective_type = "Maximize"

सेजमेकर पर चुने हुए पर्यावरण और प्रशिक्षण संसाधनों की स्थापना करें:

estimator_tuning = PyTorch( entry_point='train_dgl_pytorch_entry_point.py', source_dir='graph_convolutional_network', role=role, instance_count=1, instance_type='ml.g4dn.xlarge', framework_version="1.9.0", py_version='py38', hyperparameters=hyperparameters, output_path=output_location, code_location=output_location, sagemaker_session=sess, base_job_name=training_job_name,
)

अंत में, हाइपरपैरामीटर ऑप्टिमाइज़ेशन के साथ प्रशिक्षण कार्य चलाएँ:

import time tuning_job_name = sagemaker_config["SolutionPrefix"] + "-gcn-hpo"
print( f"You can go to SageMaker -> Training -> Hyperparameter tuning jobs -> a job name started with {tuning_job_name} to monitor HPO tuning status and details.n" f"Note. You will be unable to successfully run the following cells until the tuning job completes. This step may take around 2 hours."
) tuner = HyperparameterTuner( estimator_tuning, # using the estimator defined in previous section objective_metric_name, hyperparameter_ranges, metric_definitions, max_jobs=30, max_parallel_jobs=10, objective_type=objective_type, base_tuning_job_name = tuning_job_name,
) start_time = time.time() tuner.fit({'train': input_location}) hpo_training_job_time_duration = time.time() - start_time

परिणाम

नेटवर्क डेटा और हाइपरपैरामीटर ऑप्टिमाइजेशन को शामिल करने से बेहतर परिणाम मिलते हैं। निम्न तालिका में प्रदर्शन मेट्रिक्स क्रेडिट स्कोरिंग के लिए उपयोग किए जाने वाले मानक सारणीबद्ध डेटासेट में कॉर्पनेट में जोड़ने के लाभ को प्रदर्शित करता है।

AutoGluon के परिणाम ग्राफ़ का उपयोग नहीं करते, केवल सारणीबद्ध डेटा का उपयोग करते हैं। जब हम ग्राफ डेटा में जोड़ते हैं और एचपीओ का उपयोग करते हैं, तो हमें प्रदर्शन में भौतिक लाभ मिलता है।

(नोट: एमसीसी मैथ्यूज सहसंबंध गुणांक है; https://en.wikipedia.org/wiki/Phi_coefficient.)

क्लीन अप

इस नोटबुक का उपयोग कर लेने के बाद, अतिरिक्त शुल्कों से बचने के लिए मॉडल कलाकृतियों और अन्य संसाधनों को हटा दें। आपको नोटबुक चलाने के दौरान बनाए गए संसाधनों को मैन्युअल रूप से हटाने की आवश्यकता है, जैसे मॉडल कलाकृतियों के लिए S3 बकेट, प्रशिक्षण डेटासेट, प्रसंस्करण कलाकृतियां, और अमेज़ॅन क्लाउडवॉच लॉग समूह।

सारांश

इस पोस्ट में, हमने जम्पस्टार्ट में एक ग्राफ-आधारित क्रेडिट स्कोरिंग समाधान पेश किया है जिससे आपको अपने ग्राफ एमएल यात्रा में तेजी लाने में मदद मिलेगी। नोटबुक एक पाइपलाइन प्रदान करता है जिसे आप बेहतर प्रदर्शन प्राप्त करने के लिए मौजूदा सारणीबद्ध मॉडल के साथ ग्राफ़ को संशोधित और शोषण कर सकते हैं।

आरंभ करने के लिए, आप जम्पस्टार्ट में ग्राफ-आधारित क्रेडिट स्कोरिंग समाधान पा सकते हैं सेजमेकर स्टूडियो.

लेखक के बारे में

डॉ संजीव दासो एक अमेज़ॅन विद्वान और सांता क्लारा विश्वविद्यालय में वित्त और डेटा विज्ञान के टेरी प्रोफेसर हैं। उन्होंने वित्त में स्नातकोत्तर डिग्री (न्यूयॉर्क विश्वविद्यालय से एम.फिल और पीएचडी) और कंप्यूटर विज्ञान (यूसी बर्कले से एमएस), और भारतीय प्रबंधन संस्थान, अहमदाबाद से एमबीए किया है। एक अकादमिक होने से पहले, उन्होंने एशिया-प्रशांत क्षेत्र में डेरिवेटिव व्यवसाय में सिटीबैंक में उपाध्यक्ष के रूप में काम किया। वह वित्तीय अनुप्रयोगों के क्षेत्र में मल्टीमॉडल मशीन लर्निंग पर काम करता है।

डॉ शिन हुआंग के लिए एक अनुप्रयुक्त वैज्ञानिक है अमेज़न SageMaker जम्पस्टार्ट और अमेज़ॅन सेजमेकर बिल्ट-इन एल्गोरिदम. वह स्केलेबल मशीन लर्निंग एल्गोरिदम विकसित करने पर ध्यान केंद्रित करता है। उनकी शोध रुचियां प्राकृतिक भाषा प्रसंस्करण, सारणीबद्ध डेटा पर गहन शिक्षा और गैर-पैरामीट्रिक स्पेस-टाइम क्लस्टरिंग के मजबूत विश्लेषण के क्षेत्रों में हैं।

सोजी आदेश: एडब्ल्यूएस में एक अनुप्रयुक्त वैज्ञानिक है, जहां वह धोखाधड़ी और दुरुपयोग, ज्ञान ग्राफ, अनुशंसा प्रणाली और जीवन विज्ञान के अनुप्रयोगों के साथ ग्राफ कार्यों पर मशीन सीखने के लिए ग्राफ तंत्रिका नेटवर्क-आधारित मॉडल विकसित करता है। अपने खाली समय में, उन्हें पढ़ना और खाना बनाना पसंद है।

पैट्रिक यांग Amazon SageMaker में सॉफ्टवेयर डेवलपमेंट इंजीनियर हैं। वह ग्राहकों के लिए मशीन लर्निंग टूल्स और उत्पादों के निर्माण पर ध्यान केंद्रित करता है।

• कॉइनस्मार्ट। यूरोप का सर्वश्रेष्ठ बिटकॉइन और क्रिप्टो एक्सचेंज।
• प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। नि: शुल्क प्रवेश।
• क्रिप्टोहॉक। Altcoin रडार। मुफ्त परीक्षण।
• Source: https://aws.amazon.com/blogs/machine-learning/build-a-corporate-credit-ratings-classifier-using-graph-machine-learning-in-amazon-sagemaker-jumpstart/