สร้างตัวแยกประเภทการจัดอันดับเครดิตขององค์กรโดยใช้การเรียนรู้ของเครื่องด้วยกราฟใน Amazon SageMaker JumpStart

วันนี้ เรากำลังเปิดตัวโซลูชันใหม่สำหรับการเรียนรู้ของเครื่องกราฟทางการเงิน (ML) Amazon SageMaker JumpStart. JumpStart ช่วยให้คุณเริ่มต้นใช้งาน ML ได้อย่างรวดเร็ว และมอบชุดโซลูชันสำหรับกรณีการใช้งานที่พบบ่อยที่สุด ซึ่งสามารถฝึกอบรมและปรับใช้ได้ด้วยการคลิกเพียงไม่กี่ครั้ง

โซลูชัน JumpStart ใหม่ (การให้คะแนนเครดิตตามกราฟ) สาธิตวิธีสร้างเครือข่ายองค์กรจากการยื่นเอกสารของ SEC (ข้อมูลข้อความแบบยาว) รวมเข้ากับอัตราส่วนทางการเงิน (ข้อมูลแบบตาราง) และใช้โครงข่ายประสาทเทียมแบบกราฟ (GNN) เพื่อสร้างเครดิต แบบจำลองการทำนายคะแนน ในโพสต์นี้ เราจะอธิบายวิธีที่คุณสามารถใช้โซลูชันที่ปรับแต่งได้อย่างเต็มที่นี้สำหรับการให้คะแนนเครดิต เพื่อให้คุณสามารถเร่งการเดินทาง ML ของกราฟได้ Graph ML กำลังกลายเป็นส่วนที่มีประโยชน์สำหรับ ML ทางการเงิน เนื่องจากทำให้สามารถใช้ข้อมูลเครือข่ายร่วมกับชุดข้อมูลแบบตารางแบบดั้งเดิมได้ สำหรับข้อมูลเพิ่มเติม โปรดดู Amazon ที่ WSDM: อนาคตของโครงข่ายประสาทเทียมแบบกราฟ.

ภาพรวมโซลูชัน

คุณสามารถปรับปรุงการให้คะแนนเครดิตได้โดยการใช้ประโยชน์จากข้อมูลในการเชื่อมโยงทางธุรกิจ ซึ่งคุณสามารถสร้างกราฟซึ่งแสดงเป็น CorpNet (คำย่อสำหรับเครือข่ายองค์กร) ในโซลูชันนี้ จากนั้นคุณสามารถใช้การจัดประเภท ML ของกราฟโดยใช้ GNN บนกราฟนี้และคุณลักษณะแบบตารางที่ตั้งค่าไว้สำหรับโหนด เพื่อดูว่าคุณสามารถสร้างโมเดล ML ที่ดีขึ้นโดยใช้ประโยชน์จากข้อมูลในความสัมพันธ์ของเครือข่ายเพิ่มเติมได้หรือไม่ ดังนั้นโซลูชันนี้จึงเสนอเทมเพลตสำหรับโมเดลธุรกิจที่ใช้ประโยชน์จากข้อมูลเครือข่าย เช่น การใช้กราฟความสัมพันธ์ของห่วงโซ่อุปทาน กราฟเครือข่ายโซเชียล และอื่นๆ

โซลูชันนี้พัฒนาสิ่งใหม่ ๆ มากมายโดยการสร้างเครือข่ายองค์กรและสร้างข้อมูลทางการเงินสังเคราะห์ และรวมข้อมูลทั้งสองรูปแบบเพื่อสร้างแบบจำลองโดยใช้กราฟ ML

โซลูชันนี้แสดงวิธีสร้างเครือข่ายของบริษัทที่เชื่อมต่อกันโดยใช้ส่วน MD&A จากเอกสารที่ยื่นต่อ SEC 10-K/Q บริษัทที่มีข้อความคาดการณ์ล่วงหน้าที่คล้ายกันมีแนวโน้มที่จะเชื่อมโยงกับเหตุการณ์ด้านเครดิต การเชื่อมต่อเหล่านี้แสดงเป็นกราฟ สำหรับคุณลักษณะของโหนดกราฟ โซลูชันจะใช้ตัวแปรในแบบจำลองคะแนน Altman Z และหมวดหมู่อุตสาหกรรมของแต่ละบริษัท สิ่งเหล่านี้มีให้ในชุดข้อมูลสังเคราะห์ที่จัดทำขึ้นเพื่อวัตถุประสงค์ในการสาธิต ข้อมูลกราฟและข้อมูลแบบตารางถูกนำมาใช้เพื่อให้เหมาะสมกับตัวแยกประเภทการให้คะแนนโดยใช้ GNN เพื่อจุดประสงค์ในการอธิบาย เราจะเปรียบเทียบประสิทธิภาพของโมเดลที่มีและไม่มีข้อมูลกราฟ

ใช้โซลูชันการให้คะแนนเครดิตตามกราฟ

หากต้องการเริ่มใช้ JumpStart โปรดดู เริ่มต้นใช้งาน Amazon SageMaker. บัตร JumpStart สำหรับโซลูชันการให้คะแนนเครดิตตามกราฟมีจำหน่ายผ่านทาง สตูดิโอ Amazon SageMaker.

1. เลือกการ์ดรุ่น จากนั้นเลือก ยิง เพื่อเริ่มต้นการแก้ปัญหา
   

โซลูชันจะสร้างแบบจำลองสำหรับการอนุมานและปลายทางเพื่อใช้กับโน้ตบุ๊ก

2. รอจนกว่าจะพร้อมและสถานะแสดงเป็น Complete.
3. Choose เปิดสมุดบันทึก เพื่อเปิดสมุดบันทึกเครื่องแรกซึ่งมีไว้สำหรับการฝึกอบรมและการปรับใช้อุปกรณ์ปลายทาง
   

คุณสามารถทำงานผ่านสมุดบันทึกนี้เพื่อเรียนรู้วิธีใช้โซลูชันนี้ จากนั้นปรับเปลี่ยนสำหรับแอปพลิเคชันอื่นๆ ในข้อมูลของคุณเอง โซลูชันนี้มาพร้อมกับข้อมูลสังเคราะห์และใช้ชุดย่อยเพื่อแสดงตัวอย่างขั้นตอนที่จำเป็นในการฝึกโมเดล ปรับใช้กับตำแหน่งข้อมูล จากนั้นเรียกใช้ตำแหน่งข้อมูลเพื่อการอนุมาน สมุดบันทึกยังมีโค้ดเพื่อปรับใช้จุดสิ้นสุดของคุณเอง

4. หากต้องการเปิดสมุดบันทึกที่สอง (ใช้สำหรับการอนุมาน) ให้เลือก ใช้จุดสิ้นสุดในโน๊ตบุ๊ค ถัดจากสิ่งประดิษฐ์จุดสิ้นสุด

ในสมุดบันทึกนี้ คุณสามารถดูวิธีเตรียมข้อมูลเพื่อเรียกใช้ตำแหน่งข้อมูลตัวอย่างเพื่อทำการอนุมานกับชุดตัวอย่างได้

ตำแหน่งข้อมูลส่งคืนการให้คะแนนที่คาดการณ์ไว้ ซึ่งใช้ในการประเมินประสิทธิภาพของโมเดล ดังที่แสดงในภาพหน้าจอต่อไปนี้ของบล็อกโค้ดสุดท้ายของสมุดบันทึกการอนุมาน

คุณสามารถใช้โซลูชันนี้เป็นเทมเพลตสำหรับแบบจำลองการจัดอันดับเครดิตที่เสริมกราฟได้ คุณไม่ได้จำกัดอยู่เพียงคุณลักษณะที่ตั้งค่าไว้ในตัวอย่างนี้ คุณสามารถเปลี่ยนทั้งข้อมูลกราฟและข้อมูลแบบตารางสำหรับกรณีการใช้งานของคุณเองได้ ขอบเขตของการเปลี่ยนแปลงโค้ดที่จำเป็นมีเพียงเล็กน้อย เราขอแนะนำให้ดำเนินการผ่านตัวอย่างเทมเพลตของเราเพื่อทำความเข้าใจโครงสร้างของโซลูชัน จากนั้นแก้ไขตามความจำเป็น

โซลูชันนี้มีวัตถุประสงค์เพื่อการสาธิตเท่านั้น ไม่ใช่คำแนะนำทางการเงินและไม่ควรถือเป็นคำแนะนำทางการเงินหรือการลงทุน สมุดบันทึกที่เกี่ยวข้อง รวมถึงโมเดลที่ผ่านการฝึกอบรม ใช้ข้อมูลสังเคราะห์ และไม่ได้มีไว้สำหรับการใช้งานจริง แม้ว่าจะใช้ข้อความจากเอกสารที่ยื่นต่อ SEC แต่ข้อมูลทางการเงินจะถูกสร้างขึ้นแบบสุ่มและสังเคราะห์ และไม่มีความเกี่ยวข้องกับข้อมูลทางการเงินที่แท้จริงของบริษัทใดๆ ดังนั้น อันดับที่สร้างขึ้นแบบสังเคราะห์จึงไม่มีความสัมพันธ์ใดๆ กับอันดับที่แท้จริงของบริษัทจริงใดๆ

ข้อมูลที่ใช้ในโซลูชัน

ชุดข้อมูลมีข้อมูลตารางสังเคราะห์ เช่น อัตราส่วนทางบัญชีต่างๆ (ตัวเลข) และรหัสอุตสาหกรรม (หมวดหมู่) ชุดข้อมูลมี 𝑁=3286 แถว มีการเพิ่มป้ายกำกับการให้คะแนนด้วย นี่คือคุณสมบัติโหนดที่จะใช้กับกราฟ ML

ชุดข้อมูลยังมีกราฟองค์กรซึ่งไม่มีการกำหนดทิศทางและไม่มีการถ่วงน้ำหนัก โซลูชันนี้ช่วยให้คุณปรับโครงสร้างของกราฟได้โดยการเปลี่ยนวิธีการรวมลิงก์ แต่ละบริษัทในชุดข้อมูลแบบตารางจะแสดงโดยโหนดในกราฟองค์กร ฟังก์ชั่น construct_network_data() ช่วยสร้างกราฟซึ่งประกอบด้วยรายการโหนดต้นทางและโหนดปลายทาง

ป้ายการให้คะแนนใช้สำหรับการจำแนกประเภทโดยใช้ GNN ซึ่งสามารถเป็นแบบหลายหมวดหมู่สำหรับการให้คะแนนหรือไบนารีทั้งหมด โดยแบ่งระหว่างระดับการลงทุน (AAA, AA, A, BBB) และระดับที่ไม่ใช่การลงทุน (BB, B, CCC, CC, C, ง) D ในที่นี้หมายถึงการผิดนัดชำระหนี้

รหัสที่สมบูรณ์สำหรับอ่านข้อมูลและเรียกใช้โซลูชันมีอยู่ในสมุดบันทึกโซลูชัน ภาพหน้าจอต่อไปนี้แสดงโครงสร้างของข้อมูลตารางสังเคราะห์

ข้อมูลกราฟจะถูกส่งผ่านไปยัง ห้องสมุดกราฟลึก และรวมกับข้อมูลแบบตารางเพื่อทำกราฟ ML หากคุณนำกราฟมาเอง เพียงระบุเป็นชุดของโหนดต้นทางและโหนดปลายทาง

การฝึกโมเดล

สำหรับการเปรียบเทียบ ก่อนอื่นเราจะฝึกโมเดลโดยใช้ข้อมูลแบบตารางเท่านั้น ออโต้กลูออนโดยเลียนแบบแนวทางดั้งเดิมในการจัดอันดับความน่าเชื่อถือของบริษัท จากนั้นเราจะเพิ่มข้อมูลกราฟและใช้ GNN ในการฝึกอบรม รายละเอียดทั้งหมดมีอยู่ในสมุดบันทึก และมีภาพรวมโดยย่อในโพสต์นี้ สมุดบันทึกยังนำเสนอภาพรวมโดยย่อของกราฟ ML พร้อมการอ้างอิงที่เลือก

การฝึกอบรม GNN ดำเนินการดังนี้ เราใช้การปรับตัวของ โมเดลกราฟ SAGE นำไปใช้ในไลบรารีกราฟลึก

1. อ่านข้อมูลกราฟได้จาก บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) และสร้างรายการโหนดต้นทางและปลายทางสำหรับ CorpNet
2. อ่านในชุดคุณลักษณะของโหนดกราฟ (ฝึกและทดสอบ) ทำให้ข้อมูลเป็นมาตรฐานตามต้องการ
3. ตั้งค่าไฮเปอร์พารามิเตอร์ที่ปรับได้ เรียกคอนเทนเนอร์ ML กราฟเฉพาะที่รัน PyTorch เพื่อให้พอดีกับ GNN โดยไม่ต้องเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์ (HPO)
4. ทำซ้ำกราฟ ML ด้วย HPO

เพื่อให้การใช้งานตรงไปตรงมาและมีเสถียรภาพ เราจะเรียกใช้การฝึกโมเดลในคอนเทนเนอร์โดยใช้โค้ดต่อไปนี้ (โค้ดการตั้งค่าก่อนหน้าโค้ดการฝึกนี้จะอยู่ในสมุดบันทึกโซลูชัน):

from sagemaker.pytorch import PyTorch
from time import strftime, gmtime training_job_name = sagemaker_config["SolutionPrefix"] + "-gcn-training"
print( f"You can go to SageMaker -> Training -> Hyperparameter tuning jobs -> a job name started with {training_job_name} to monitor training job status and details."
) estimator = PyTorch( entry_point='train_dgl_pytorch_entry_point.py', source_dir='graph_convolutional_network', role=role, instance_count=1, instance_type='ml.g4dn.xlarge', framework_version="1.9.0", py_version='py38', hyperparameters=hyperparameters, output_path=output_location, code_location=output_location, sagemaker_session=sess, base_job_name=training_job_name,
) estimator.fit({'train': input_location})

กระบวนการฝึกอบรมปัจจุบันดำเนินการในการตั้งค่าแบบถ่ายทอด โดยจะใช้คุณลักษณะของชุดข้อมูลทดสอบ (ไม่รวมคอลัมน์เป้าหมาย) เพื่อสร้างกราฟ และโหนดทดสอบจึงรวมอยู่ในกระบวนการฝึกอบรม เมื่อสิ้นสุดการฝึก ระบบจะสร้างและบันทึกการคาดการณ์บนชุดข้อมูลทดสอบ output_location ในถัง S3

แม้ว่าการฝึกจะเป็นแบบถ่ายทอดสัญญาณ แต่ป้ายกำกับของชุดข้อมูลทดสอบจะไม่ถูกใช้สำหรับการฝึก และแบบฝึกหัดของเรามุ่งเป้าไปที่การทำนายป้ายกำกับเหล่านี้โดยใช้การฝังโหนดสำหรับโหนดชุดข้อมูลทดสอบ คุณลักษณะที่สำคัญของ GraphSAGE คือการเรียนรู้แบบอุปนัยเกี่ยวกับการสังเกตใหม่ๆ ที่ไม่ได้เป็นส่วนหนึ่งของกราฟก็เป็นไปได้เช่นกัน แม้ว่าจะไม่ได้ใช้ประโยชน์ในโซลูชันนี้ก็ตาม

การเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์

โซลูชันนี้ได้รับการขยายเพิ่มเติมโดยการดำเนินการ HPO บน GNN ซึ่งทำได้ภายใน SageMaker ดูรหัสต่อไปนี้:

from sagemaker.tuner import ( IntegerParameter, CategoricalParameter, ContinuousParameter, HyperparameterTuner,
) # Static hyperparameters we do not tune
hyperparameters = { "n-layers": 2, "aggregator-type": "pool", "target-column": target_column
}
# Dynamic hyperparameters to tune and their searching ranges. # For demonstration purpose, we skip the architecture search by skipping # tuning the hyperparameters such as 'skip_rnn_num_layers', 'rnn_num_layers', etc.
hyperparameter_ranges = { "n-hidden": CategoricalParameter([32, 64, 128, 256, 512, 1024]), 'dropout': ContinuousParameter(0.0, 0.6), 'weight-decay': ContinuousParameter(1e-5, 1e-2), 'n-epochs': IntegerParameter(70, 120), #80, 160 'lr': ContinuousParameter(0.002, 0.02),
}

จากนั้นเราจึงกำหนดวัตถุประสงค์การฝึกอบรม เพื่อเพิ่มคะแนน F1 สูงสุดในกรณีนี้:

objective_metric_name = "Validation F1"
metric_definitions = [{"Name": "Validation F1", "Regex": "Validation F1 (\S+)"}]
objective_type = "Maximize"

สร้างสภาพแวดล้อมที่เลือกและทรัพยากรการฝึกอบรมบน SageMaker:

estimator_tuning = PyTorch( entry_point='train_dgl_pytorch_entry_point.py', source_dir='graph_convolutional_network', role=role, instance_count=1, instance_type='ml.g4dn.xlarge', framework_version="1.9.0", py_version='py38', hyperparameters=hyperparameters, output_path=output_location, code_location=output_location, sagemaker_session=sess, base_job_name=training_job_name,
)

สุดท้าย รันงานการฝึกอบรมด้วยการเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์:

import time tuning_job_name = sagemaker_config["SolutionPrefix"] + "-gcn-hpo"
print( f"You can go to SageMaker -> Training -> Hyperparameter tuning jobs -> a job name started with {tuning_job_name} to monitor HPO tuning status and details.n" f"Note. You will be unable to successfully run the following cells until the tuning job completes. This step may take around 2 hours."
) tuner = HyperparameterTuner( estimator_tuning, # using the estimator defined in previous section objective_metric_name, hyperparameter_ranges, metric_definitions, max_jobs=30, max_parallel_jobs=10, objective_type=objective_type, base_tuning_job_name = tuning_job_name,
) start_time = time.time() tuner.fit({'train': input_location}) hpo_training_job_time_duration = time.time() - start_time

ผลสอบ

การรวมข้อมูลเครือข่ายและการเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์ทำให้ได้ผลลัพธ์ที่ดีขึ้น หน่วยวัดประสิทธิภาพในตารางต่อไปนี้แสดงให้เห็นถึงประโยชน์ของการเพิ่ม CorpNet ลงในชุดข้อมูลแบบตารางมาตรฐานที่ใช้สำหรับการให้คะแนนเครดิต

ผลลัพธ์สำหรับ AutoGluon ไม่ได้ใช้กราฟ จะใช้เฉพาะข้อมูลแบบตารางเท่านั้น เมื่อเราเพิ่มข้อมูลกราฟและใช้ HPO เราจะได้รับประสิทธิภาพที่เพิ่มขึ้นอย่างมาก

(หมายเหตุ: MCC คือค่าสัมประสิทธิ์สหสัมพันธ์ของแมทธิวส์ https://en.wikipedia.org/wiki/Phi_coefficient.)

ทำความสะอาด

หลังจากคุณใช้สมุดบันทึกนี้เสร็จแล้ว ให้ลบสิ่งประดิษฐ์ของโมเดลและทรัพยากรอื่นๆ เพื่อหลีกเลี่ยงไม่ให้มีค่าใช้จ่ายเพิ่มเติม คุณต้องลบทรัพยากรที่คุณอาจสร้างขึ้นขณะใช้งานโน้ตบุ๊กด้วยตนเอง เช่น บัคเก็ต S3 สำหรับอาร์ติแฟกต์ของโมเดล ชุดข้อมูลการฝึกอบรม การประมวลผลอาร์ติแฟกต์ และ อเมซอน คลาวด์วอตช์ กลุ่มบันทึก

สรุป

ในโพสต์นี้ เราได้แนะนำโซลูชันการให้คะแนนเครดิตตามกราฟใน JumpStart เพื่อช่วยคุณเร่งเส้นทาง ML ของกราฟ โน้ตบุ๊กมีไปป์ไลน์ที่คุณสามารถแก้ไขและใช้ประโยชน์จากกราฟด้วยโมเดลตารางที่มีอยู่เพื่อให้ได้ประสิทธิภาพที่ดีขึ้น

ในการเริ่มต้น คุณสามารถค้นหาโซลูชันการให้คะแนนเครดิตตามกราฟได้ใน JumpStart SageMaker สตูดิโอ.

เกี่ยวกับผู้เขียน

ดร.ซันจิฟ ดาส เป็นนักวิชาการ Amazon และศาสตราจารย์ Terry สาขาการเงินและวิทยาศาสตร์ข้อมูลที่มหาวิทยาลัยซานตาคลารา เขาสำเร็จการศึกษาระดับปริญญาโทสาขาการเงิน (M.Phil และ Ph.D. จากมหาวิทยาลัยนิวยอร์ก) และวิทยาการคอมพิวเตอร์ (MS จาก UC Berkeley) และปริญญาโทสาขาบริหารธุรกิจจาก Indian Institute of Management, Ahmedabad ก่อนที่จะเป็นนักวิชาการ เขาเคยทำงานในธุรกิจอนุพันธ์ในภูมิภาคเอเชียแปซิฟิกในตำแหน่งรองประธานที่ Citibank เขาทำงานเกี่ยวกับแมชชีนเลิร์นนิงหลายรูปแบบในด้านการใช้งานทางการเงิน

ดร.ซิน หวาง เป็นนักวิทยาศาสตร์ประยุกต์ให้กับ Amazon SageMaker JumpStart และ อัลกอริทึมในตัวของ Amazon SageMaker. เขามุ่งเน้นไปที่การพัฒนาอัลกอริธึมการเรียนรู้ของเครื่องที่ปรับขนาดได้ งานวิจัยของเขามีความสนใจในด้านการประมวลผลภาษาธรรมชาติ การเรียนรู้เชิงลึกเกี่ยวกับข้อมูลแบบตาราง และการวิเคราะห์เชิงลึกของการจัดกลุ่มกาล-อวกาศแบบไม่อิงพารามิเตอร์

โซจิ อาเดชินะ เป็นนักวิทยาศาสตร์ประยุกต์ที่ AWS ซึ่งเขาพัฒนาแบบจำลองที่ใช้เครือข่ายประสาทเทียมแบบกราฟสำหรับการเรียนรู้ของเครื่องบนงานกราฟพร้อมแอปพลิเคชันเพื่อการฉ้อโกงและการละเมิด กราฟความรู้ ระบบผู้แนะนำ และวิทยาศาสตร์ชีวภาพ ในเวลาว่าง เขาชอบอ่านหนังสือและทำอาหาร

แพทริค หยาง เป็นวิศวกรพัฒนาซอฟต์แวร์ที่ Amazon SageMaker เขามุ่งเน้นที่การสร้างเครื่องมือและผลิตภัณฑ์การเรียนรู้ของเครื่องสำหรับลูกค้า

• คอยน์สมาร์ท การแลกเปลี่ยน Bitcoin และ Crypto ที่ดีที่สุดในยุโรป
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าฟรี
• คริปโตฮอว์ก เรดาร์ Altcoin ทดลองฟรี.
• Source: https://aws.amazon.com/blogs/machine-learning/build-a-corporate-credit-ratings-classifier-using-graph-machine-learning-in-amazon-sagemaker-jumpstart/