การพัฒนาระบบการเรียนรู้ของเครื่องขั้นสูงที่ Trumid ด้วย Deep Graph Library for Knowledge Embedding

นี่เป็นโพสต์รับเชิญที่เขียนร่วมกับ Mutisya Ndunda จาก Trumid

เช่นเดียวกับอุตสาหกรรมอื่นๆ ตลาดตราสารหนี้ขององค์กรไม่ได้ให้ความสำคัญกับแนวทางเดียว มีสภาพคล่องที่กว้างใหญ่และกระจัดกระจาย และลูกค้าสถาบันต้องการโซลูชันที่ปรับให้เข้ากับความต้องการเฉพาะของพวกเขา สามารถใช้ความก้าวหน้าใน AI และการเรียนรู้ของเครื่อง (ML) เพื่อปรับปรุงประสบการณ์ของลูกค้า เพิ่มประสิทธิภาพและความถูกต้องของเวิร์กโฟลว์การดำเนินงาน และเพิ่มประสิทธิภาพด้วยการสนับสนุนกระบวนการซื้อขายหลายด้าน

ทรูมิด เป็นบริษัทเทคโนโลยีทางการเงินที่สร้างเครือข่ายการซื้อขายสินเชื่อในอนาคต ซึ่งเป็นตลาดสำหรับการซื้อขายที่มีประสิทธิภาพ การเผยแพร่ข้อมูล และการดำเนินการระหว่างผู้เข้าร่วมตลาดตราสารหนี้ Trumid กำลังปรับปรุงประสบการณ์การซื้อขายเครดิตโดยผสมผสานการออกแบบผลิตภัณฑ์ระดับแนวหน้าและหลักการทางเทคโนโลยีเข้ากับความเชี่ยวชาญในตลาดอย่างลึกซึ้ง ผลลัพธ์ที่ได้คือโซลูชันการซื้อขายแบบบูรณาการที่นำเสนอระบบนิเวศน์เต็มรูปแบบของโปรโตคอลและเครื่องมือการดำเนินการภายในแพลตฟอร์มเดียวที่ใช้งานง่าย

ตลาดซื้อขายตราสารหนี้มักเกี่ยวข้องกับกระบวนการจับคู่ผู้ซื้อ/ผู้ขายแบบออฟไลน์ซึ่งได้รับความช่วยเหลือจากเทคโนโลยีที่อิงตามกฎ Trumid ได้ริเริ่มในการเปลี่ยนแปลงประสบการณ์นี้ ผ่านแพลตฟอร์มการซื้อขายทางอิเล็กทรอนิกส์ ผู้ค้าสามารถเข้าถึงพันธบัตรหลายพันชนิดเพื่อซื้อหรือขาย ชุมชนของผู้ใช้ที่มีส่วนร่วมเพื่อโต้ตอบด้วย และโปรโตคอลการซื้อขายและโซลูชันการดำเนินการที่หลากหลาย ด้วยเครือข่ายผู้ใช้ที่ขยายตัว ทีม AI และ Data Strategy ของ Trumid ได้ร่วมมือกับ ห้องทดลองโซลูชันการเรียนรู้ของเครื่อง AWS. วัตถุประสงค์คือเพื่อพัฒนาระบบ ML ที่สามารถมอบประสบการณ์การซื้อขายที่เป็นส่วนตัวมากขึ้นโดยการสร้างแบบจำลองความสนใจและความชอบของผู้ใช้สำหรับพันธบัตรที่มีอยู่ใน Trumid

โมเดล ML เหล่านี้สามารถใช้เพื่อเร่งเวลาในการทำความเข้าใจและดำเนินการได้ โดยการปรับเปลี่ยนวิธีการแสดงข้อมูลให้กับผู้ใช้แต่ละรายเพื่อให้มั่นใจว่าข้อมูลที่เกี่ยวข้องและดำเนินการได้มากที่สุดที่ผู้ค้าอาจสนใจได้รับการจัดลำดับความสำคัญและเข้าถึงได้

เพื่อแก้ปัญหานี้ Trumid และ ML Solutions Lab ได้พัฒนาการเตรียมข้อมูลแบบ end-to-end การฝึกโมเดล และกระบวนการอนุมานโดยอิงจากโมเดลโครงข่ายประสาทเทียมระดับลึกที่สร้างขึ้นโดยใช้ Deep Graph Library สำหรับการฝังความรู้ (ดีจีแอล-เค). โซลูชั่นแบบ end-to-end ด้วย อเมซอน SageMaker ถูกนำไปใช้งานด้วย

ประโยชน์ของการเรียนรู้ด้วยเครื่องกราฟ

ข้อมูลในโลกแห่งความเป็นจริงนั้นซับซ้อนและเชื่อมต่อถึงกัน และมักจะมีโครงสร้างเครือข่าย ตัวอย่าง ได้แก่ โมเลกุลในธรรมชาติ โซเชียลเน็ตเวิร์ก อินเทอร์เน็ต ถนน และแพลตฟอร์มการซื้อขายทางการเงิน

กราฟให้วิธีธรรมชาติในการสร้างแบบจำลองความซับซ้อนนี้โดยการดึงข้อมูลที่สำคัญและสมบูรณ์ซึ่งฝังอยู่ในความสัมพันธ์ระหว่างเอนทิตี

อัลกอริธึม ML แบบดั้งเดิมต้องการการจัดระเบียบข้อมูลเป็นตารางหรือลำดับ โดยทั่วไปแล้วจะใช้ได้ผลดี แต่บางโดเมนจะแสดงกราฟได้อย่างเป็นธรรมชาติและมีประสิทธิภาพมากกว่า (เช่น เครือข่ายของวัตถุที่เกี่ยวข้องกัน ดังที่แสดงในโพสต์นี้) แทนที่จะบังคับให้ชุดข้อมูลกราฟเหล่านี้เป็นตารางหรือลำดับ คุณสามารถใช้อัลกอริธึม ML ของกราฟเพื่อเป็นตัวแทนและเรียนรู้จากข้อมูลตามที่แสดงในรูปแบบกราฟ รวมถึงข้อมูลเกี่ยวกับโหนดที่เป็นส่วนประกอบ ขอบ และคุณลักษณะอื่นๆ

เมื่อพิจารณาว่าการซื้อขายตราสารหนี้เป็นเครือข่ายปฏิสัมพันธ์ระหว่างผู้ซื้อและผู้ขายที่เกี่ยวข้องกับตราสารหนี้ประเภทต่างๆ โซลูชันที่มีประสิทธิภาพจำเป็นต้องควบคุมผลกระทบจากเครือข่ายของชุมชนผู้ค้าที่เข้าร่วมในตลาด มาดูกันว่าเราใช้ประโยชน์จากผลกระทบของเครือข่ายการซื้อขายและนำวิสัยทัศน์นี้ไปใช้อย่างไรที่นี่

Solution

การซื้อขายพันธบัตรมีลักษณะตามปัจจัยหลายประการ รวมถึงขนาดการซื้อขาย เงื่อนไข ผู้ออก อัตรา มูลค่าคูปอง ข้อเสนอราคาเสนอ/ขอ และประเภทของโปรโตคอลการซื้อขายที่เกี่ยวข้อง นอกเหนือจากคำสั่งซื้อและการค้าแล้ว Trumid ยังรวบรวม "สิ่งบ่งชี้ที่น่าสนใจ" (IOI) ข้อมูลการโต้ตอบในอดีตสะท้อนถึงพฤติกรรมการซื้อขายและสภาวะตลาดที่เปลี่ยนแปลงตลอดเวลา เราใช้ข้อมูลนี้เพื่อสร้างกราฟของการโต้ตอบที่มีการประทับเวลาระหว่างผู้ค้า พันธบัตร และผู้ออกตราสาร และใช้กราฟ ML เพื่อคาดการณ์การโต้ตอบในอนาคต

โซลูชันคำแนะนำประกอบด้วยสี่ขั้นตอนหลัก:

• การเตรียมข้อมูลการซื้อขายเป็นชุดข้อมูลกราฟ
• การฝึกโมเดลการฝังกราฟความรู้
• ทำนายการซื้อขายใหม่
• บรรจุโซลูชันเป็นเวิร์กโฟลว์ที่ปรับขนาดได้

ในหัวข้อต่อไปนี้ เราจะพูดถึงแต่ละขั้นตอนโดยละเอียดยิ่งขึ้น

การเตรียมข้อมูลการซื้อขายเป็นชุดข้อมูลกราฟ

มีหลายวิธีในการแสดงข้อมูลการซื้อขายเป็นกราฟ ทางเลือกหนึ่งคือการแสดงข้อมูลอย่างละเอียดด้วยโหนด ขอบ และคุณสมบัติ: ผู้ค้าเป็นโหนดที่มีคุณสมบัติ (เช่น นายจ้างหรืออายุ) พันธบัตรเป็นโหนดที่มีคุณสมบัติ (ผู้ออก จำนวนเงินคงค้าง ครบกำหนด อัตรา มูลค่าคูปอง) และการซื้อขาย เป็นขอบที่มีคุณสมบัติ (วันที่, ชนิด, ขนาด) อีกทางเลือกหนึ่งคือทำให้ข้อมูลง่ายขึ้นและใช้เฉพาะโหนดและความสัมพันธ์ วิธีหลังนี้ใช้ได้ผลดีกว่าในกรณีของเรา และเราใช้กราฟที่แสดงในรูปต่อไปนี้

นอกจากนี้ เราได้ลบขอบบางส่วนที่ถือว่าล้าสมัย: หากผู้ค้าโต้ตอบกับพันธบัตรที่แตกต่างกันมากกว่า 100 รายการ เราจะเก็บพันธบัตรไว้เพียง 100 รายการสุดท้ายเท่านั้น

สุดท้าย เราบันทึกชุดข้อมูลกราฟเป็นรายการขอบใน TSV รูปแบบ:

t987	trade-old		i55198
t995	trade-old		i55306
t987	trade-recent	i24528
t995	trade-recent	i49181
t987	ioi-recent		i24523
t995	ioi-old 		i49178
…
i49611	issued-by		XXX
i46569	issued-by		YYY
i46507	issued-by		ZZZ

การฝึกโมเดลการฝังกราฟความรู้

สำหรับกราฟที่ประกอบด้วยโหนดและความสัมพันธ์เท่านั้น (มักเรียกว่ากราฟความรู้) ทีม DGL ได้พัฒนากรอบการฝังกราฟความรู้ ดีจีแอล-เค. KE ย่อมาจากการฝังความรู้ แนวคิดคือการแสดงโหนดและความสัมพันธ์ (ความรู้) โดยพิกัด (ฝัง) และเพิ่มประสิทธิภาพ (ฝึก) พิกัดเพื่อให้สามารถกู้คืนโครงสร้างกราฟเดิมจากพิกัดได้ ในรายการโมเดลการฝังที่พร้อมใช้งาน เราเลือก TransE (การฝังการแปล) TransE ฝึกการฝังโดยมีวัตถุประสงค์เพื่อประมาณความเท่าเทียมกันดังต่อไปนี้:

การฝังโหนดต้นทาง + การฝังความสัมพันธ์ = การฝังโหนดเป้าหมาย (1)

เราฝึกโมเดลโดยเรียกใช้ dglke_train สั่งการ. ผลลัพธ์ของการฝึกอบรมคือโฟลเดอร์โมเดลที่มีการฝังการฝึกอบรม

สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับ TransE โปรดดูที่ การแปล Embeddings สำหรับการสร้างแบบจำลองข้อมูลหลายเชิงสัมพันธ์.

ทำนายการซื้อขายใหม่

ในการทำนายการซื้อขายใหม่จากผู้ซื้อขายด้วยแบบจำลองของเรา เราใช้ความเท่าเทียมกัน (1): เพิ่มผู้ค้าที่ฝังในการฝังการค้าล่าสุดและมองหาพันธบัตรที่ใกล้เคียงที่สุดกับการฝังที่เกิดขึ้น

เราทำสิ่งนี้ในสองขั้นตอน:

1. คำนวณคะแนนสำหรับความสัมพันธ์ล่าสุดที่เป็นไปได้ทั้งหมดกับ dglke_predict.
2. คำนวณคะแนนสูงสุด 100 อันดับแรกสำหรับผู้ซื้อขายแต่ละราย

สำหรับคำแนะนำโดยละเอียดเกี่ยวกับวิธีใช้ DGL-KE โปรดดูที่ ฝึกการฝังกราฟความรู้ตามขนาดด้วย Deep Graph Library และ เอกสาร DGL-KE.

บรรจุโซลูชันเป็นเวิร์กโฟลว์ที่ปรับขนาดได้

เราใช้โน้ตบุ๊ก SageMaker เพื่อพัฒนาและดีบักโค้ดของเรา สำหรับการผลิต เราต้องการเรียกใช้โมเดลเป็นการเรียก API อย่างง่าย เราพบว่าเราไม่จำเป็นต้องแยกการเตรียมข้อมูล การฝึกโมเดล และการทำนาย และสะดวกที่จะรวมไปป์ไลน์ทั้งหมดเป็นสคริปต์เดียวและใช้การประมวลผล SageMaker การประมวลผล SageMaker ช่วยให้คุณสามารถเรียกใช้สคริปต์จากระยะไกลบนประเภทอินสแตนซ์ที่เลือกและอิมเมจ Docker โดยไม่ต้องกังวลกับการจัดสรรทรัพยากรและการถ่ายโอนข้อมูล สิ่งนี้เรียบง่ายและคุ้มค่าสำหรับเรา เนื่องจากอินสแตนซ์ GPU ถูกใช้และชำระเงินในช่วง 15 นาทีที่จำเป็นสำหรับการเรียกใช้สคริปต์เท่านั้น

สำหรับคำแนะนำโดยละเอียดเกี่ยวกับวิธีใช้การประมวลผล SageMaker โปรดดูที่ การประมวลผล Amazon SageMaker – การประมวลผลข้อมูลและการประเมินแบบจำลองที่มีการจัดการเต็มรูปแบบ และ การประมวลผล.

ผลสอบ

โมเดลกราฟที่กำหนดเองของเราทำงานได้ดีมากเมื่อเทียบกับวิธีอื่นๆ: ประสิทธิภาพดีขึ้น 80% พร้อมผลลัพธ์ที่เสถียรยิ่งขึ้นสำหรับเทรดเดอร์ทุกประเภท เราวัดประสิทธิภาพโดยการเรียกคืนเฉลี่ย (เปอร์เซ็นต์ของการซื้อขายจริงที่ผู้แนะนำคาดการณ์ไว้ เฉลี่ยจากผู้ค้าทั้งหมด) สำหรับตัวชี้วัดมาตรฐานอื่นๆ การปรับปรุงอยู่ในช่วง 50–130%

ประสิทธิภาพนี้ช่วยให้เราจับคู่เทรดเดอร์และพันธบัตรได้ดีขึ้น ซึ่งบ่งชี้ถึงประสบการณ์ของเทรดเดอร์ที่ได้รับการปรับปรุงภายในโมเดล ด้วยการเรียนรู้ของเครื่องที่นำพาขั้นตอนใหญ่ไปข้างหน้าจากกฎฮาร์ดโค้ด ซึ่งอาจยากต่อการขยายขนาด

สรุป

Trumid มุ่งเน้นในการนำเสนอผลิตภัณฑ์ที่เป็นนวัตกรรมและประสิทธิภาพเวิร์กโฟลว์แก่ชุมชนผู้ใช้ของตน การสร้างเครือข่ายการซื้อขายเครดิตในวันพรุ่งนี้ต้องอาศัยความร่วมมืออย่างต่อเนื่องกับเพื่อนร่วมงานและผู้เชี่ยวชาญในอุตสาหกรรม เช่น AWS ML Solutions Lab ซึ่งออกแบบมาเพื่อช่วยให้คุณสร้างสรรค์นวัตกรรมได้เร็วยิ่งขึ้น

สำหรับข้อมูลเพิ่มเติม โปรดดูแหล่งข้อมูลต่อไปนี้:

เกี่ยวกับผู้แต่ง

มาร์ค ฟาน อูดเฮสเดน เป็นนักวิทยาศาสตร์ข้อมูลอาวุโสกับทีม Amazon ML Solutions Lab ที่ Amazon Web Services เขาทำงานร่วมกับลูกค้าของ AWS เพื่อแก้ปัญหาทางธุรกิจด้วยปัญญาประดิษฐ์และแมชชีนเลิร์นนิง นอกเวลางาน คุณอาจพบเขาที่ชายหาด เล่นกับลูกๆ เล่นกระดานโต้คลื่นหรือเล่นไคท์เซิร์ฟ

มุทิสยานัดดา เป็นหัวหน้าฝ่ายกลยุทธ์ข้อมูลและ AI ที่ Trumid เขาเป็นมืออาชีพทางการเงินที่มีประสบการณ์มากกว่า 20 ปีในด้านสถาบันในตลาดทุน การค้าขาย และเทคโนโลยีทางการเงิน Mutisya มีพื้นฐานด้านปริมาณและการวิเคราะห์ที่แข็งแกร่งด้วยประสบการณ์กว่าทศวรรษในด้านปัญญาประดิษฐ์ การเรียนรู้ของเครื่อง และการวิเคราะห์บิ๊กดาต้า ก่อนที่จะมาร่วมงานกับ Trumid เขาเป็น CEO ของ Alpha Vertex ซึ่งเป็นบริษัทเทคโนโลยีทางการเงินที่นำเสนอโซลูชันการวิเคราะห์ที่ขับเคลื่อนโดยอัลกอริธึม AI ที่เป็นกรรมสิทธิ์ของสถาบันการเงิน Mutisya สำเร็จการศึกษาระดับปริญญาตรีสาขาวิศวกรรมไฟฟ้าจากมหาวิทยาลัย Cornell และปริญญาโทสาขาวิศวกรรมการเงินจากมหาวิทยาลัย Cornell

ไอแซค พริวิเทร่า เป็นนักวิทยาศาสตร์ข้อมูลอาวุโสที่ Amazon Machine Learning Solutions Lab ซึ่งเขาพัฒนาแมชชีนเลิร์นนิงตามสั่งและโซลูชันการเรียนรู้เชิงลึกเพื่อแก้ไขปัญหาทางธุรกิจของลูกค้า เขาทำงานในพื้นที่ Computer Vision เป็นหลัก โดยมุ่งเน้นที่การทำให้ลูกค้า AWS มีการฝึกอบรมแบบกระจายและการเรียนรู้เชิงรุก