פיתוח מערכות למידת מכונה מתקדמות ב-Trumid עם ספריית הגרפים העמוקים להטמעת ידע

זהו פוסט אורח שנכתב יחד עם Mutisya Ndunda מ-Trumid.

כמו תעשיות רבות, שוק האג"ח הקונצרניות אינו מתאים לגישה מתאימה לכולם. הוא עצום, הנזילות מפוצלת, ולקוחות מוסדיים דורשים פתרונות המותאמים לצרכים הספציפיים שלהם. ניתן להשתמש בהתקדמות ב-AI ולמידת מכונה (ML) כדי לשפר את חווית הלקוח, להגביר את היעילות והדיוק של זרימות עבודה תפעוליות ולשפר את הביצועים על ידי תמיכה במספר היבטים של תהליך המסחר.

רועד היא חברת טכנולוגיה פיננסית הבונה את רשת מסחר האשראי של מחר - שוק למסחר יעיל, הפצת מידע וביצוע בין משתתפי שוק איגרות חוב קונצרניות. Trumid מייעלת את חווית המסחר באשראי על ידי שילוב של עיצוב מוצר ועקרונות טכנולוגיים מובילים עם מומחיות עמוקה בשוק. התוצאה היא פתרון מסחר משולב המספק מערכת אקולוגית מלאה של פרוטוקולים וכלי ביצוע בתוך פלטפורמה אינטואיטיבית אחת.

שוק המסחר באג"ח כלל באופן מסורתי תהליכי התאמת קונה/מוכר לא מקוון בסיוע טכנולוגיה מבוססת כללים. טרמיד פתחה ביוזמה לשנות את החוויה הזו. באמצעות פלטפורמת המסחר האלקטרונית שלה, סוחרים יכולים לגשת לאלפי איגרות חוב לקנייה או מכירה, לקהילה של משתמשים מעורבים ליצירת אינטראקציה איתם, ולמגוון פרוטוקולי מסחר ופתרונות ביצוע. עם רשת מתרחבת של משתמשים, צוות AI ואסטרטגיית נתונים של Trumid שיתף פעולה עם מעבדת פתרונות למידת מכונה של AWS. המטרה הייתה לפתח מערכות ML שיוכלו לספק חווית מסחר מותאמת אישית יותר על ידי מודל העניין וההעדפות של המשתמשים לאגרות חוב הזמינות ב-Trumid.

ניתן להשתמש במודלים אלה של ML כדי להאיץ את הזמן עד לתובנה ולפעולה על ידי התאמה אישית של אופן הצגת המידע לכל משתמש כדי להבטיח שהמידע הרלוונטי והאפשרי ביותר של סוחר עשוי להיות אכפת ממנו הוא עדיפות ונגיש.

כדי לפתור את האתגר הזה, Trumid ומעבדת הפתרונות של ML פיתחו הכנת נתונים מקצה לקצה, אימון מודלים ותהליך מסקנות המבוסס על מודל רשת עצבית עמוקה שנבנה באמצעות Deep Graph Library להטמעת ידע (DGL-KE). פתרון מקצה לקצה עם אמזון SageMaker נפרס גם כן.

היתרונות של למידת מכונה בגרפים

נתונים מהעולם האמיתי מורכבים ומקושרים זה לזה, ולעתים קרובות מכילים מבני רשת. דוגמאות כוללות מולקולות בטבע, רשתות חברתיות, אינטרנט, כבישים ופלטפורמות מסחר פיננסיות.

גרפים מספקים דרך טבעית למודל מורכבות זו על ידי חילוץ מידע חשוב ועשיר המוטמע ביחסים בין ישויות.

אלגוריתמי ML מסורתיים דורשים שהנתונים יהיו מאורגנים כטבלאות או רצפים. זה בדרך כלל עובד טוב, אבל כמה תחומים מיוצגים בצורה טבעית ויעילה יותר על ידי גרפים (כגון רשת של אובייקטים הקשורים זה לזה, כפי שמוצג בהמשך הפוסט הזה). במקום להכריח את מערכי הנתונים הגרפים האלה לטבלאות או לרצפים, אתה יכול להשתמש באלגוריתמי ML של גרפים כדי לייצג וללמוד מהנתונים כפי שהם מוצגים בצורת הגרף שלהם, כולל מידע על צמתים, קצוות ותכונות אחרות.

בהתחשב בכך שמסחר באג"ח מיוצג מטבעו כרשת של אינטראקציות בין קונים ומוכרים המערבת סוגים שונים של מכשירי אג"ח, פתרון יעיל צריך לרתום את השפעות הרשת של קהילות הסוחרים המשתתפות בשוק. בואו נסתכל כיצד מינפנו את השפעות רשת המסחר ויישמנו כאן את החזון הזה.

פתרון

מסחר באג"ח מאופיין במספר גורמים, כולל גודל מסחר, טווח, מנפיק, שער, ערכי קופון, הצעת הצעה/הצעה וסוג פרוטוקול המסחר המעורב. בנוסף להזמנות ועסקאות, Trumid גם לוכדת "אינדיקציות של עניין" (IOIs). נתוני האינטראקציה ההיסטוריים מגלמים את התנהגות המסחר ואת תנאי השוק המתפתחים עם הזמן. השתמשנו בנתונים אלה כדי לבנות גרף של אינטראקציות עם חותמת זמן בין סוחרים, אג"ח ומנפיקים, והשתמשנו בגרף ML כדי לחזות אינטראקציות עתידיות.

פתרון ההמלצה כלל ארבעה שלבים עיקריים:

• הכנת נתוני המסחר כמערך נתונים גרפים
• הכשרת מודל הטמעת גרף ידע
• חיזוי עסקאות חדשות
• אריזת הפתרון כזרימת עבודה ניתנת להרחבה

בסעיפים הבאים, נדון בכל שלב ביתר פירוט.

הכנת נתוני המסחר כמערך נתונים גרפים

ישנן דרכים רבות לייצג נתוני מסחר כגרף. אפשרות אחת היא לייצג את הנתונים בצורה ממצה עם צמתים, קצוות ונכסים: סוחרים כצמתים עם נכסים (כגון מעסיק או קביעות), אג"ח כצמתים עם נכסים (מנפיק, סכום קיים, מועד, שער, ערך קופון) ועסקאות כקצוות עם מאפיינים (תאריך, סוג, גודל). אפשרות נוספת היא לפשט את הנתונים ולהשתמש רק בצמתים וביחסים (יחסים הם קצוות מודפסים כמו traded או issued-by). גישה אחרונה זו עבדה טוב יותר במקרה שלנו, והשתמשנו בגרף המיוצג באיור הבא.

בנוסף, הסרנו חלק מהקצוות שנחשבו מיושנים: אם סוחר קיים אינטראקציה עם יותר מ-100 אג"ח שונות, שמרנו רק על 100 האג"ח האחרונות.

לבסוף, שמרנו את מערך הנתונים של הגרפים כרשימה של קצוות ב TSV פורמט:

t987	trade-old		i55198
t995	trade-old		i55306
t987	trade-recent	i24528
t995	trade-recent	i49181
t987	ioi-recent		i24523
t995	ioi-old 		i49178
…
i49611	issued-by		XXX
i46569	issued-by		YYY
i46507	issued-by		ZZZ

הכשרת מודל הטמעת גרף ידע

עבור גרפים המורכבים רק מצמתים ויחסים (המכונים לעתים קרובות גרפי ידע), צוות DGL פיתח את מסגרת הטבעת גרף הידע DGL-KE. KE מייצג הטמעת ידע, הרעיון הוא לייצג צמתים ויחסים (ידע) על ידי קואורדינטות (הטבעות) ולייעל (לאמן) את הקואורדינטות כך שניתן יהיה לשחזר את מבנה הגרף המקורי מהקואורדינטות. ברשימת דגמי ההטבעה הזמינים, בחרנו ב-TransE (הטבעות תרגום). TransE מכשירה הטמעות במטרה לקרב את השוויון הבא:

הטבעת צומת מקור + הטבעת יחס = הטבעת צומת יעד (1)

אימנו את המודל על ידי הפעלת ה dglke_train פקודה. הפלט של ההדרכה הוא תיקיית דגם המכילה את ההטבעות המאומנות.

לפרטים נוספים על TransE, עיין ב תרגום הטמעות למידול נתונים רב-יחסים.

חיזוי עסקאות חדשות

כדי לחזות עסקאות חדשות מסוחר עם המודל שלנו, השתמשנו בשוויון (1): הוסף את הטבעת הסוחר להטמעת המסחר האחרונה וחיפשנו אג"ח הקרובות ביותר להטבעה שהתקבלה.

עשינו זאת בשני שלבים:

1. חשב ציונים עבור כל קשרי הסחר האפשריים עם dglke_predict.
2. חשב את 100 הציונים הגבוהים ביותר עבור כל סוחר.

להנחיות מפורטות כיצד להשתמש ב-DGL-KE, עיין ב הכשרת הטבעות גרף ידע בקנה מידה עם ספריית הגרפים העמוקים ו תיעוד DGL-KE.

אריזת הפתרון כזרימת עבודה ניתנת להרחבה

השתמשנו במחברות של SageMaker כדי לפתח וניפוי באגים בקוד שלנו. לצורך הייצור, רצינו להפעיל את המודל כקריאת API פשוטה. מצאנו שלא צריך להפריד בין הכנת נתונים, אימון מודלים וחיזוי, והיה נוח לארוז את כל הצינור כסקריפט בודד ולהשתמש בעיבוד SageMaker. עיבוד SageMaker מאפשר לך להריץ סקריפט מרחוק על סוג מופע נבחר ועל תמונת Docker מבלי שתצטרך לדאוג להקצאת משאבים והעברת נתונים. זה היה פשוט וחסכוני עבורנו, מכיוון שמופע ה-GPU משמש ומשולם רק במהלך 15 הדקות הדרושות להפעלת הסקריפט.

להנחיות מפורטות כיצד להשתמש בעיבוד SageMaker, ראה עיבוד SageMaker של אמזון - עיבוד נתונים מנוהל באופן מלא והערכת מודלים ו תהליך.

תוצאות

מודל הגרף המותאם אישית שלנו ביצע ביצועים טובים מאוד בהשוואה לשיטות אחרות: הביצועים השתפרו ב-80%, עם תוצאות יציבות יותר בכל סוגי הסוחרים. מדדנו את הביצועים באמצעות ריקול ממוצע (אחוז העסקאות בפועל שחזה הממליץ, בממוצע על פני כל הסוחרים). עם מדדים סטנדרטיים אחרים, השיפור נע בין 50-130%.

ביצועים אלה אפשרו לנו להתאים טוב יותר בין סוחרים לאגרות חוב, מה שמצביע על חווית סוחר משופרת בתוך המודל, כאשר למידת מכונה מספקת צעד גדול קדימה מכללים מקודדים, שיכולים להיות קשים להרחבה.

סיכום

Trumid מתמקדת באספקת מוצרים חדשניים ויעילות זרימת עבודה לקהילת המשתמשים שלהם. בניית רשת מסחר האשראי של מחר דורשת שיתוף פעולה מתמשך עם עמיתים ומומחים בתעשייה כמו מעבדת הפתרונות AWS ML, שנועדה לעזור לך לחדש מהר יותר.

למידע נוסף, עיין במשאבים הבאים:

על המחברים

מארק ואן אודהאוסדן הוא מדען נתונים בכיר בצוות Amazon ML Solutions Lab ב- Amazon Web Services. הוא עובד עם לקוחות AWS כדי לפתור בעיות עסקיות עם בינה מלאכותית ולמידת מכונה. מחוץ לעבודה אולי תמצאו אותו בחוף הים, משחק עם ילדיו, גולש או גולש עפיפונים.

מוטיסיה נדונדה הוא ראש תחום אסטרטגיית נתונים ובינה מלאכותית ב-Trumid. הוא מקצוען פיננסי ותיק עם למעלה מ-20 שנות ניסיון מוסדי רחב בשוקי ההון, מסחר וטכנולוגיה פיננסית. למוטיסיה רקע כמותי ואנליטי חזק עם למעלה מעשור של ניסיון בבינה מלאכותית, למידת מכונה וניתוח ביג דאטה. לפני טרמיד, הוא היה המנכ"ל של Alpha Vertex, חברת טכנולוגיה פיננסית המציעה פתרונות אנליטיים המופעלים על ידי אלגוריתמים קנייניים של AI למוסדות פיננסיים. מוטיסיה הוא בעל תואר ראשון בהנדסת חשמל מאוניברסיטת קורנל ותואר שני בהנדסה פיננסית מאוניברסיטת קורנל.

יצחק פריביטרה הוא מדען נתונים בכיר במעבדת פתרונות למידת מכונה של אמזון, שם הוא מפתח פתרונות למידת מכונה ולמידה עמוקה בהתאמה אישית כדי לטפל בבעיות העסקיות של הלקוחות. הוא עובד בעיקר בתחום הראייה הממוחשבת, תוך התמקדות בלאפשר ללקוחות AWS הכשרה מבוזרת ולמידה פעילה.