Razvoj naprednih sistemov strojnega učenja pri Trumidu s knjižnico Deep Graph Library za vdelavo znanja

To je gostujoča objava, ki jo je napisal skupaj z Mutisyo Ndunda iz Trumida.

Tako kot mnoge panoge tudi trg podjetniških obveznic ni primeren za pristop, ki bi ustrezal vsem. Ogromen je, likvidnost je razdrobljena, institucionalne stranke pa zahtevajo rešitve, prilagojene njihovim posebnim potrebam. Napredek v umetni inteligenci in strojnem učenju (ML) je mogoče uporabiti za izboljšanje uporabniške izkušnje, povečanje učinkovitosti in natančnosti operativnih delovnih tokov in izboljšanje uspešnosti s podporo več vidikov trgovalnega procesa.

Trumid je finančno tehnološko podjetje, ki gradi jutrišnje kreditno trgovalno omrežje – trg za učinkovito trgovanje, razširjanje informacij in izvrševanje med udeleženci na trgu podjetniških obveznic. Trumid optimizira izkušnjo trgovanja s krediti tako, da združuje vrhunsko zasnovo izdelkov in tehnološka načela z globokim strokovnim znanjem na trgu. Rezultat je integrirana rešitev trgovanja, ki zagotavlja celoten ekosistem protokolov in orodij za izvajanje znotraj ene intuitivne platforme.

Trg trgovanja z obveznicami je tradicionalno vključeval postopke usklajevanja kupca in prodajalca brez povezave s pomočjo tehnologije, ki temelji na pravilih. Trumid se je lotil pobude za preoblikovanje te izkušnje. Prek svoje platforme za elektronsko trgovanje lahko trgovci dostopajo do več tisoč obveznic za nakup ali prodajo, do skupnosti angažiranih uporabnikov za interakcijo ter do različnih trgovalnih protokolov in izvedbenih rešitev. Z rastočim omrežjem uporabnikov je Trumidova ekipa za AI in podatkovno strategijo sodelovala z Laboratorij za rešitve strojnega učenja AWS. Cilj je bil razviti sisteme ML, ki bi lahko zagotovili bolj prilagojeno izkušnjo trgovanja z modeliranjem zanimanja in preferenc uporabnikov za obveznice, ki so na voljo na Trumidu.

Te modele ML je mogoče uporabiti za pospešitev časa do vpogleda in ukrepanja tako, da prilagodite, kako so informacije prikazane vsakemu uporabniku, da zagotovite, da so najustreznejše in koristne informacije, ki so za trgovca morda pomembne, prednostne in dostopne.

Da bi rešili ta izziv, sta Trumid in ML Solutions Lab razvila pripravo podatkov od konca do konca, usposabljanje modela in proces sklepanja, ki temelji na modelu globoke nevronske mreže, zgrajenem z uporabo knjižnice Deep Graph Library for Knowledge Embedding (DGL-KE). Rešitev od konca do konca z Amazon SageMaker je bil tudi razporejen.

Prednosti strojnega učenja grafov

Podatki iz resničnega sveta so zapleteni in med seboj povezani ter pogosto vsebujejo mrežne strukture. Primeri vključujejo molekule v naravi, družbena omrežja, internet, ceste in platforme za finančno trgovanje.

Grafi zagotavljajo naraven način za modeliranje te kompleksnosti z ekstrakcijo pomembnih in bogatih informacij, ki so vgrajene v relacije med entitetami.

Tradicionalni algoritmi ML zahtevajo, da so podatki organizirani kot tabele ali zaporedja. To na splošno deluje dobro, vendar so nekatere domene bolj naravno in učinkoviteje predstavljene z grafi (kot je mreža predmetov, povezanih med seboj, kot je prikazano kasneje v tej objavi). Namesto da bi te nabore podatkov grafov prisilili v tabele ali zaporedja, lahko uporabite algoritme ML grafov za predstavitev in učenje iz podatkov, kot so predstavljeni v obliki grafa, vključno z informacijami o sestavnih vozliščih, robovih in drugih funkcijah.

Glede na to, da je trgovanje z obveznicami samo po sebi predstavljeno kot mreža interakcij med kupci in prodajalci, ki vključuje različne vrste obvezniških instrumentov, mora učinkovita rešitev izkoristiti mrežne učinke skupnosti trgovcev, ki sodelujejo na trgu. Poglejmo, kako smo izkoristili učinke trgovalne mreže in uresničili to vizijo tukaj.

Rešitev

Za trgovanje z obveznicami je značilno več dejavnikov, vključno z velikostjo posla, rokom, izdajateljem, obrestno mero, vrednostmi kuponov, ponudbo ponudbe/povpraševanja in vrsto vključenega protokola trgovanja. Poleg naročil in poslov Trumid zajame tudi "indikacije zanimanja" (IOI). Podatki o zgodovinskih interakcijah utelešajo trgovalno vedenje in tržne razmere, ki se razvijajo skozi čas. Te podatke smo uporabili za izgradnjo grafa interakcij s časovnimi žigi med trgovci, obveznicami in izdajatelji ter uporabili graf ML za napovedovanje prihodnjih interakcij.

Priporočena rešitev je obsegala štiri glavne korake:

• Priprava trgovalnih podatkov kot nabora podatkov grafa
• Usposabljanje modela vdelave grafa znanja
• Napovedovanje novih poslov
• Pakiranje rešitve kot razširljiv potek dela

V naslednjih razdelkih podrobneje obravnavamo vsak korak.

Priprava trgovalnih podatkov kot nabora podatkov grafa

Podatke o trgovanju lahko predstavite kot graf na veliko načinov. Ena od možnosti je izčrpna predstavitev podatkov z vozlišči, robovi in ​​lastnostmi: trgovci kot vozlišča z lastnostmi (kot je delodajalec ali posest), obveznice kot vozlišča z lastnostmi (izdajatelj, neporavnani znesek, zapadlost, stopnja, vrednost kupona) in posli kot robovi z lastnostmi (datum, vrsta, velikost). Druga možnost je, da poenostavite podatke in uporabite samo vozlišča in relacije (relacije so tipizirani robovi, kot sta traded ali issued-by). Ta zadnji pristop je v našem primeru deloval bolje in uporabili smo graf, predstavljen na naslednji sliki.

Poleg tega smo odstranili nekatere robove, ki so veljali za zastarele: če je trgovec sodeloval z več kot 100 različnimi obveznicami, smo obdržali le zadnjih 100 obveznic.

Nazadnje smo shranili nabor podatkov grafa kot seznam robov TSV format:

t987	trade-old		i55198
t995	trade-old		i55306
t987	trade-recent	i24528
t995	trade-recent	i49181
t987	ioi-recent		i24523
t995	ioi-old 		i49178
…
i49611	issued-by		XXX
i46569	issued-by		YYY
i46507	issued-by		ZZZ

Usposabljanje modela vdelave grafa znanja

Za grafe, sestavljene samo iz vozlišč in relacij (pogosto imenovanih grafi znanja), je ekipa DGL razvila ogrodje za vdelavo grafov znanja DGL-KE. KE je kratica za vdelavo znanja, ideja pa je predstaviti vozlišča in relacije (znanje) s koordinatami (vdelave) in optimizirati (trenirati) koordinate, tako da je mogoče obnoviti prvotno strukturo grafa iz koordinat. Na seznamu razpoložljivih modelov vdelave smo izbrali TransE (translational embeddings). TransE usposablja vdelave s ciljem približevanja naslednje enakosti:

Vdelava izvornega vozlišča + vdelava relacije = vdelava ciljnega vozlišča (1)

Model smo usposobili s priklicem dglke_train ukaz. Rezultat usposabljanja je mapa modela, ki vsebuje naučene vdelave.

Za več podrobnosti o TransE glejte Prevajanje vdelav za modeliranje večrelacijskih podatkov.

Napovedovanje novih poslov

Za napovedovanje novih poslov trgovca z našim modelom smo uporabili enakost (1): dodajte vdelavo trgovca nedavni vdelavi trgovanja in poiskali obveznice, ki so najbližje nastali vdelavi.

To smo storili v dveh korakih:

1. Izračunajte rezultate za vse možne nedavne trgovinske odnose z dglke_predict.
2. Izračunajte 100 najboljših rezultatov za vsakega trgovca.

Za podrobna navodila o uporabi DGL-KE glejte Usposabljanje vgrajevanja grafa znanja s pomočjo knjižnice Deep Graph in Dokumentacija DGL-KE.

Pakiranje rešitve kot razširljiv potek dela

Za razvoj in odpravljanje napak v kodi smo uporabili prenosne računalnike SageMaker. Za proizvodnjo smo želeli priklicati model kot preprost klic API-ja. Ugotovili smo, da nam ni bilo treba ločevati priprave podatkov, usposabljanja modela in napovedi, poleg tega je bilo priročno zapakirati celoten cevovod kot en sam skript in uporabiti obdelavo SageMaker. Obdelava SageMaker vam omogoča oddaljeni zagon skripta na izbrani vrsti primerka in sliki Docker, ne da bi vam bilo treba skrbeti za dodeljevanje virov in prenos podatkov. To je bilo za nas preprosto in stroškovno učinkovito, saj se instanca GPU uporablja in plača le 15 minut, potrebnih za izvajanje skripta.

Za podrobna navodila o uporabi obdelave SageMaker glejte Obdelava Amazon SageMaker – popolnoma upravljana obdelava podatkov in vrednotenje modela in Obravnavano.

Rezultati

Naš model grafa po meri se je izkazal zelo dobro v primerjavi z drugimi metodami: zmogljivost se je izboljšala za 80 % s stabilnejšimi rezultati pri vseh vrstah trgovcev. Uspešnost smo izmerili s povprečnim odpoklicem (odstotek dejanskih poslov, ki jih je napovedal priporočevalec, povprečje vseh trgovcev). Z drugimi standardnimi meritvami je izboljšanje znašalo od 50 do 130 %.

Ta uspešnost nam je omogočila boljše ujemanje trgovcev in obveznic, kar kaže na izboljšano izkušnjo trgovcev znotraj modela, s strojnim učenjem, ki prinaša velik korak naprej od trdo kodiranih pravil, ki jih je težko prilagoditi.

zaključek

Trumid je osredotočen na zagotavljanje inovativnih izdelkov in učinkovitost delovnega toka svoji skupnosti uporabnikov. Gradnja jutrišnje mreže trgovanja s krediti zahteva stalno sodelovanje s kolegi in strokovnjaki iz industrije, kot je AWS ML Solutions Lab, ki je zasnovan tako, da vam pomaga pri hitrejšem inoviranju.

Za več informacij glejte naslednje vire:

O avtorjih

Marc van Oudheusden je višji podatkovni znanstvenik v skupini Amazon ML Solutions Lab pri Amazon Web Services. S strankami AWS sodeluje pri reševanju poslovnih problemov z umetno inteligenco in strojnim učenjem. Izven službe ga lahko najdete na plaži, se igra s svojimi otroki, deska ali kajta.

Mutisya Ndunda je vodja podatkovne strategije in umetne inteligence pri Trumidu. Je izkušen finančni strokovnjak z več kot 20-letnimi bogatimi institucionalnimi izkušnjami na kapitalskih trgih, trgovanju in finančni tehnologiji. Mutisya ima močno kvantitativno in analitično ozadje z več kot desetletnimi izkušnjami na področju umetne inteligence, strojnega učenja in analitike velikih podatkov. Pred Trumidom je bil izvršni direktor Alpha Vertex, finančne tehnološke družbe, ki finančnim institucijam ponuja analitične rešitve, ki jih poganjajo lastniški algoritmi AI. Mutisya je diplomiral iz elektrotehnike na univerzi Cornell in magistriral iz finančnega inženiringa na univerzi Cornell.

Isaac Privitera je višji podatkovni znanstvenik v laboratoriju Amazon Machine Learning Solutions Lab, kjer razvija prilagojene rešitve strojnega učenja in globokega učenja za reševanje poslovnih težav strank. Deluje predvsem na področju računalniškega vida, pri čemer se osredotoča na omogočanje strankam AWS porazdeljenega usposabljanja in aktivnega učenja.