Pospešite naložbeni proces s storitvami AWS Low Code-No Code

V zadnjih nekaj letih je prišlo do izjemne spremembe paradigme v tem, kako institucionalni upravljavci premoženja pridobivajo in integrirajo več virov podatkov v svoj naložbeni proces. S pogostimi premiki v korelacijah tveganja, nepričakovanimi viri volatilnosti in vse večjo konkurenco pasivnih strategij upravljavci premoženja uporabljajo širši nabor virov podatkov tretjih oseb, da pridobijo konkurenčno prednost in izboljšajo tveganjem prilagojene donose. Vendar pa je postopek pridobivanja koristi iz več podatkovnih virov lahko izjemno zahteven. Ekipe za podatkovni inženiring upravljavcev premoženja so preobremenjene s pridobivanjem in predobdelavo podatkov, medtem ko ekipe za podatkovno znanost pridobivajo podatke za vpogled v naložbe.

Podatki tretjih oseb ali alternativni podatki se nanašajo na podatke, ki se uporabljajo v naložbenem procesu in izvirajo izven tradicionalnih ponudnikov tržnih podatkov. Institucionalni vlagatelji svoje tradicionalne vire podatkov pogosto dopolnjujejo s podatki tretjih oseb ali alternativnimi podatki, da pridobijo prednost v svojem naložbenem procesu. Običajno navedeni primeri med drugim vključujejo satelitske posnetke, podatke o kreditnih karticah in razpoloženje v družbenih medijih. Upravljavci skladov letno vložijo skoraj 3 milijarde dolarjev v zunanje nabore podatkov, pri čemer se letna poraba poveča za 20–30 odstotkov.

Z eksponentno rastjo razpoložljivih naborov podatkov tretjih oseb in alternativnih naborov podatkov je zmožnost hitre analize, ali novi nabor podatkov doda nove vpoglede v naložbe, konkurenčna razlika v industriji upravljanja naložb. Podatki in storitve umetne inteligence brez kode z nizko kodo (LCNC) AWS omogočajo netehničnim ekipam, da izvedejo začetni pregled podatkov, dajo prednost vkrcanju podatkov, pospešijo čas do vpogledov in osvobodijo dragocene tehnične vire – kar ustvarja trajno konkurenčno prednost.

V tej objavi v spletnem dnevniku razpravljamo o tem, kako lahko kot institucionalni upravitelj premoženja izkoristite podatke AWS LCNC in storitve umetne inteligence, da povečate začetno analizo podatkov in postopek določanja prednosti zunaj tehničnih skupin ter pospešite svoje odločanje. S storitvami AWS LCNC se lahko hitro naročite na različne nabore podatkov tretjih oseb in jih ocenite, predhodno obdelate podatke in preverite njihovo napovedno moč z uporabo modelov strojnega učenja (ML), ne da bi napisali en sam del kode.

Pregled rešitev

Naš primer uporabe je analiza napovedne moči tečaja delnic zunanjega nabora podatkov in prepoznavanje pomembnosti njegovih funkcij – katera polja najbolj vplivajo na uspešnost cene delnic. To služi kot preizkus prvega prehoda za ugotavljanje, katero od več polj v naboru podatkov bi bilo treba natančneje ovrednotiti z uporabo tradicionalnih kvantitativnih metodologij, da bi ustrezalo vašemu naložbenemu procesu. To vrsto testa prvega prehoda lahko analitiki izvedejo hitro, s čimer prihranijo čas in vam omogočijo hitrejše določanje prednosti vkrcanja nabora podatkov. Medtem ko kot ciljni primer uporabljamo ceno delnice, bi lahko uporabili tudi druge meritve, kot so donosnost, razmerja vrednotenja ali obseg trgovanja. Vsi nabori podatkov, uporabljeni za ta primer uporabe, so objavljeni v Izmenjava podatkov AWS.

Naslednji diagram pojasnjuje arhitekturo od konca do konca in storitve AWS LCNC, ki se uporabljajo za sprejemanje odločitev:

Naša rešitev je sestavljena iz naslednjih korakov in rešitev:

1. Vnos podatkov: AWS Data Exchange za naročanje na objavljene alternativne nize podatkov in njihov prenos na Preprosta storitev shranjevanja Amazon (Amazon S3) vedro.
2. Podatkovni inženiring: AWS lepilo DataBrew za podatkovni inženiring in transformacijo podatkov, shranjenih v Amazon S3.
3. Strojno učenje: Amazon SageMaker Canvas za izgradnjo modela napovedovanja časovnih vrst za napovedovanje in ugotavljanje vpliva podatkov na napoved.
4. Poslovna inteligenca: Amazon QuickSight ali Amazon SageMaker Canvas za pregled pomembnosti funkcij za napoved za odločanje.

Zaužitje podatkov

Izmenjava podatkov AWS omogoča enostavno iskanje, naročanje in uporabo podatkov tretjih oseb v oblaku. Brskate lahko po katalogu AWS Data Exchange in poiščete podatkovne izdelke, ki so pomembni za vaše podjetje in naročiti v podatke ponudnikov brez nadaljnje obdelave in ni potrebe po postopku ETL. Upoštevajte, da številni ponudniki ponujajo brezplačne začetne naročnine, ki vam omogočajo analizo njihovih podatkov, ne da bi morali najprej plačati vnaprejšnje stroške.

Za ta primer uporabe poiščite in se naročite na spodnje nize podatkov v AWS Data Exchange:

• 20 let podatkov o delnicah ob koncu dneva za 10 najboljših ameriških podjetij glede na tržno kapitalizacijo založil Alpha Vantage. Ta brezplačni nabor podatkov vsebuje 20-letne zgodovinske podatke za 10 najboljših ameriških delnic po tržni kapitalizaciji od 5. septembra 2020. Nabor podatkov vsebuje naslednjih 10 simbolov — AAPL: Apple Inc.; AMZN: Amazon.com, Inc.; BRK-A: Berkshire Hathaway Inc. (razred A); FB: Facebook, Inc.; GOOG: Alphabet Inc.; JNJ: Johnson & Johnson; MA: Mastercard Incorporated; MSFT: Microsoft Corporation V: Visa Inc.; in WMT: Walmart Inc.
• Ključna podatkovna polja vključujejo
  • Odprto: odprta cena ob trgovanju za ta dan
  • Visoka: najvišja dnevna cena med trgovanjem
  • Nizka: najnižja cena v času trgovanja za ta dan
  • Zaključek: zaključna cena dneva ob trgovanju
  • Obseg: obseg trgovanja za ta dan
  • Adjusted Close: končna cena dneva, prilagojena za split in dividende
  • Razmerje delitve: razmerje med novim in starim številom delnic na datum veljavnosti
  • Dividenda: znesek izplačila dividende v denarju
• S3 Kratki finančni podatki o obrestih in vrednostnih papirjih založil S3 partnerji. Ta niz podatkov vsebuje naslednja polja:

Polje	Opis
Poslovni datum	Datum začetka veljavnosti tečaja
Varnostni ID-ji	Varnostni identifikatorji vsebujejo Sedol, ISIN, FIGI, Ticker, Bloomberg ID
Ime	Varnostno ime
Stopnja ponudbe	Tržna sestavljena provizija za financiranje, plačana za obstoječe kratke pozicije
Stopnja ponudbe	Tržna sestavljena provizija za posojanje, zaslužena za obstoječe delnice, ki jih posojajo dolgoročni imetniki
Zadnja stopnja	Tržna sestavljena posojilna provizija, zaslužena za prirastne delnice, posojene na ta datum (promptni tečaj)
Gneča	Kazalnik zagona meri dnevne dogodke kratkega in pokritega trga glede na drsenje trga
Kratkoročni interes	Kratki interes v realnem času, izražen v številu delnic
ShortInterestNotional	ShortInterest * Cena (USD)
ShortInterestPct	Kratke obresti v realnem času, izražene kot odstotek fluktuacije lastniškega kapitala
S3Float	Število delnic, s katerimi se trguje, vključno s sintetičnimi dolgimi vrednostnimi papirji, ustvarjenimi s prodajo na kratko
S3SIPctFloat	Projekcija kratkih obresti v realnem času, deljena s S3 float
IndicativeAvailability	S3 predvidena razpoložljiva količina za posojanje
Uporaba	Kratke obresti v realnem času, deljene s skupno ponudbo za posojanje
DaystoCover10Day	Je merilo likvidnosti = kratke obrestne mere / 10-dnevno povprečje ADTV
DaystoCover30Day	Je merilo likvidnosti = kratke obrestne mere / 30-dnevno povprečje ADTV
DaystoCover90Day	Je merilo likvidnosti = kratke obrestne mere / 90-dnevno povprečje ADTV
Original SI	Časovno kratke obresti

Če želite pridobiti podatke, boste najprej poiskali nabor podatkov v AWS Data Exchange in se naročili na nabor podatkov:

Ko izdajatelj naborov podatkov odobri vaše zahteve za naročnino, boste imeli nabore podatkov na voljo za prenos v vedro S3:

Izberite Dodajte cilj opravila samodejnega izvoza, navedite podrobnosti o vedru S3 in prenesite nabor podatkov:

Ponovite korake, da dobite nabor podatkov Alpha Vantage. Ko končate, boste imeli oba nabora podatkov v svojem vedru S3.

Podatkovni inženiring

Ko je nabor podatkov v vedrih S3, lahko uporabite AWS lepilo DataBrew za preoblikovanje podatkov. AWS Glue DataBrew ponuja več kot 350 vnaprej pripravljenih transformacij za avtomatizacijo opravil priprave podatkov (kot so filtriranje anomalij, standardiziranje formatov in popravljanje neveljavnih vrednosti), ki bi sicer zahtevale dneve ali tedne pisanja ročno kodiranih transformacij.

Če želite ustvariti konsolidiran izbrani nabor podatkov za napovedovanje v AWS DataBrew, izvedite spodnje korake. Za podrobne informacije glejte to blog.

1. Ustvarite nabore podatkov DataBrew.
2. Naložite nabore podatkov DataBrew v projekte DataBrew.
3. Zgradite recepte DataBrew.
4. Zaženite opravila DataBrew.

Ustvarite nabore podatkov DataBrew: V AWS Glue DataBrew, a nabor podatkov predstavlja podatke, ki so naloženi iz vedra S3. Ustvarili bomo dva nabora podatkov DataBrew – tako za ceno delnice ob koncu dneva kot za kratke obresti S3. Ko ustvarite nabor podatkov, vnesete podrobnosti povezave S3 samo enkrat. Od te točke lahko DataBrew namesto vas dostopa do osnovnih podatkov.

Naložite nabore podatkov DataBrew v projekte DataBrew: V AWS Glue DataBrew, a Projekt je osrednji del vaših prizadevanj za analizo podatkov in preoblikovanje. Projekt DataBrew združuje nabore podatkov DataBrew in vam omogoča razvoj transformacije podatkov (recept DataBrew). Tudi tukaj bomo ustvarili dva projekta DataBrew, za ceno delnic ob koncu dneva in kratke obresti S3.

Zgradite recepte DataBrew: V programu DataBrew a Recept je niz korakov transformacije podatkov. Te korake lahko uporabite za svoj nabor podatkov. Za primer uporabe bomo zgradili dve transformaciji. Prvi bo spremenil obliko stolpca s časovnim žigom tečaja delnice ob koncu dneva, tako da bo nabor podatkov mogoče pridružiti kratkoročnim obrestim S3:

Druga transformacija kurira podatke, njen zadnji korak pa zagotavlja, da združimo nabore podatkov v en sam kuriran nabor podatkov. Za več podrobnosti o gradnji receptov za pretvorbo podatkov glejte to blog.

DataBrew delovna mesta: Po ustvarjanju receptov DataBrew lahko najprej zaženete opravilo DataBrew za borzno ceno ob koncu dneva, ki mu sledi recept za kratke obresti S3. Sklicujte se na to blog za ustvarjanje enotnega konsolidiranega nabora podatkov. Shranite končni izbrani nabor podatkov v vedro S3.

Delovni tok podatkovnega inženiringa od konca do konca bo videti takole:

Strojno učenje

Z kuriranim naborom podatkov, ustvarjenim popodatkovnim inženiringom, lahko uporabite Amazon SageMaker Canvas da zgradite svoj model napovedovanja in analizirate vpliv funkcij na napoved. Amazon SageMaker Canvas poslovnim uporabnikom ponuja vizualni vmesnik »pokaži in klikni«, ki jim omogoča, da sami zgradijo modele in ustvarijo natančne napovedi ML – ne da bi potrebovali izkušnje z ML ali napisali eno samo vrstico kode.

Če želite zgraditi model napovedovanja časovne vrste v Amazon SageMaker Canvas, sledite spodnjim korakom. Za podrobne informacije glejte to blog:

1. Izberite izbrani nabor podatkov v SageMaker Canvas.
2. Zgradite model napovedovanja časovnih vrst.
3. Analizirajte rezultate in pomembnost značilnosti.

Zgradite model napovedovanja časovnih vrst: Ko izberete nabor podatkov, izberite ciljni stolpec, ki ga želite predvideti. V našem primeru bo to zaključna cena delniškega tickerja. SageMaker Canvas samodejno zazna, da gre za izjavo o težavi napovedovanja časovne vrste.

Za napovedovanje časovnih vrst boste morali model konfigurirati na naslednji način. Za ID artikla izberite ime borzne oznake. Ne pozabite, da naš nabor podatkov vsebuje cene delnic za 10 najboljših delnic. Izberite stolpec s časovnim žigom za časovni žig in na koncu vnesite število dni, ki jih želite napovedati v prihodnosti [Forecast Horizon].

Zdaj ste pripravljeni na izdelavo modela. SageMaker Canvas ponuja dve možnosti za izdelavo modela: Quick Build in Standard Build. V našem primeru bomo uporabili »Standardno gradnjo«.

Standardna izdelava traja približno tri ure za izdelavo modela in uporabo Amazonska napoved, storitev napovedovanja časovnih vrst, ki temelji na ML kot osnovnem mehanizmu napovedovanja. Forecast ustvarja zelo natančne napovedi z združevanjem modelov tradicionalnih modelov in modelov globokega učenja, ne da bi zahteval izkušnje z ML.

Ko je model izdelan, lahko zdaj pregledate delovanje modela (natančnost napovedi) in pomembnost lastnosti. Kot je razvidno iz spodnje slike, model identificira Crowding in DaysToCover10Day kot dve glavni funkciji, ki vodita vrednosti napovedi. To je v skladu z našo tržno intuicijo, saj je gneča kazalnik zagona, ki meri dnevno zmanjšanje in zajema dogodke, kratkoročne kratkoročne obresti pa so merilo likvidnosti, ki kaže, kako so vlagatelji pozicionirani v delnici. Tako zagon kot likvidnost lahko povzročita nestanovitnost cen.

Ta rezultat nakazuje, da sta ti dve funkciji (ali polji) tesno povezani z gibanjem tečajev delnic in jima je mogoče dati višjo prednost pri vkrcanju in nadaljnji analizi.

Poslovna inteligenca

V kontekstu napovedovanja časovnih vrst je pojem testiranje se nanaša na postopek ocenjevanja točnosti metode napovedovanja z uporabo obstoječih preteklih podatkov. Postopek je običajno iterativen in se ponavlja čez več datumov, ki so prisotni v zgodovinskih podatkih.

Kot smo že omenili, SageMaker Canvas uporablja Amazon Forecast kot motor za napovedovanje časovnih vrst. Forecast ustvari test za nazaj kot del procesa gradnje modela. Zdaj si lahko ogledate podrobnosti napovedovalca tako, da se prijavite v Amazon Forecast. Za globlje razumevanje razložljivosti modela si oglejte to blog.

Amazon Forecast zagotavlja dodatne podrobnosti o meritvah napovedovanja, kot so utežena absolutna odstotna napaka (WAPE), koren srednje kvadratne napake (RMSE), povprečna absolutna odstotna napaka (MAPE) in povprečna absolutna skalirana napaka (MASE). Ocene kakovosti napovednikov lahko izvozite iz Amazon Forecast.

Amazon Forecast izvede en test za nazaj za nabor podatkov o časovni vrsti. Rezultati testiranja za nazaj so na voljo za prenos z uporabo Izvozi rezultate testa nazaj gumb. Izvoženi rezultati testiranja za nazaj se prenesejo v vedro S3.

Zdaj bomo narisali rezultate testiranja za nazaj v Amazon QuickSight. Če želite vizualizirati rezultate testiranja za nazaj v Amazon QuickSight, se povežite z naborom podatkov v Amazon S3 iz QuickSighta in ustvarite vizualizacijo.

Čiščenje

Storitve AWS, uporabljene v tej rešitvi, so po naravi upravljane in brez strežnika. SageMaker Canvas je zasnovan za dolgotrajno usposabljanje ML in bo vedno vklopljen. Prepričajte se, da se izrecno odjavite iz SageMaker Canvas. Prosimo, glejte dokumenti Za več podrobnosti.

zaključek

V tej objavi v spletnem dnevniku smo razpravljali o tem, kako lahko kot institucionalni upravitelj sredstev izkoristite podatke AWS z nizko kodo brez kode (LCNC) in storitve umetne inteligence, da pospešite vrednotenje zunanjih naborov podatkov tako, da začetni pregled nabora podatkov preložite na netehnično osebje. To analizo prvega prehoda je mogoče opraviti hitro, da se boste lažje odločili, katerim naborom podatkov je treba dati prednost za vključitev in nadaljnjo analizo.

Korak za korakom smo pokazali, kako lahko podatkovni analitik pridobi nove podatke tretjih oseb prek AWS Data Exchange, uporabi storitve ETL brez kode AWS Glue DataBrew za predhodno obdelavo podatkov in oceni, katere funkcije v naboru podatkov najbolj vplivajo na napoved modela .

Ko so podatki pripravljeni za analizo, analitik uporabi SageMaker Canvas za izgradnjo napovednega modela, ovrednotenje njegovega prileganja in identifikacijo pomembnih značilnosti. V našem primeru sta MAPE (.05) in WAPE (.045) modela nakazala dobro ujemanje in pokazala »Gneča« in »DaysToCover10Day« kot signala v naboru podatkov z največjim vplivom na napoved. Ta analiza je kvantificirala, kateri podatki so najbolj vplivali na model, in bi jih zato lahko dali prednost za nadaljnjo preiskavo in morebitno vključitev v vaše alfa signale ali proces obvladovanja tveganja. In kar je prav tako pomembno, ocene razložljivosti kažejo, kateri podatki igrajo razmeroma majhno vlogo pri določanju napovedi in so zato lahko nižja prioriteta za nadaljnje preiskave.

Če želite hitreje oceniti sposobnost finančnih podatkov tretjih oseb za podporo vašemu naložbenemu procesu, preglejte Viri podatkov o finančnih storitvah, ki so na voljo na AWS Data Exchange, in daj DataBrew in Canvas poskusi danes.

---

O avtorjih

Boris Litvin je glavni arhitekt rešitev, odgovoren za inovacije v industriji finančnih storitev. Je nekdanji ustanovitelj Quant in FinTech, navdušen nad sistematičnim vlaganjem.

Meenakshisundaram Thandavarayan je višji strokovnjak za AI/ML pri AWS. Pomaga visokotehnološkim strateškim računom na njihovi poti AI in ML. Zelo je navdušen nad AI, ki temelji na podatkih.

Camillo Anania je višji arhitekt za zagonske rešitve pri AWS s sedežem v Združenem kraljestvu. Je strasten tehnolog, ki startupom vseh velikosti pomaga graditi in rasti.

Dan Sinnreich je višji produktni vodja pri AWS, osredotočen na opolnomočenje podjetij za sprejemanje boljših odločitev z ML. Prej je zgradil platforme za analizo portfelja in modele tveganja za več razredov sredstev za velike institucionalne vlagatelje.