See postitus on kirjutatud koostöös Dima Zadorozhny ja Fuad Babaeviga VirtuSwapist.
VirtuSwap on idufirma, kes arendab uuenduslikku tehnoloogiat varade detsentraliseeritud vahetamiseks plokiahelates. VirtuSwapi tehnoloogia pakub tõhusamat kauplemist varadega, mille vahel pole otsest paari. Otsese paari puudumine toob kaasa kuluka kaudse kauplemise, mis tähendab, et soovitud vahetustehingu sooritamiseks on vaja kahte või enamat tehingut, mis toob kaasa kahe- või kolmekordsed kauplemiskulud. VirtuSwapi reservipõhine Virtual Poolsi tehnoloogia lahendab probleemi, muutes iga tehingu otseseks, säästes kuni 50% kauplemiskuludest. Loe lähemalt aadressilt virtuswap.io.
Selles postituses jagame, kuidas VirtuSwap kasutas oma konteineri toomise funktsiooni Amazon SageMaker Studio luua jõuline keskkond nende GPU-mahukate simulatsioonide majutamiseks lineaarse optimeerimise probleemide lahendamiseks.
Väljakutse
VirtuSwap Minerva mootor loob soovitusi likviidsuse optimaalseks jaotamiseks erinevate likviidsuskogumite vahel, võttes samal ajal arvesse mitmeid parameetreid, nagu kauplemismahud, hetke turu likviidsus ja kaubeldavate varade volatiilsus, mida piirab jaotamiseks saadaoleva likviidsuse kogusumma. Nende soovituste pakkumiseks kasutab VirtuSwap Minerva tuhandeid ajaloolisi kauplemispaare, et simuleerida nende läbimist erinevates likviidsuskonfiguratsioonides, et leida optimaalne likviidsuse jaotus, kogumistasud ja palju muud.
Esialgne teostus kodeeriti pandade andmeraamide abil. Kuid simulatsiooniandmete kasvades suurenes käitusaeg koos probleemi suurusega peaaegu neljakordseks. Selle tulemusel iteratsioonid aeglustusid ja suurema dimensiooniga ülesandeid oli peaaegu võimatu käivitada. VirtuSwap mõistis, et kiiremate tulemuste saamiseks peavad nad simulatsiooni jaoks kasutama GPU eksemplare.
VirtuSwap vajas simulatsiooni käitamiseks GPU-ga ühilduvat pandalaadset teeki ja valis cuDF, GPU DataFrame'i teek, mille autor on kärestik. cuDF-i kasutatakse andmete laadimiseks, ühendamiseks, koondamiseks, filtreerimiseks ja muul viisil töötlemiseks pandas-sarnane API, mis kiirendab tööd andmeraamidega, kasutades CUDA-d oluliselt kiiremaks jõudluseks kui pandad.
Lahenduse ülevaade
VirtuSwap valis SageMaker Studio'i täielikuks arendamiseks, alustades iteratiivsest interaktiivsest arendusest sülearvutites. SageMaker Studio paindlikkuse tõttu otsustasid nad seda kasutada ka oma simulatsiooniks, kasutades ära Amazon SageMaker kohandatud pildid, mis võimaldavad VirtuSwapil tuua oma kohandatud teeke ja vajalikku tarkvara, näiteks cuDF. Järgmine diagramm illustreerib lahenduse töövoogu.
Järgmistes jaotistes jagame samm-sammult juhiseid Rapidsi cuDF-kujutise koostamiseks ja kasutamiseks SageMakeris.
Eeldused
Selle samm-sammulise juhendi käitamiseks vajate AWS-i kontot, millel on SageMakeri õigused, Amazoni elastsete konteinerite register (Amazon ECR), AWS-i identiteedi- ja juurdepääsuhaldus (IAM) ja AWS CodeBuild. Lisaks peab teil olema a SageMakeri domeen valmis.
Looge IAM-i rollid ja eeskirjad
SageMakeri kohandatud sülearvutite koostamiseks kasutasime AWS CloudShell, mis pakub kõiki kohandatud pildi loomiseks vajalikke pakette. CloudShellis kasutasime SageMaker Docker Build, CLI Dockeri piltide loomiseks SageMaker Studio jaoks ja selles. CLI saab luua hoidla Amazon ECR-is ja ehitada konteineri CodeBuildi abil. Selleks peame andma tööriistale IAM-i rolli koos õigete lubadega. Tehke järgmised sammud.
- Logige sisse AWS-i halduskonsooli ja avage IAM konsool.
- Valige vasakpoolsel navigeerimispaanil Poliitika.
- Looge poliitika nimega
sm-build-policy
järgmiste lubadega:
Load annavad võimaluse utiliiti täielikult kasutada: luua hoidlaid, luua CodeBuildi töö, kasutada Amazoni lihtne salvestusteenus (Amazon S3) ja saatke logid aadressile Amazon CloudWatch.
- Looge roll nimega
sm-build-role
järgmise usalduspoliitikaga ja lisage poliitikasm-build-policy
mille olete varem loonud:
Vaatame nüüd CloudShelli toimingud üle.
Looge CloudShellis cuDF Dockeri pilt
Oma eesmärkidel vajasime Rapidsi CUDA pilti, mis sisaldab ka ipykernel, et pilti saaks kasutada a SageMaker Studio märkmik.
Kasutame olemasolevat CUDA kujutist RapidsAI mis on ametlikus saadaval Rapids AI Dockeri jaoturja lisage ipykernel
paigaldus.
Käivitage CloudShelli terminalis järgmine käsk:
See loob Dockeri faili, mis loob meie kohandatud Dockeri pildi SageMakeri jaoks.
Koostage ja lükake pilt hoidlasse
Nagu mainitud, kasutasime SageMaker Docker Buildi teek, mis võimaldab andmeteadlastel ja arendajatel hõlpsasti luua kohandatud konteineripilte. Lisateabe saamiseks vaadake Amazon SageMaker Studio Image Build CLI kasutamine ümbrikupiltide loomiseks oma Studio sülearvutitest.
Järgmine käsk loob ECR-i hoidla (kui hoidlat pole olemas). sm-docker loob selle ning loob ja lükkab uue Dockeri pildi loodud hoidlasse:
Juhul, kui olete kadunud sm-docker
Käivitage oma CloudShellis järgmine kood:
Lõpetamisel tagastatakse ECR-pildi URI.
Looge SageMakeri kohandatud pilt
Kui olete loonud kohandatud Dockeri pildi ja lükanud selle oma konteinerihoidlasse (Amazon ECR), saate konfigureerida SageMakeri seda kohandatud Dockeri pilti kasutama. Tehke järgmised sammud.
- Valige SageMakeri konsoolil images navigeerimispaanil.
- Vali Loo pilt.
- Sisestage eelmise jaotise pildi URI väljund ja valige seejärel järgmine.
- eest Pildi nimi ja Kujutise kuvatav nimi, sisenema
rapids
. - eest Kirjeldus, sisestage kirjeldus.
- eest IAM roll, valige oma SageMakeri domeeni jaoks õige IAM-i roll.
- eest EFS-i paigaldustee, sisenema
/home/sagemaker-user
(vaikimisi). - Laiendama Täpsem konfiguratsioon.
- eest kasutaja ID, sisenema
1000
. - eest Grupi ID, sisenema
100
.
- aasta Pildi tüüp jaotises valige SageMakeri stuudio pilt.
- Vali Lisa kernel.
- eest Kerneli nimi, sisenema
conda-env-rapids-py
. - eest Kerneli kuvatav nimi, sisenema
rapids
. - Vali LIITU SageMakeri pildi loomiseks.
Lisage uus pilt oma SageMaker Studio domeenile
Nüüd, kui olete kohandatud pildi loonud, peate selle kasutamiseks kättesaadavaks tegema, lisades pildi oma domeenile. Tehke järgmised sammud.
- Valige SageMakeri konsoolil Domeenid navigeerimispaanil.
- Valige oma domeen. See samm on valikuline; saate luua ja lisada kohandatud pildi otse domeenist ning selle sammu vahele jätta.
- Valige domeeni üksikasjade lehel keskkond seejärel valige Lisage pilt.
- valima Olemasolev pilt ja vali uus pilt (
rapids
) loendist. - Vali järgmine.
- Vaadake kohandatud pildi konfiguratsioon üle ja määrake kindlasti Pildi tüüp as SageMakeri stuudio pilt, nagu eelmises etapis, sama kerneli nime ja kerneli kuvatava nimega.
- Vali LIITU.
Kohandatud pilt on nüüd SageMaker Studios saadaval ja kasutamiseks valmis.
Looge pildiga uus märkmik
Uue sülearvuti käivitamise juhiste saamiseks vaadake Käivitage kohandatud SageMakeri pilt rakenduses Amazon SageMaker Studio. Tehke järgmised sammud.
- Valige SageMaker Studio konsoolil Ava käivitaja.
- Vali Muutke keskkonda.
- eest pilt, valige vastloodud pilt,
rapids v1
. - eest Kernel, vali
rapids
. - eest Eksemplari tüüp¸ vali oma eksemplar.
SageMaker Studio pakub võimalust kohandada oma arvutusvõimsust, valides eksemplari AWS-i kiirendatud arvutuse, üldotstarbelise arvutuse, arvutuste optimeeritud või mälu optimeeritud perekondadest. See paindlikkus võimaldas teil sujuvalt CPU-de ja GPU-de vahel üle minna, samuti vajadusel eksemplari suurust dünaamiliselt suurendada või vähendada. Sülearvuti puhul kasutasime cuDF-i jõudluse testimiseks graafikaprotsessori kiirendit kasutades eksemplari tüüpi ml.g4dn.2xlarge.
- Vali valima.
- Valige oma keskkond ja valige Loo märkmik, seejärel oodake, kuni sülearvuti tuum on valmis.
Kinnitage oma kohandatud pilt
Kui soovite kinnitada, et teie kohandatud pilt käivitati ja cuDF on kasutamiseks valmis, looge uus lahter, sisestage sisestus import cudf
ja käivitage see.
Koristage
Lülitage SageMaker Studios testmärkmikku käivitav Jupyteri eksemplar välja, valides Terminalide ja tuumade käitamine ja töötava eksemplari väljalülitamine.
Kestusaja võrdlustulemused
Viisime läbi oma koodi käitusaegse võrdluse, kasutades nii protsessorit kui ka GPU-d SageMaker g4dn.2xlarge eksemplaridel, mille ajaline keerukus oli O(N). Tulemused, nagu on näidatud järgmisel joonisel, näitavad GPU-de kasutamise tõhusust protsessoritega võrreldes.
GPU-de peamine eelis seisneb nende võimes teostada paralleelset töötlemist. Kui suurendame N väärtust, suureneb protsessori tööaeg kiirusega 3N. Teisest küljest võib GPU-de puhul kasvumäära kirjeldada kui 2N, nagu on näidatud eelmisel joonisel. Mida suurem on probleemi suurus, seda tõhusamaks muutub GPU. Meie puhul oli GPU kasutamine vähemalt 20 korda kiirem kui protsessori kasutamine. See rõhutab GPU-de kasvavat tähtsust kaasaegses andmetöötluses, eriti selliste ülesannete puhul, mille kiireks töötlemiseks on vaja suuri andmemahtusid.
SageMakeri GPU eksemplaride abil suudab VirtuSwap järsult suurendada lahendatud probleemide mõõtmeid ja leida lahendusi kiiremini.
Järeldus
Selles postituses näitasime, kuidas VirtuSwap kohandas SageMaker Studio'i, kasutades keeruka probleemi lahendamiseks kohandatud pilti. Tänu võimalusele hõlpsalt muuta käitamiskeskkonda ja vahetada erinevate eksemplaride, suuruste ja tuumade vahel, suutis VirtuSwap kiiresti katsetada ja kiirendada käitusaega 15 korda ning pakkuda skaleeritavat lahendust.
Järgmise sammuna kaalub VirtuSwap SageMakeri kasutuse laiendamist ja nende töötlemise käivitamist Amazon SageMakeri töötlemine töödelda oma platvormile tohutuid andmeid, mida nad erinevatest plokiahelatest koguvad.
Autoritest
Adir Sharabi on Amazon Web Services'i peamine lahenduste arhitekt. Ta teeb koostööd AWS-i klientidega, et aidata neil luua pilves turvalisi, vastupidavaid, skaleeritavaid ja suure jõudlusega rakendusi. Ta on kirglik ka andmete vastu ja aitab klientidel neist maksimumi võtta.
Omer Haim on Amazon Web Services'i käivituslahenduste vanemarhitekt. Ta aitab idufirmasid nende pilveteekonnal ning on kirglik konteinerite ja ML-i vastu. Vabal ajal meeldib Omerile reisida ja aeg-ajalt pojaga mängida.
Dmitri Zadorožnõi on ettevõttes andmeanalüütik virtuswap.io. Ta vastutab andmete kaevandamise, töötlemise ja salvestamise ning pilveteenuste (nt AWS) integreerimise eest. Enne virtuswapiga liitumist töötas ta andmeteaduse valdkonnas ja oli dydxi sihtasutuses juhtiv analüütikasaadik. Dimal on arvutiteaduse magistrikraad. Dimale meeldib vabal ajal arvutimänge mängida.
Fuad Babaev töötab andmeteaduse spetsialistina Virtuswapis (virtuswap.io). Ta pakub teadmisi keerukate optimeerimisprobleemide lahendamisel, simulatsioonide loomisel ja kaubandusprotsesside mudelite väljatöötamisel. Väljaspool oma profikarjääri on Fuadil kirg malet mängida.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/how-virtuswap-accelerates-their-pandas-based-trading-simulations-with-an-amazon-sagemaker-studio-custom-container-and-aws-gpu-instances/
- :on
- :on
- $ UP
- 100
- 11
- 20
- 7
- 804
- 9
- 91
- a
- võime
- Võimalik
- MEIST
- kiirendatud
- kiirendab
- kiirendi
- juurdepääs
- konto
- tegevus
- lisama
- lisamine
- ADEelis
- liitmine
- AI
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- lubatud
- võimaldab
- peaaegu
- mööda
- Ka
- Amazon
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- Suursaadik
- summa
- summad
- an
- analüütik
- analytics
- ja
- API
- rakendused
- OLEME
- AS
- vara
- At
- kinnitage
- saadaval
- AWS
- AWS-i juhtimiskonsool
- BE
- muutub
- vahel
- plokiahelad
- mõlemad
- tooma
- Toob
- ehitama
- Ehitus
- by
- CAN
- Karjäär
- juhul
- väljakutseid
- muutma
- Male
- Vali
- valimine
- Valisin
- Cloud
- pilvteenustest
- kood
- kodeeritud
- koostöö
- Kollektsioneerimine
- COM
- ettevõte
- võrdlus
- täitma
- lõpetamist
- keeruline
- keerukus
- Arvutama
- arvuti
- Arvutiteadus
- arvutustehnika
- arvutusvõimsus
- seisund
- läbi
- konfiguratsioon
- arvestades
- konsool
- Konteiner
- Konteinerid
- kulukas
- kulud
- looma
- loodud
- loob
- Praegune
- tava
- Kliendid
- kohandada
- kohandatud
- andmed
- andmete kaevandamine
- andmeteadus
- Detsentraliseeritud
- Detsentraliseeritud börs
- otsustatud
- vaikimisi
- tarnima
- kirjeldatud
- kirjeldus
- soovitud
- detailid
- Arendajad
- arenev
- & Tarkvaraarendus
- erinev
- otsene
- otse
- Ekraan
- jaotus
- laevalaadija
- Ei tee
- domeen
- Ära
- kahekordistada
- alla
- dramaatiliselt
- kaks
- didx
- dünaamiliselt
- Ajalugu
- kergesti
- mõju
- efektiivsus
- tõhus
- Lõpuks-lõpuni
- Mootor
- sisene
- keskkond
- eriti
- Iga
- vahetamine
- eksisteerima
- olemasolevate
- eksperiment
- teadmised
- peredele
- KIIRE
- kiiremini
- tunnusjoon
- Tasud
- väli
- Joonis
- filtreerimine
- leidma
- Paindlikkus
- Järel
- eest
- Sihtasutus
- Alates
- täis
- mäng
- Mängud
- Üldine
- saama
- GPU
- GPU
- kasvasid
- Kasvavad
- suunata
- käsi
- Olema
- he
- aitama
- aidates
- aitab
- Suur
- rõhutab
- tema
- ajalooline
- võõrustaja
- Kuidas
- aga
- HTML
- http
- HTTPS
- Identity
- if
- illustreerib
- pilt
- pildid
- täitmine
- tähtsus
- võimatu
- in
- hõlmab
- Suurendama
- Tõstab
- info
- esialgne
- uuenduslik
- uuenduslik tehnoloogia
- paigaldama
- paigaldamine
- Näiteks
- juhised
- Integreerimine
- interaktiivne
- sisse
- IT
- kordused
- töö
- liitumine
- teekond
- suur
- suurem
- algatama
- käivitatud
- viima
- juhtivate
- Leads
- kõige vähem
- lahkus
- raamatukogud
- Raamatukogu
- peitub
- meeldib
- Likviidsus
- likviidsuse kogumid
- nimekiri
- laadimine
- põhiline
- tegema
- Tegemine
- juhtimine
- manipuleerimine
- Turg
- suur
- tähendus
- Mälu
- mainitud
- Kaevandamine
- ML
- mudelid
- Kaasaegne
- rohkem
- tõhusam
- kõige
- MOUNT
- mitmekordne
- nimi
- Nimega
- NAVIGATSIOON
- peaaegu
- Vajadus
- vaja
- Uus
- äsja
- järgmine
- märkmik
- nüüd
- of
- maha
- ametlik
- on
- avatud
- optimaalselt
- optimeerimine
- optimeeritud
- valik
- or
- Muu
- muidu
- meie
- välja
- väljund
- väljaspool
- üle
- enda
- pakette
- lehekülg
- paar
- paari
- pandas
- pane
- Parallel
- parameetrid
- kirg
- kirglik
- täitma
- jõudlus
- Õigused
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- poliitika
- ujula
- Basseinid
- post
- võim
- Toide
- eelmine
- Peamine
- Eelnev
- Probleem
- probleeme
- protsess
- Töödeldud
- Protsessid
- töötlemine
- professionaalne
- korralik
- anda
- annab
- eesmärk
- eesmärkidel
- Lükkama
- lükatakse
- Python
- Neljakordistunud
- kiiresti
- määr
- Lugenud
- valmis
- realiseeritud
- soovitused
- viitama
- Hoidla
- nõudma
- nõutav
- vetruv
- ressurss
- vastutav
- kaasa
- Tulemused
- avalduma
- läbi
- jõuline
- Roll
- rollid
- jooks
- jooksmine
- salveitegija
- sama
- säästmine
- SC
- skaalautuvia
- Skaala
- teadus
- teadlased
- sujuvalt
- Osa
- lõigud
- kindlustama
- saatma
- vanem
- teenib
- teenus
- Teenused
- komplekt
- Jaga
- näitas
- näidatud
- märgatavalt
- lihtne
- simuleerimine
- SUURUS
- suurused
- So
- tarkvara
- lahendus
- Lahendused
- LAHENDAGE
- Lahendab
- selle
- spetsialist
- kiirus
- Käivitus
- käivitamisel
- Alustavatel
- väljavõte
- Samm
- Sammud
- ladustamine
- stuudio
- selline
- kindel
- vahetama
- Lüliti
- tegelemine
- võtmine
- ülesanded
- Tehnoloogia
- terminal
- test
- kui
- et
- .
- oma
- Neile
- SIIS
- Need
- nad
- see
- tuhandeid
- Läbi
- aeg
- korda
- et
- tööriist
- Summa
- kaubelda
- kaubeldakse
- kaupleb
- Kauplemine
- kauplemispaarid
- kauplemismahud
- üleminek
- reisima
- Kolmekordne
- Usalda
- kaks
- tüüp
- kuni
- Kasutus
- kasutama
- Kasutatud
- Kasutaja
- kasutusalad
- kasutamine
- kasulikkus
- ära kasutama
- kasutades
- v1
- KINNITAGE
- väärtus
- eri
- versioon
- virtuaalne
- mahud
- ootama
- oli
- we
- web
- veebiteenused
- Hästi
- mis
- kuigi
- will
- koos
- Töö
- töötas
- töövoog
- töötab
- kirjalik
- sa
- Sinu
- sephyrnet