Andmeteadlased vajavad masinõppe (ML) ja andmeteaduse töökoormuse jaoks ühtset ja reprodutseeritavat keskkonda, mis võimaldab hallata sõltuvusi ja on turvaline. AWS-i süvaõppekonteinerid pakub juba eelehitatud Dockeri pilte tavalistes raamistikes nagu TensorFlow, PyTorch ja MXNet mudelite koolitamiseks ja teenindamiseks. Selle kogemuse parandamiseks kuulutasime 2023. aasta JupyterConil välja SageMakeri avatud lähtekoodiga distributsiooni avaliku beetaversiooni. See pakub erinevate teadmiste tasemega ML-i arendajatele ühtset täielikku ML-kogemust. Arendajad ei pea enam katsetamiseks või kohalikest JupyterLabi keskkondadest ja SageMakeri sülearvutitelt SageMakeri tootmistöödele üleminekul erinevate raamistikukonteinerite vahel vahetama. Avatud lähtekoodiga SageMaker Distribution toetab andmeteaduse, ML-i ja visualiseerimise levinumaid pakette ja teeke, nagu TensorFlow, PyTorch, Scikit-learn, Pandas ja Matplotlib. Mahuti kasutamist saate alustada aadressilt Amazon ECR avalik galerii alates tänasest.
Selles postituses näitame teile, kuidas saate SageMakeri avatud lähtekoodiga distributsiooni kasutada, et kiiresti oma kohalikku keskkonda katsetada ja neid hõlpsalt SageMakeris töökohtadele tõsta.
Lahenduse ülevaade
Meie näites tutvustame PyTorchi abil piltide klassifitseerimismudeli väljaõpet. Me kasutame KMNIST andmestik on PyTorchis avalikult saadaval. Koolitame närvivõrgu mudelit, testime mudeli jõudlust ning lõpuks prindime välja koolituse ja testime kadu. Selle näite täielik märkmik on saadaval aadressil SageMaker Studio Labi näidete hoidla. Alustame katsetamist kohaliku sülearvutiga, kasutades avatud lähtekoodiga distributsiooni, teisaldame selle asukohta Amazon SageMaker Studio suurema eksemplari kasutamiseks ja seejärel ajastage märkmik märkmikutööna.
Eeldused
Teil on vaja järgmisi eeltingimusi:
Seadistage oma kohalik keskkond
Saate otse alustada avatud lähtekoodiga distributsiooni kasutamist kohalikus sülearvutis. JupyterLabi käivitamiseks käivitage oma terminalis järgmised käsud:
Võite asendada ECR_IMAGE_ID
mis tahes saidil saadaolevate pildimärgenditega Amazon ECR avalik galeriivõi valige latest-gpu
sildi, kui kasutate GPU-d toetavat masinat.
See käsk käivitab JupyterLabi ja annab terminalis URL-i, näiteks http://127.0.0.1:8888/lab?token=<token>
. JupyterLabi käivitamiseks kopeerige link ja sisestage see oma eelistatud brauserisse.
Seadistage Studio
Studio on täielik integreeritud arenduskeskkond (IDE) ML-i jaoks, mis võimaldab arendajatel ja andmeteadlastel ML-mudeleid mastaapselt ehitada, koolitada, juurutada ja jälgida. Studio pakub ulatuslikku loendit esimese osapoole piltidest, millel on levinud raamistikud ja paketid, nagu Data Science, TensorFlow, PyTorch ja Spark. Need pildid muudavad andmeteadlaste jaoks ML-iga alustamise lihtsaks, valides lihtsalt arvutamiseks valitud raamistiku ja eksemplari tüübi.
Nüüd saate Studio's kasutada SageMakeri avatud lähtekoodiga distributsiooni tooge oma pilt tunnusjoon. Avatud lähtekoodiga distributsiooni lisamiseks oma SageMakeri domeenile toimige järgmiselt.
- Lisage oma kontole avatud lähtekoodiga distributsioon Amazoni elastsete konteinerite register (Amazon ECR) hoidlas, käivitades oma terminalis järgmised käsud:
- Looge SageMakeri pilt ja lisage pilt Studio domeeni:
- Käivitage SageMakeri konsoolis Studio, valides oma domeeni ja olemasoleva kasutajaprofiili.
- Soovi korral taaskäivitage Studio, järgides juhiseid Lülitage välja ja värskendage SageMaker Studio.
Laadige sülearvuti alla
Laadige sülearvuti näidis kohapeal alla saidilt GitHub repo.
Avage sülearvuti valitud IDE-ga ja lisage installimiseks märkmiku algusesse lahter torchsummary
. torchsummary
pakett ei ole levitamise osa ja selle sülearvutisse installimine tagab, et sülearvuti töötab otsast lõpuni. Soovitame kasutada conda
or micromamba
keskkondade ja sõltuvuste haldamiseks. Lisage märkmikusse järgmine lahter ja salvestage märkmik:
Katsetage kohaliku märkmikuga
Laadige märkmik üles JupyterLabi kasutajaliidesesse, mille käivitasite, valides üleslaadimise ikooni, nagu on näidatud järgmisel ekraanipildil.
Kui see on üles laaditud, käivitage cv-kmnist.ipynb
märkmik. Lahtreid saate kohe käivitada, ilma et peaksite installima mingeid sõltuvusi, nagu taskulamp, matplotlib või ipywidgets.
Kui järgisite eelmisi samme, näete, et saate levitamist oma sülearvutist kohapeal kasutada. Järgmises etapis kasutame Studio funktsioonide kasutamiseks sama distributsiooni.
Teisaldage katsetus Studiosse (valikuline)
Soovi korral reklaamime katsetamist Studiosse. Studio üks eeliseid on see, et aluseks olevad arvutusressursid on täielikult elastsed, nii et saate olemasolevaid ressursse hõlpsalt üles või alla valida ning muudatused toimuvad taustal automaatselt, ilma teie tööd katkestamata. Kui soovisite sama märkmikku käitada varasemast suuremas andmekogumis ja arvutuseksemplaris, saate üle minna Studiosse.
Liikuge varem käivitatud Studio kasutajaliidesele ja valige märkmiku üleslaadimiseks üleslaadimise ikoon.
Pärast märkmiku käivitamist palutakse teil valida kujutise ja eksemplari tüüp. Valige kerneli käivitajas sagemaker-runtime
nagu pilt ja an ml.t3.medium
näiteks, siis valige valima.
Nüüd saate sülearvutit otsast lõpuni käitada, ilma et peaksite oma kohalikust arenduskeskkonnast Studio märkmikkudesse muutma!
Planeerige märkmik tööna
Kui olete katsetamise lõpetanud, pakub SageMaker märkmiku tootmiseks mitu võimalust, näiteks koolitustööd ja SageMakeri torujuhtmed. Üks selline võimalus on sülearvuti enda otse käivitamine mitteinteraktiivse ajastatud sülearvuti tööna SageMakeri sülearvutite töökohad. Näiteks võite soovida oma mudelit perioodiliselt ümber õpetada või saada perioodiliselt järeldusi sissetulevate andmete kohta ja koostada aruandeid oma sidusrühmade tarbimiseks.
Valige Studios sülearvuti töö ikoon, et käivitada sülearvuti töö. Kui olete sülearvuti tööde laienduse kohapeal sülearvutisse installinud, saate ajastada ka sülearvuti otse sülearvutist. Vaata Paigaldusjuhend sülearvuti tööde laienduse kohalikuks seadistamiseks.
Sülearvutitöö kasutab automaatselt avatud lähtekoodiga distributsiooni ECR-pildi URI-d, nii et saate sülearvuti töö otse ajastada.
Vali Jookse ajakava järgi, valige ajakava, näiteks iga nädal laupäeval, ja valige Loo. Võite ka valida Jookse nüüd kui soovite tulemusi kohe näha.
Kui esimene sülearvuti töö on lõpetatud, saate vaadata sülearvuti väljundeid otse Studio kasutajaliidesest, valides märkmik all Väljundfailid.
Täiendavad kaalutlused
Lisaks avalikult kättesaadava ECR-pildi kasutamisele otse ML-töökoormuste jaoks pakub avatud lähtekoodiga distributsioon järgmisi eeliseid.
- Pildi koostamiseks kasutatud Dockerfile on avalikult saadaval, et arendajad saaksid ise pilte uurida ja luua. Saate selle pildi pärida ka põhipildina ja installida oma kohandatud teegid reprodutseeritava keskkonna saamiseks.
- Kui te pole Dockeriga harjunud ja eelistate oma JupyterLabi keskkonnas kasutada Conda keskkondi, pakume
env.out
faili iga avaldatud versiooni jaoks. Saate kasutada failis olevaid juhiseid, et luua oma Conda keskkond, mis jäljendab sama keskkonda. Vaadake näiteks CPU keskkonna faili cpu.env.out. - Saate kasutada pildi GPU-versioone GPU-ga ühilduvate töökoormuste (nt süvaõpe ja pilditöötlus) käitamiseks.
Koristage
Oma ressursside puhastamiseks tehke järgmised sammud.
- Kui olete oma märkmiku ajakava järgi ajanud, peatage või kustutage ajakava lehel Märkmiku töö määratlused vahekaart, et vältida tulevaste töökohtade eest tasumist.
- Sulgege kõik Studio rakendused, et mitte maksta kasutamata arvutikasutuse eest. Vaata Lülitage Studio rakendused välja ja värskendage neid juhiseid.
- Soovi korral kustutage Studio domeen, kui olete selle loonud.
Järeldus
Reprodutseeritava keskkonna säilitamine ML elutsükli erinevatel etappidel on andmeteadlaste ja arendajate jaoks üks suurimaid väljakutseid. SageMakeri avatud lähtekoodiga distributsiooniga pakume pilti kõige levinumate ML-i raamistike ja pakettide vastastikku ühilduvate versioonidega. Distributsioon on ka avatud lähtekoodiga, pakkudes arendajatele pakettide ja ehitusprotsesside läbipaistvust, muutes oma distributsiooni kohandamise lihtsamaks.
Selles postituses näitasime teile, kuidas kasutada levitamist kohalikus keskkonnas, Studios ja oma koolitustööde konteinerina. See funktsioon on praegu avalikus beetaversioonis. Soovitame teil seda proovida ja jagada oma tagasisidet ja probleeme avalik GitHubi hoidla!
Autoritest
Durga Sury on ML Solutionsi arhitekt Amazon SageMaker Service SA meeskonnas. Ta on kirglik masinõppe kõigile kättesaadavaks tegemise vastu. Nelja aasta jooksul AWS-is on ta aidanud luua AI/ML platvorme ettevõtete klientidele. Kui ta ei tööta, armastab ta mootorrattasõite, mõistatusromaane ja pikki jalutuskäike oma 4-aastase huskyga.
Ketan Vijayvargiya on Amazon Web Servicesi (AWS) tarkvaraarenduse vaneminsener. Tema fookusvaldkonnad on masinõpe, hajutatud süsteemid ja avatud lähtekoodiga. Töövälisel ajal meeldib talle veeta aega ennast majutades ja loodust nautides.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- EVM Finance. Detsentraliseeritud rahanduse ühtne liides. Juurdepääs siia.
- Quantum Media Group. IR/PR võimendatud. Juurdepääs siia.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :on
- :on
- :mitte
- $ UP
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- MEIST
- juurdepääsetav
- üle
- lisama
- lisamine
- Täiendavad lisad
- ADEelis
- eelised
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- juba
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- ja
- teatas
- mistahes
- app
- apps
- OLEME
- valdkondades
- AS
- At
- kinnitage
- automaatselt
- saadaval
- vältima
- AWS
- tagapõhi
- baas
- põhineb
- BE
- Algus
- beeta
- vahel
- suurim
- brauseri
- ehitama
- by
- CAN
- CAT
- Rakke
- väljakutseid
- Vaidluste lahendamine
- valik
- Vali
- valimine
- klassifikatsioon
- COM
- ühine
- kokkusobiv
- täitma
- Arvutama
- konfiguratsioon
- järjepidev
- konsool
- tarbimine
- Konteiner
- Konteinerid
- looma
- loodud
- Praegu
- tava
- Kliendid
- kohandada
- andmed
- andmeteadus
- andmekogumid
- sügav
- sügav õpe
- vaikimisi
- juurutada
- kirjeldama
- Arendajad
- & Tarkvaraarendus
- erinev
- otse
- jagatud
- hajutatud süsteemid
- jaotus
- laevalaadija
- domeen
- tehtud
- alla
- iga
- Ajalugu
- lihtsam
- kergesti
- võimaldab
- julgustama
- lõpp
- Lõpuks-lõpuni
- insener
- tagama
- sisene
- ettevõte
- keskkond
- keskkondades
- Iga
- igaüks
- näide
- näited
- olemasolevate
- kogemus
- eksperiment
- teadmised
- uurima
- eksport
- laiendamine
- ulatuslik
- tunnusjoon
- FUNKTSIOONID
- tagasiside
- fail
- Lõpuks
- esimene
- Keskenduma
- Järgneb
- Järel
- eest
- Raamistik
- raamistikud
- Alates
- täis
- täielikult
- tulevik
- tekitama
- saama
- GitHub
- GPU
- Olema
- võttes
- he
- aitas
- siin
- tema
- Kuidas
- Kuidas
- HTML
- HTTPS
- ICON
- if
- pilt
- Piltide klassifikatsioon
- pildid
- kohe
- parandama
- in
- Sissetulev
- paigaldama
- paigaldatud
- paigaldamine
- Näiteks
- juhised
- integreeritud
- sisse
- küsimustes
- IT
- ise
- töö
- Tööturg
- jpg
- Json
- labor
- sülearvuti
- suurem
- algatama
- käivitatud
- õppimine
- Lets
- taset
- raamatukogud
- eluring
- nagu
- meeldib
- LINK
- nimekiri
- kohalik
- kohapeal
- Logi sisse
- Pikk
- enam
- kaotus
- armastab
- masin
- masinõpe
- tegema
- Tegemine
- juhtima
- juhtiv
- matplotlib
- võib
- rännanud
- ML
- mudel
- mudelid
- Jälgida
- kõige
- mootorratas
- liikuma
- mitmekordne
- vastastikku
- Mõistatus
- nimi
- loodus
- Vajadus
- vajav
- võrk
- Närvivõrgus
- Uus
- järgmine
- ei
- märkmik
- nüüd
- of
- Pakkumised
- on
- ONE
- avatud
- avatud lähtekoodiga
- valik
- Valikud
- or
- meie
- välja
- väljaspool
- enda
- pakend
- pakette
- pandas
- osa
- kirglik
- paus
- pöörates
- jõudlus
- Koht
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- post
- eelistama
- eelistatud
- eeldused
- trükk
- era-
- Protsessid
- töötlemine
- Produktsioon
- profiil
- edendama
- anda
- annab
- pakkudes
- avalik
- avalikult
- avaldatud
- Lükkama
- Python
- pütorch
- kiiresti
- soovitama
- asendama
- Aruanded
- Hoidla
- Nõuded
- Vahendid
- Tulemused
- jooks
- jooksmine
- s
- SA
- salveitegija
- SageMakeri torujuhtmed
- sama
- laupäev
- Säästa
- Skaala
- ajakava
- plaanitud
- teadus
- teadlased
- skikit õppima
- kindlustama
- vaata
- vanem
- teenus
- Teenused
- teenindavad
- komplekt
- seaded
- Jaga
- ta
- näitama
- presentatsioon
- näitas
- näidatud
- lihtne
- lihtsalt
- So
- tarkvara
- tarkvaraarenduse
- Lahendused
- allikas
- Säde
- kulutama
- etappidel
- huvirühmad
- algus
- alustatud
- Käivitus
- Samm
- Sammud
- stuudio
- selline
- Toetab
- Lüliti
- süsteemid
- TAG
- Võtma
- meeskond
- tensorivool
- terminal
- test
- et
- .
- oma
- Neile
- SIIS
- Need
- nad
- see
- aeg
- et
- täna
- tõrvik
- Rong
- koolitus
- läbipaistvus
- püüdma
- tüüp
- ui
- aluseks
- ühtne
- kasutamata
- Värskendused
- laetud
- URL
- Kasutus
- kasutama
- Kasutatud
- Kasutaja
- kasutusalad
- kasutamine
- versioon
- vaade
- visualiseerimine
- tahan
- tagaotsitav
- we
- web
- veebiteenused
- nädal
- millal
- will
- koos
- ilma
- Töö
- töö
- aastat
- sa
- Sinu
- sephyrnet