Tietotieteilijät tarvitsevat johdonmukaisen ja toistettavan ympäristön koneoppimiseen (ML) ja datatieteen työkuormiin, joka mahdollistaa riippuvuuksien hallinnan ja on turvallinen. AWS Deep Learning Containers tarjoaa jo valmiiksi rakennettuja Docker-kuvia koulutukseen ja mallien palvelemiseen yleisissä kehyksissä, kuten TensorFlow, PyTorch ja MXNet. Tämän kokemuksen parantamiseksi julkistimme SageMaker avoimen lähdekoodin jakelun julkisen betaversion vuoden 2023 JupyterConissa. Tämä tarjoaa yhtenäisen päästä-päähän ML-kokemuksen ML-kehittäjille, joilla on erilainen asiantuntemus. Kehittäjien ei enää tarvitse vaihtaa eri kehyssäiliöiden välillä kokeilua varten tai siirtyessään paikallisista JupyterLab-ympäristöistä ja SageMaker-muistikirjoista SageMakerin tuotantotöihin. Avoimen lähdekoodin SageMaker Distribution tukee yleisimpiä datatieteen, ML:n ja visualisoinnin paketteja ja kirjastoja, kuten TensorFlow, PyTorch, Scikit-learn, Pandas ja Matplotlib. Voit aloittaa säiliön käytön osoitteesta Amazon ECR Public Gallery aloittaa tänään.
Tässä viestissä näytämme sinulle, kuinka voit käyttää SageMakerin avoimen lähdekoodin jakelua kokeillaksesi nopeasti paikallista ympäristöäsi ja mainostaaksesi heidät helposti SageMakerin työpaikkoihin.
Ratkaisun yleiskatsaus
Esimerkissämme esittelemme kuvien luokitusmallin koulutusta PyTorchin avulla. Käytämme KMNIST tietojoukko saatavilla julkisesti PyTorchissa. Koulutamme hermoverkkomallin, testaamme mallin suorituskykyä ja lopuksi tulostamme harjoittelun ja testaamme häviön. Tämän esimerkin koko muistikirja on saatavilla osoitteessa SageMaker Studio Lab -esimerkkiarkisto. Aloitamme kokeilun paikallisella kannettavalla tietokoneella käyttämällä avoimen lähdekoodin jakelua, siirrä se Amazon SageMaker Studio suuremman ilmentymän käyttöä varten ja ajoita sitten muistikirja muistikirjatyöksi.
Edellytykset
Tarvitset seuraavat edellytykset:
Aseta paikallinen ympäristösi
Voit aloittaa avoimen lähdekoodin jakelun käytön suoraan paikallisella kannettavallasi. Käynnistä JupyterLab suorittamalla seuraavat komennot päätteelläsi:
Voit korvata ECR_IMAGE_ID
millä tahansa kuvatunnisteella, joka on saatavilla osoitteessa Amazon ECR Public Gallerytai valitse latest-gpu
-tunnistetta, jos käytät GPU:ta tukevaa konetta.
Tämä komento käynnistää JupyterLabin ja antaa päätelaitteelle URL-osoitteen, kuten http://127.0.0.1:8888/lab?token=<token>
. Kopioi linkki ja kirjoita se haluamaasi selaimeen käynnistääksesi JupyterLabin.
Ota Studio käyttöön
Studio on päästä päähän integroitu kehitysympäristö (IDE) ML:lle, jonka avulla kehittäjät ja datatieteilijät voivat rakentaa, kouluttaa, ottaa käyttöön ja seurata ML-malleja mittakaavassa. Studio tarjoaa laajan luettelon ensimmäisen osapuolen kuvista yleisillä kehyksillä ja paketeilla, kuten Data Science, TensorFlow, PyTorch ja Spark. Näiden kuvien avulla datatutkijat voivat helposti aloittaa ML:n käytön valitsemalla yksinkertaisesti valitsemansa kehyksen ja ilmentymän tyypin laskentaa varten.
Voit nyt käyttää SageMaker avoimen lähdekoodin jakelua Studiossa Studion avulla tuo oma kuvasi ominaisuus. Voit lisätä avoimen lähdekoodin jakelun SageMaker-verkkotunnukseesi suorittamalla seuraavat vaiheet:
- Lisää avoimen lähdekoodin jakelu tiliisi Amazonin elastisten säiliörekisteri (Amazon ECR) -arkisto suorittamalla seuraavat komennot päätteelläsi:
- Luo SageMaker-kuva ja liitä kuva Studio-verkkotunnukseen:
- Käynnistä Studio SageMaker-konsolissa valitsemalla verkkotunnuksesi ja olemassa oleva käyttäjäprofiili.
- Valinnaisesti voit käynnistää Studion uudelleen noudattamalla ohjeita Sammuta ja päivitä SageMaker Studio.
Lataa muistikirja
Lataa mallimuistikirja paikallisesti osoitteesta GitHub repo.
Avaa muistikirja valitsemallasi IDE:llä ja lisää solu asennettavaksi muistikirjan alkuun torchsummary
. torchsummary
paketti ei ole osa jakelua, ja tämän asentaminen kannettavaan tietokoneeseen varmistaa, että kannettava toimii loppuun asti. Suosittelemme käyttöä conda
or micromamba
hallita ympäristöjä ja riippuvuuksia. Lisää seuraava solu muistikirjaan ja tallenna muistikirja:
Kokeile paikallisella muistikirjalla
Lataa muistikirja käynnistämääsi JupyterLab-käyttöliittymään valitsemalla latauskuvake seuraavan kuvakaappauksen mukaisesti.
Kun se on ladattu, käynnistä cv-kmnist.ipynb
muistikirja. Voit aloittaa solujen suorittamisen välittömästi ilman, että sinun tarvitsee asentaa mitään riippuvuuksia, kuten taskulamppu, matplotlib tai ipywidgets.
Jos noudatit edellisiä vaiheita, voit nähdä, että voit käyttää jakelua paikallisesti kannettavallasi. Seuraavassa vaiheessa käytämme samaa jakelua Studiossa hyödyntääksemme Studion ominaisuuksia.
Siirrä kokeilu Studioon (valinnainen)
Vaihtoehtoisesti mainostetaan kokeilu Studioon. Yksi Studion eduista on, että taustalla olevat laskentaresurssit ovat täysin joustavia, joten voit helposti valita käytettävissä olevia resursseja ylös tai alas, ja muutokset tapahtuvat automaattisesti taustalla ilman, että työsi keskeytyy. Jos halusit käyttää samaa muistikirjaa aiemmasta suuremmassa tietojoukossa ja laskentaesiintymässä, voit siirtyä Studioon.
Siirry aiemmin käynnistämääsi Studio-käyttöliittymään ja lataa muistikirja valitsemalla latauskuvake.
Kun käynnistät muistikirjan, sinua pyydetään valitsemaan kuva ja ilmentymän tyyppi. Valitse ytimen käynnistysohjelmassa sagemaker-runtime
kuten kuva ja an ml.t3.medium
esimerkiksi valitse sitten valita.
Voit nyt käyttää muistikirjaa päästä päähän ilman, että muistikirjaan tarvitsee tehdä muutoksia paikallisesta kehitysympäristöstä Studio-muistikirjoihin!
Suunnittele muistikirja työksi
Kun olet valmis kokeilemaan, SageMaker tarjoaa useita vaihtoehtoja muistikirjasi tuotantoon, kuten koulutustöitä ja SageMaker-putkia. Yksi tällainen vaihtoehto on suorittaa itse kannettava tietokone suoraan ei-interaktiivisena, ajoitettuna muistikirjatyönä SageMaker muistikirjatyöt. Saatat esimerkiksi haluta kouluttaa malliasi säännöllisesti uudelleen tai tehdä päätelmiä saapuvista tiedoista säännöllisesti ja luoda raportteja sidosryhmiesi kulutukseen.
Käynnistä muistikirjatyö valitsemalla Studiossa muistikirjan työkuvake. Jos olet asentanut kannettavan tietokoneen työt -laajennuksen paikallisesti kannettavaan tietokoneeseen, voit myös ajoittaa muistikirjan suoraan kannettavasta tietokoneesta. Katso Asennusohje määrittääksesi muistikirjan työlaajennuksen paikallisesti.
Muistikirjatyö käyttää automaattisesti avoimen lähdekoodin jakelun ECR-kuva-URI:tä, joten voit ajoittaa muistikirjan työn suoraan.
Valita Juokse aikataulussa, valitse aikataulu, esimerkiksi joka viikko lauantaisin, ja valitse Luoda. Voit myös valita Juokse nyt jos haluat nähdä tulokset välittömästi.
Kun ensimmäinen muistikirjan työ on valmis, voit tarkastella kannettavan tietokoneen tuloksia suoraan Studion käyttöliittymästä valitsemalla muistikirja varten Tulosta tiedostot.
Muita näkökohtia
Sen lisäksi, että avoimen lähdekoodin jakelussa käytetään julkisesti saatavilla olevaa ECR-kuvaa suoraan ML-työkuormiin, se tarjoaa seuraavat edut:
- Kuvan luomiseen käytetty Docker-tiedosto on julkisesti kehittäjien saatavilla tutkia ja rakentaa omia kuviaan. Voit myös periä tämän kuvan peruskuvaksi ja asentaa mukautettuja kirjastojasi toistettavan ympäristön saamiseksi.
- Jos et ole tottunut Dockeriin ja haluat käyttää Conda-ympäristöjä JupyterLab-ympäristössäsi, tarjoamme
env.out
tiedosto jokaiselle julkaistulle versiolle. Tiedoston ohjeiden avulla voit luoda oman Conda-ympäristösi, joka jäljittelee samaa ympäristöä. Katso esimerkiksi CPU-ympäristötiedosto cpu.env.out. - Voit käyttää kuvan GPU-versioita GPU-yhteensopivien työkuormien, kuten syväoppimisen ja kuvankäsittelyn, suorittamiseen.
Puhdistaa
Suorita seuraavat vaiheet puhdistaaksesi resurssit:
- Jos olet ajoittanut muistikirjasi toimimaan aikataulun mukaan, keskeytä tai poista aikataulu Muistikirjan työn määritelmät -välilehti välttääksesi maksamisen tulevista työpaikoista.
- Sulje kaikki Studio-sovellukset, jotta et joudu maksamaan käyttämättömästä tietokoneen käytöstä. Katso Sammuta ja päivitä Studio-sovellukset ohjeita.
- Vaihtoehtoisesti voit poistaa Studio-verkkotunnuksen, jos loit sellaisen.
Yhteenveto
Toistettavan ympäristön ylläpitäminen ML:n elinkaaren eri vaiheissa on yksi suurimmista haasteista datatieteilijöille ja kehittäjille. SageMaker avoimen lähdekoodin jakelun avulla tarjoamme kuvan, jossa on keskenään yhteensopivia versioita yleisimmistä ML-kehyksistä ja paketeista. Jakelu on myös avoimen lähdekoodin, joka tarjoaa kehittäjille läpinäkyvyyden pakettien ja rakennusprosessien suhteen, mikä helpottaa oman jakelunsa mukauttamista.
Tässä viestissä näytimme sinulle, kuinka voit käyttää jakelua paikallisessa ympäristössäsi, Studiossa ja koulutustöiden konttina. Tämä ominaisuus on tällä hetkellä julkisessa beta-vaiheessa. Kannustamme sinua kokeilemaan tätä ja jakamaan palautetta ja ongelmia julkinen GitHub-arkisto!
Tietoja kirjoittajista
Durga Sury on ML Solutions -arkkitehti Amazon SageMaker Service SA -tiimissä. Hän haluaa tehdä koneoppimisesta kaikkien ulottuville. Neljän vuoden aikana AWS:ssä hän on auttanut luomaan AI/ML-alustoja yritysasiakkaille. Kun hän ei ole töissä, hän rakastaa moottoripyöräilyä, mysteeriromaaneja ja pitkiä kävelylenkkejä 4-vuotiaan huskynsa kanssa.
Ketan Vijayvargiya on vanhempi ohjelmistokehitysinsinööri Amazon Web Servicesissä (AWS). Hänen painopistealueensa ovat koneoppiminen, hajautetut järjestelmät ja avoin lähdekoodi. Työn ulkopuolella hän viettää mielellään aikaansa omatoimisesti ja luonnosta nauttien.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- EVM Finance. Hajautetun rahoituksen yhtenäinen käyttöliittymä. Pääsy tästä.
- Quantum Media Group. IR/PR vahvistettu. Pääsy tästä.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :on
- :On
- :ei
- $ YLÖS
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- Meistä
- saatavilla
- poikki
- lisätä
- Lisäksi
- lisä-
- Etu
- etuja
- AI / ML
- Kaikki
- jo
- Myös
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- ja
- ilmoitti
- Kaikki
- sovelluksen
- sovellukset
- OVAT
- alueet
- AS
- At
- liittää
- automaattisesti
- saatavissa
- välttää
- AWS
- tausta
- pohja
- perustua
- BE
- Alku
- beeta
- välillä
- Suurimmat
- selain
- rakentaa
- by
- CAN
- KISSA
- Solut
- haasteet
- Muutokset
- valinta
- Valita
- valita
- luokittelu
- KOM
- Yhteinen
- yhteensopiva
- täydellinen
- Laskea
- Konfigurointi
- johdonmukainen
- Console
- kulutus
- Kontti
- Kontit
- luoda
- luotu
- Tällä hetkellä
- asiakassuhde
- Asiakkaat
- räätälöidä
- tiedot
- tietojenkäsittely
- aineistot
- syvä
- syvä oppiminen
- oletusarvo
- sijoittaa
- kuvata
- kehittäjille
- Kehitys
- eri
- suoraan
- jaettu
- hajautetut järjestelmät
- jakelu
- Satamatyöläinen
- verkkotunnuksen
- tehty
- alas
- kukin
- Aikaisemmin
- helpompaa
- helposti
- mahdollistaa
- kannustaa
- loppu
- päittäin
- insinööri
- varmistaa
- enter
- yritys
- ympäristö
- ympäristöissä
- Joka
- jokainen
- esimerkki
- Esimerkit
- olemassa
- experience
- kokeilu
- asiantuntemus
- tutkia
- vienti
- laajentaminen
- laaja
- Ominaisuus
- Ominaisuudet
- palaute
- filee
- Vihdoin
- Etunimi
- Keskittää
- seurannut
- jälkeen
- varten
- Puitteet
- puitteet
- alkaen
- koko
- täysin
- tulevaisuutta
- tuottaa
- saada
- GitHub
- GPU
- Olla
- ottaa
- he
- auttanut
- hänen
- hänen
- Miten
- Miten
- HTML
- HTTPS
- ICON
- if
- kuva
- Kuvaluokitus
- kuvien
- heti
- parantaa
- in
- Saapuva
- asentaa
- asennetaan
- asentaminen
- esimerkki
- ohjeet
- integroitu
- tulee
- kysymykset
- IT
- itse
- Job
- Työpaikat
- jpg
- json
- laboratorio
- kannettava tietokone
- suurempi
- käynnistää
- käynnistettiin
- oppiminen
- Lets
- tasot
- kirjastot
- elinkaari
- pitää
- tykkää
- LINK
- Lista
- paikallinen
- paikallisesti
- Kirjaudu sisään
- Pitkät
- kauemmin
- pois
- rakastaa
- kone
- koneoppiminen
- tehdä
- Tekeminen
- hoitaa
- toimitusjohtaja
- matplotlib
- ehkä
- vaeltaa
- ML
- malli
- mallit
- monitori
- eniten
- moottoripyörä
- liikkua
- moninkertainen
- molemminpuolisesti
- Mysteeri
- nimi
- luonto
- Tarve
- tarvitsevat
- verkko
- neuroverkkomallien
- Uusi
- seuraava
- Nro
- muistikirja
- nyt
- of
- Tarjoukset
- on
- ONE
- avata
- avoimen lähdekoodin
- Vaihtoehto
- Vaihtoehdot
- or
- meidän
- ulos
- ulkopuolella
- oma
- paketti
- paketit
- pandas
- osa
- intohimoinen
- tauko
- maksaa
- suorituskyky
- Paikka
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- Kirje
- mieluummin
- Suositut
- edellytyksiä
- Painaa
- yksityinen
- Prosessit
- käsittely
- tuotanto
- Profiili
- edistää
- toimittaa
- tarjoaa
- tarjoamalla
- julkinen
- julkisesti
- julkaistu
- Työnnä
- Python
- pytorch
- nopeasti
- suositella
- korvata
- Raportit
- säilytyspaikka
- vaatimukset
- Esittelymateriaalit
- tulokset
- ajaa
- juoksu
- s
- SA
- sagemaker
- SageMaker-putkistot
- sama
- lauantai
- Säästä
- Asteikko
- aikataulu
- suunniteltu
- tiede
- tutkijat
- scikit opittava
- turvallinen
- nähdä
- vanhempi
- palvelu
- Palvelut
- palvelevat
- setti
- settings
- Jaa:
- hän
- näyttää
- näyteikkuna
- osoittivat
- esitetty
- Yksinkertainen
- yksinkertaisesti
- So
- Tuotteemme
- ohjelmistokehitys
- Ratkaisumme
- lähde
- Kipinä
- viettää
- vaiheissa
- sidosryhmien
- Alkaa
- alkoi
- Aloita
- Vaihe
- Askeleet
- studio
- niin
- Tukee
- Vaihtaa
- järjestelmät
- TAG
- ottaa
- joukkue-
- tensorflow
- terminaali
- testi
- että
- -
- heidän
- Niitä
- sitten
- Nämä
- ne
- tätä
- aika
- että
- tänään
- taskulamppu
- Juna
- koulutus
- Läpinäkyvyys
- yrittää
- tyyppi
- ui
- taustalla oleva
- yhdistynyt
- käyttämätön
- Päivitykset
- ladattu
- URL
- Käyttö
- käyttää
- käytetty
- käyttäjä
- käyttötarkoituksiin
- käyttämällä
- versio
- Näytä
- visualisointi
- haluta
- halusi
- we
- verkko
- verkkopalvelut
- viikko
- kun
- tulee
- with
- ilman
- Referenssit
- työskentely
- vuotta
- Voit
- Sinun
- zephyrnet