Nykyään syväoppimismalleja kouluttavien datatieteilijöiden on tunnistettava ja korjattava mallin koulutusongelmat, jotta ne täyttävät tuotannon käyttöönoton tarkkuustavoitteet, ja vaadittava tapa käyttää vakiotyökaluja mallikoulutuksen virheenkorjaukseen. Tietotutkijayhteisön keskuudessa TensorBoard on suosittu työkalupakki, jonka avulla datatieteilijät voivat visualisoida ja analysoida koneoppimismalliensa ja koulutusprosessiensa eri puolia. Se tarjoaa joukon työkaluja koulutusmittareiden visualisointiin, malliarkkitehtuurien tutkimiseen, upotusten tutkimiseen ja paljon muuta. TensorFlow- ja PyTorch-projektit tukevat ja käyttävät TensorBoardia virallisessa dokumentaatiossaan ja esimerkeissään.
Amazon Sage Maker TensorBoardilla on ominaisuus, joka tuo TensorBoardin visualisointityökalut SageMakeriin. Integroituna SageMaker-koulutustöihin ja -alueisiin, se tarjoaa SageMaker-verkkotunnuksen käyttäjille pääsyn TensorBoard-tietoihin ja auttaa toimialueen käyttäjiä suorittamaan mallien virheenkorjaustehtäviä SageMaker TensorBoard -visualisointilaajennusten avulla. Kun he luovat SageMaker-koulutustyön, verkkotunnuksen käyttäjät voivat käyttää TensorBoardia SageMaker Python SDK:n tai Boto3 API:n avulla. SageMaker with TensorBoard tukee SageMaker Data Manager -laajennusta, jonka avulla verkkotunnuksen käyttäjät voivat käyttää monia koulutustehtäviä yhdessä paikassa TensorBoard-sovelluksessa.
Tässä viestissä esittelemme, kuinka voit määrittää harjoitustyön TensorBoardin kanssa SageMakerissa SageMaker Python SDK:n avulla, käyttää SageMaker TensorBoardia, tutkia TensorBoardissa visualisoitua harjoittelutulostietoa ja poistaa käyttämättömät TensorBoard-sovellukset.
Ratkaisun yleiskatsaus
Tyypillinen syväoppimisen koulutustyö SageMakerissa koostuu kahdesta päävaiheesta: koulutusohjelman valmistelusta ja SageMaker-koulutustyön käynnistysohjelman konfiguroinnista. Tässä viestissä opastamme sinut läpi tarvittavat muutokset TensorBoard-yhteensopivien tietojen keräämiseksi SageMaker-koulutuksesta.
Edellytykset
Jotta voit aloittaa SageMakerin käytön TensorBoardin kanssa, sinun on määritettävä SageMaker-verkkotunnus Amazon VPC:llä AWS-tilillä. Jokaisen yksittäisen käyttäjän verkkotunnuksen käyttäjäprofiili vaaditaan päästäkseen TensorBoardiin SageMakerissa, ja AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) -suoritusrooli vaatii vähimmäismäärän käyttöoikeuksia, mukaan lukien seuraavat:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:Search
s3:GetObject
s3:ListBucket
Lisätietoja SageMaker-verkkotunnuksen ja käyttäjäprofiilien määrittämisestä on kohdassa Sisääntulo Amazon SageMaker -verkkotunnukseen pika-asetuksella ja Lisää ja poista käyttäjäprofiileja.
Hakemistorakenne
Käytettäessä Amazon SageMaker Studio, hakemistorakenne voidaan järjestää seuraavasti:
Täällä script/train.py
on harjoituskäsikirjoituksesi ja simple_tensorboard.ipynb
käynnistää SageMaker-koulutustyön.
Muokkaa harjoitusohjelmaasi
Voit käyttää mitä tahansa seuraavista työkaluista tensorien ja skalaarien keräämiseen: TensorBoardX, TensorFlow Summary Writer, PyTorch Summary Writer tai Amazon SageMaker -korjaamoja määritä tietojen tulostuspolku lokihakemistoksi harjoitussäiliössä (log_dir
). Tässä esimerkkikoodissa käytämme TensorFlow'ta yksinkertaisen, täysin yhdistetyn hermoverkon kouluttamiseen luokittelutehtävää varten. Katso muut vaihtoehdot kohdasta Valmistele harjoitustyö TensorBoardin lähtötietojen konfiguraatiolla. Vuonna train()
-toimintoa, käytämme tensorflow.keras.callbacks
.TensorBoard työkalu tensorien ja skalaarien keräämiseen, määritä /opt/ml/output/tensorboard
lokihakemistona koulutussäilössä ja välitä se mallin koulutuksen takaisinkutsun argumentille. Katso seuraava koodi:
Rakenna SageMaker-koulutuskäynnistin TensorBoard-datakonfiguraatiolla
Käytä tiedostoa sagemaker.debugger.TensorBoardOutputConfig määrittäessäsi SageMaker-kehysestimaattoria, joka kartoittaa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -säilö, jonka määrität TensorBoard-tietojen tallentamiseen harjoitussäiliön paikallisen polun kanssa (esim. /opt/ml/output/tensorboard
). Voit käyttää erilaista säilön paikallista tulostuspolkua. Sen on kuitenkin oltava yhdenmukainen arvon kanssa LOG_DIR
muuttuja, kuten edellisessä vaiheessa määritettiin, jotta SageMaker etsii onnistuneesti paikallista polkua koulutussäiliöstä ja tallentaa TensorBoard-tiedot S3-tulostusämpäriin.
Siirrä seuraavaksi moduulin objekti tensorboard_output_config
estimaattoriluokan parametri. Seuraava koodinpätkä näyttää esimerkin TensorFlow-estimaattorin valmistelusta TensorBoard-lähtökonfiguraatioparametrilla.
Seuraava on yleiskoodi:
Seuraava koodi on koulutussäiliölle:
Seuraava koodi on TensorBoard-kokoonpano:
Käynnistä koulutustehtävä seuraavalla koodilla:
Käytä TensorBoardia SageMakerissa
Voit käyttää TensorBoardia kahdella tavalla: ohjelmallisesti käyttämällä sagemaker.interactive_apps.tensorboard
moduuli, joka luo URL-osoitteen, tai käyttämällä TensorBoard-aloitussivua SageMaker-konsolissa. Kun avaat TensorBoardin, SageMaker suorittaa TensorBoard-laajennuksen ja etsii ja lataa automaattisesti kaikki harjoitustyön tulostiedot TensorBoard-yhteensopivassa tiedostomuodossa S3-sävyistä, jotka on liitetty harjoitustöihin harjoituksen aikana tai sen jälkeen.
Seuraava koodi luo automaattisesti URL-osoitteen TensorBoard-konsolin aloitussivulle:
Tämä palauttaa seuraavan viestin URL-osoitteella, joka avaa TensorBoard-aloitussivun.
TensorBoardin avaaminen SageMaker-konsolista on osoitteessa TensorBoardin käyttäminen SageMakerissa.
Kun avaat TensorBoard-sovelluksen, TensorBoard avautuu SageMaker Data Manager -välilehti. Seuraava kuvakaappaus näyttää koko näkymän SageMaker Data Manager -välilehti TensorBoard-sovelluksessa.
On SageMaker Data Manager -välilehdellä voit valita minkä tahansa harjoitustyön ja ladata TensorBoard-yhteensopivat harjoitustulosteet Amazon S3:sta.
- In Lisää koulutustyö -osiossa, käytä valintaruutuja valitaksesi koulutustyöt, joista haluat hakea tietoja ja visualisoida virheenkorjausta.
- Valita Lisää valitut työt.
Valittujen töiden pitäisi näkyä Seuratut koulutustyöt osiossa.
Päivitä katseluohjelma valitsemalla oikeasta yläkulmasta päivityskuvake, jolloin visualisointivälilehtien pitäisi ilmestyä, kun työtiedot on ladattu onnistuneesti.
Tutustu TensorBoardissa visualisoituihin harjoitustulostietoihin
On Aikasarja -välilehti ja muut grafiikkaan perustuvat välilehdet, näet luettelon Seuratut koulutustyöt vasemmassa ruudussa. Voit myös käyttää koulutustöiden valintaruutuja näyttääksesi tai piilottaaksesi visualisointeja. TensorBoardin dynaamiset laajennukset aktivoidaan dynaamisesti riippuen siitä, kuinka olet asettanut harjoitusskriptisi sisältämään yhteenvedon kirjoittajia ja välittämään takaisinkutsuja tensori- ja skalaarikokoelmaa varten, ja myös grafiikkavälilehdet näkyvät dynaamisesti. Seuraavissa kuvakaappauksissa on esimerkkinäkymiä kustakin välilehdestä ja visualisointeja kahden koulutustyön kerätyistä mittareista. Mittarit sisältävät aikasarja-, skalaari-, kaavio-, jakautumis- ja histogrammilaajennukset.
Seuraava kuvakaappaus on Aikasarja välilehtinäkymä.
Seuraava kuvakaappaus on skalaarit välilehtinäkymä.
Seuraava kuvakaappaus on Kuvaajat välilehtinäkymä.
Seuraava kuvakaappaus on jakaumat välilehtinäkymä.
Seuraava kuvakaappaus on histogrammit välilehtinäkymä.
Puhdistaa
Kun olet valmis valvomaan ja kokeilemaan töitä TensorBoardissa, sulje TensorBoard-sovellus:
- Valitse SageMaker-konsolissa Verkkotunnukset navigointipaneelissa.
- Valitse verkkotunnuksesi.
- Valitse käyttäjäprofiilisi.
- Alle Sovellukset:, valitse Poista sovellus TensorBoard-riville.
- Valita Kyllä, poista sovellus.
- Kirjoita tekstiruutuun Poista ja valitse sitten Poista.
Sivun yläreunaan pitäisi ilmestyä viesti: "Oletusarvo poistetaan".
Yhteenveto
TensorBoard on tehokas työkalu syväoppimismallien visualisointiin, analysointiin ja virheenkorjaukseen. Tässä viestissä annamme oppaan SageMakerin käyttämiseen TensorBoardin kanssa, mukaan lukien TensorBoardin määrittäminen SageMaker-harjoitustyössä SageMaker Python SDK:n avulla, SageMaker TensorBoardin käyttö, TensorBoardissa visualisoitujen harjoitustulosten tietojen tutkiminen ja käyttämättömien TensorBoard-sovellusten poistaminen. Noudattamalla näitä ohjeita voit aloittaa TensorBoardin käytön SageMakerissa työssäsi.
Suosittelemme kokeilemaan erilaisia ominaisuuksia ja tekniikoita.
Tietoja kirjoittajista
Tohtori Baichuan Sun on AWS AI/ML:n vanhempi datatutkija. Hän on intohimoinen ratkaisemaan strategisia liiketoimintaongelmia asiakkaiden kanssa käyttämällä datalähtöistä metodologiaa pilvessä, ja hän on johtanut projekteja haastavilla aloilla, kuten robotiikan tietokonenäkö, aikasarjaennusteet, hinnan optimointi, ennakoiva ylläpito, lääkekehitys, tuotesuositusjärjestelmä, jne. Vapaa-ajallaan hän nauttii matkustamisesta ja perheen kanssa hengailusta.
Manoj Ravi on Amazon SageMakerin vanhempi tuotepäällikkö. Hän on intohimoinen seuraavan sukupolven tekoälytuotteiden rakentamiseen ja työskentelee ohjelmistojen ja työkalujen parissa, jotka helpottavat laajamittaista koneoppimista asiakkaille. Hän on suorittanut MBA-tutkinnon Haas School of Businessista ja tietojärjestelmien hallinnan maisterin tutkinnon Carnegie Mellonin yliopistosta. Vapaa-ajallaan Manoj pelaa tennistä ja harrastaa maisemakuvausta.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-with-tensorboard-overview-of-a-hosted-tensorboard-experience/
- :on
- :On
- $ YLÖS
- 1
- 10
- 100
- 11
- 15%
- 26%
- 28
- 7
- 8
- 9
- a
- Meistä
- pääsy
- Tili
- tarkkuus
- Aatami
- Jälkeen
- AI
- AI / ML
- Kaikki
- mahdollistaa
- Myös
- Amazon
- Amazon Sage Maker
- keskuudessa
- an
- analysoida
- analysointi
- ja
- Kaikki
- api
- sovelluksen
- näyttää
- Hakemus
- sovellukset
- OVAT
- alueet
- perustelu
- AS
- näkökohdat
- At
- automaattisesti
- AWS
- BE
- ollut
- ovat
- sekä
- Laatikko
- laatikot
- Tuo
- Rakentaminen
- liiketoiminta
- by
- CAN
- Carnegie Mellon
- haastava
- Muutokset
- tarkastaa
- Valita
- valita
- luokka
- pilvi
- koodi
- kerätä
- kokoelma
- yhteisö
- tietokone
- Tietokoneen visio
- Konfigurointi
- kytketty
- johdonmukainen
- Console
- Kontti
- Kulma
- luoda
- Asiakkaat
- tiedot
- tietojen tutkija
- data-driven
- aineistot
- treffiaika
- syvä
- syvä oppiminen
- osoittaa
- Riippuen
- käyttöönotto
- Kehitys
- jakelu
- dokumentointi
- verkkotunnuksen
- verkkotunnuksia
- tehty
- alas
- aikana
- dynaaminen
- dynaamisesti
- kukin
- helpompaa
- muu
- kannustaa
- hyväksyä
- aikakausia
- jne.
- arvioitu
- tutkii
- esimerkki
- Esimerkit
- teloitus
- experience
- kokeilu
- tutkia
- Tutkiminen
- perhe
- Ominaisuudet
- sovittaa
- jälkeen
- seuraa
- varten
- muoto
- Puitteet
- alkaen
- koko
- täysin
- toiminto
- synnyttää
- kaavio
- grafiikka
- ohjaavat
- Olla
- he
- auttaa
- Piilottaa
- hänen
- pitää
- isännöi
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- ICON
- tunnistaa
- Identiteetti
- if
- tuoda
- in
- sisältää
- Mukaan lukien
- henkilökohtainen
- tiedot
- Tietojärjestelmä
- integroitu
- tulee
- kysymykset
- IT
- Job
- Työpaikat
- jpg
- json
- Keras
- lasku
- Landschaft
- laaja
- käynnistää
- kerrokset
- johtava
- oppiminen
- vasemmalle
- Lista
- kuormitus
- kuormat
- paikallinen
- log
- pois
- kone
- koneoppiminen
- tärkein
- huolto
- tehdä
- johto
- johtaja
- monet
- Kartat
- Tavata
- Mellon
- viesti
- Metodologia
- menetelmät
- Metrics
- minimi
- ML
- malli
- mallit
- Moduulit
- seuranta
- lisää
- täytyy
- Navigoida
- suunnistus
- Tarve
- tarpeet
- verkko
- neuroverkkomallien
- numero
- objekti
- of
- on
- ONE
- avata
- avaaminen
- avautuu
- optimointi
- Vaihtoehdot
- or
- Järjestetty
- OS
- Muut
- ulos
- ulostulo
- yleiskatsaus
- sivulla
- pariksi
- lasi
- parametri
- kulkea
- intohimoinen
- polku
- Suorittaa
- Oikeudet
- Lääkealan
- valokuvaus
- Paikka
- Platon
- Platonin tietotieto
- PlatonData
- pelaa
- Ole hyvä
- kytkeä
- liitännäiset
- Suosittu
- Kirje
- voimakas
- valmistelee
- edellinen
- hinta
- ongelmia
- Prosessit
- Tuotteet
- tuotepäällikkö
- tuotanto
- Tuotteemme
- hankkeet
- toimittaa
- tarjoaa
- Python
- pytorch
- nopea
- Suositus
- alue
- poistaa
- edellyttää
- tarvitaan
- palata
- Tuotto
- robotiikka
- Rooli
- RIVI
- sagemaker
- Säästä
- tallentaa
- Koulu
- Tiedemies
- tutkijat
- kuvakaappauksia
- sdk
- Haku
- nähdä
- valittu
- vanhempi
- Sarjat
- Istunto
- setti
- setup
- shouldnt
- näyttää
- Näytä
- Yksinkertainen
- Tuotteemme
- Solving
- standardi
- Alkaa
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- Strateginen
- strategista liiketoimintaa
- rakenne
- studio
- Onnistuneesti
- sviitti
- YHTEENVETO
- Tuetut
- järjestelmä
- järjestelmät
- tavoitteet
- Tehtävä
- tehtävät
- tekniikat
- tensorflow
- Testaus
- että
- -
- heidän
- sitten
- Nämä
- ne
- tätä
- Kautta
- aika
- Aikasarja
- että
- työkalu
- työkalupakki
- työkalut
- ylin
- Juna
- koulutus
- Matkustaminen
- kaksi
- tyyppi
- tyypillinen
- varten
- yliopisto
- käyttämätön
- URL
- käyttää
- käyttäjä
- Käyttäjät
- käyttämällä
- käyttää
- arvo
- eri
- Näytä
- näkymät
- visio
- visualisointi
- haluta
- Tapa..
- we
- kun
- joka
- vaikka
- KUKA
- with
- sisällä
- Referenssit
- toimii
- kirjailija
- Voit
- Sinun
- zephyrnet