Tegenwoordig moeten datawetenschappers die deep learning-modellen trainen, problemen met modeltraining identificeren en oplossen om te voldoen aan de nauwkeurigheidsdoelen voor productie-implementatie, en hebben ze een manier nodig om standaardtools te gebruiken voor het debuggen van modeltraining. Onder de datawetenschappergemeenschap is TensorBoard een populaire toolkit waarmee datawetenschappers verschillende aspecten van hun machine learning (ML)-modellen en trainingsprocessen kunnen visualiseren en analyseren. Het biedt een reeks tools voor het visualiseren van trainingsstatistieken, het onderzoeken van modelarchitecturen, het verkennen van inbeddingen en meer. TensorFlow- en PyTorch-projecten onderschrijven en gebruiken TensorBoard beide in hun officiële documentatie en voorbeelden.
Amazon Sage Maker met TensorBoard is een mogelijkheid die de visualisatietools van TensorBoard naar SageMaker brengt. Geïntegreerd met SageMaker-trainingstaken en -domeinen, biedt het SageMaker-domeingebruikers toegang tot de TensorBoard-gegevens en helpt het domeingebruikers bij het uitvoeren van modelfoutopsporingstaken met behulp van de SageMaker TensorBoard-visualisatieplug-ins. Wanneer ze een SageMaker-trainingstaak maken, kunnen domeingebruikers TensorBoard gebruiken met behulp van de SageMaker Python SDK of Boto3 API. SageMaker met TensorBoard wordt ondersteund door de SageMaker Data Manager-plug-in, waarmee domeingebruikers toegang hebben tot veel trainingstaken op één plek binnen de TensorBoard-applicatie.
In dit bericht laten we zien hoe u een trainingstaak opzet met TensorBoard in SageMaker met behulp van de SageMaker Python SDK, toegang krijgt tot SageMaker TensorBoard, trainingsuitvoergegevens bekijkt die in TensorBoard zijn gevisualiseerd en ongebruikte TensorBoard-applicaties verwijdert.
Overzicht oplossingen
Een typische trainingstaak voor diep leren in SageMaker bestaat uit twee hoofdstappen: het voorbereiden van een trainingsscript en het configureren van een SageMaker-trainingstaakstarter. In dit bericht leiden we u door de vereiste wijzigingen om TensorBoard-compatibele gegevens van SageMaker-training te verzamelen.
Voorwaarden
Om SageMaker met TensorBoard te gaan gebruiken, moet u een SageMaker-domein opzetten met een Amazon VPC onder een AWS-account. Domeingebruikersprofielen voor elke individuele gebruiker zijn vereist om toegang te krijgen tot TensorBoard op SageMaker, en de AWS Identiteits- en toegangsbeheer (IAM)-uitvoeringsrol heeft een minimale set machtigingen nodig, waaronder de volgende:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:Search
s3:GetObject
s3:ListBucket
Zie voor meer informatie over het instellen van SageMaker Domain en gebruikersprofielen Aan boord van Amazon SageMaker Domain met behulp van Snelle installatie en Gebruikersprofielen toevoegen en verwijderen.
directory-structuur
Tijdens gebruik Amazon SageMaker Studio, kan de mappenstructuur als volgt worden georganiseerd:
Hier script/train.py
is je trainingsscript, en simple_tensorboard.ipynb
start de SageMaker-trainingstaak.
Wijzig uw trainingsscript
U kunt elk van de volgende tools gebruiken om tensoren en scalaire waarden te verzamelen: TensorBoardX, TensorFlow Summary Writer, PyTorch Summary Writer of Amazon SageMaker-foutopsporingen geef het gegevensuitvoerpad op als de logdirectory in de trainingscontainer (log_dir
). In deze voorbeeldcode gebruiken we TensorFlow om een eenvoudig, volledig verbonden neuraal netwerk te trainen voor een classificatietaak. Voor andere opties, zie Bereid een trainingstaak voor met een configuratie van TensorBoard-uitvoergegevens. In de train()
functie gebruiken we de tensorflow.keras.callbacks
.TensorBoard-tool om tensoren en scalaire waarden te verzamelen, specificeer /opt/ml/output/tensorboard
als de logdirectory in de trainingscontainer en geef deze door aan het argument training callbacks modelleren. Zie de volgende code:
Bouw een SageMaker-trainingsstarter met een TensorBoard-gegevensconfiguratie
Gebruik sagemaker.debugger.TensorBoardOutputConfig tijdens het configureren van een SageMaker-raamwerkschatter, die de Amazon eenvoudige opslagservice (Amazon S3) bucket die u opgeeft voor het opslaan van TensorBoard-gegevens met het lokale pad in de trainingscontainer (bijvoorbeeld /opt/ml/output/tensorboard
). U kunt een ander lokaal uitvoerpad voor de container gebruiken. Het moet echter in overeenstemming zijn met de waarde van de LOG_DIR
variabele, zoals gespecificeerd in de vorige stap, om SageMaker met succes het lokale pad in de trainingscontainer te laten doorzoeken en de TensorBoard-gegevens op te slaan in de S3-uitvoerbucket.
Geef vervolgens het object van de module door aan de tensorboard_output_config
parameter van de schatterklasse. Het volgende codefragment toont een voorbeeld van het voorbereiden van een TensorFlow-schatter met de TensorBoard-uitvoerconfiguratieparameter.
Het volgende is de standaardcode:
De volgende code is voor de trainingscontainer:
De volgende code is de TensorBoard-configuratie:
Start de trainingstaak met de volgende code:
Toegang tot TensorBoard op SageMaker
U kunt op twee manieren toegang krijgen tot TensorBoard: programmatisch met behulp van de sagemaker.interactive_apps.tensorboard
module die de URL genereert of de TensorBoard-bestemmingspagina op de SageMaker-console gebruikt. Nadat u TensorBoard hebt geopend, voert SageMaker de TensorBoard-plug-in uit en vindt en laadt automatisch alle trainingstaakuitvoergegevens in een TensorBoard-compatibel bestandsformaat van S3-buckets gekoppeld aan trainingstaken tijdens of na de training.
De volgende code genereert automatisch de URL naar de landingspagina van de TensorBoard-console:
Dit retourneert het volgende bericht met een URL die de TensorBoard-bestemmingspagina opent.
Raadpleeg voor het openen van TensorBoard vanuit de SageMaker-console Hoe toegang te krijgen tot TensorBoard op SageMaker.
Wanneer u de TensorBoard-toepassing opent, wordt TensorBoard geopend met de SageMaker-gegevensbeheer tabblad. De volgende schermafbeelding toont de volledige weergave van de SageMaker-gegevensbeheer tabblad in de TensorBoard-toepassing.
Op de SageMaker-gegevensbeheer tabblad, kunt u elke trainingstaak selecteren en TensorBoard-compatibele trainingsoutputgegevens van Amazon S3 laden.
- In het Trainingstaak toevoegen sectie, gebruik de selectievakjes om trainingstaken te kiezen waaruit u gegevens wilt ophalen en visualiseren voor foutopsporing.
- Kies Voeg geselecteerde vacatures toe.
De geselecteerde taken zouden moeten verschijnen in het Bijgehouden trainingsbanen pagina.
Vernieuw de viewer door het pictogram Vernieuwen in de rechterbovenhoek te kiezen en de visualisatietabbladen zouden moeten verschijnen nadat de taakgegevens met succes zijn geladen.
Verken trainingsoutputgegevens gevisualiseerd in TensorBoard
Op de Tijdreeksen tabblad en andere op afbeeldingen gebaseerde tabbladen, kunt u de lijst met Bijgehouden trainingsbanen in het linkerdeelvenster. U kunt ook de selectievakjes van de trainingstaken gebruiken om visualisaties weer te geven of te verbergen. De dynamische plug-ins van TensorBoard worden dynamisch geactiveerd, afhankelijk van hoe u uw trainingsscript hebt ingesteld om samenvattende schrijvers op te nemen en callbacks door te geven voor tensor- en scalaire verzameling, en de grafische tabbladen verschijnen ook dynamisch. De volgende schermafbeeldingen tonen voorbeeldweergaven van elk tabblad met visualisaties van de verzamelde statistieken van twee trainingstaken. De statistieken omvatten plug-ins voor tijdreeksen, scalairen, grafieken, distributie en histogrammen.
De volgende schermafbeelding is de Tijdreeksen tabblad weergave.
De volgende schermafbeelding is de scalaires tabblad weergave.
De volgende schermafbeelding is de Grafieken tabblad weergave.
De volgende schermafbeelding is de uitkeringen tabblad weergave.
De volgende schermafbeelding is de Histogrammen tabblad weergave.
Opruimen
Nadat u klaar bent met het monitoren en experimenteren met taken in TensorBoard, sluit u de TensorBoard-toepassing af:
- Kies op de SageMaker-console domeinen in het navigatievenster.
- Kies uw domein.
- Kies uw gebruikersprofiel.
- Onder Apps, kiezen App verwijderen voor de TensorBoard-rij.
- Kies Ja, app verwijderen.
- Typ delete in het tekstvak en kies vervolgens Verwijder.
Bovenaan de pagina zou een bericht moeten verschijnen: "Standaard wordt verwijderd".
Conclusie
TensorBoard is een krachtige tool voor het visualiseren, analyseren en debuggen van deep learning-modellen. In dit bericht geven we een handleiding voor het gebruik van SageMaker met TensorBoard, inclusief het instellen van TensorBoard in een SageMaker-trainingstaak met behulp van de SageMaker Python SDK, toegang krijgen tot SageMaker TensorBoard, trainingsoutputgegevens bekijken die in TensorBoard zijn gevisualiseerd en ongebruikte TensorBoard-applicaties verwijderen. Door deze stappen te volgen, kunt u TensorBoard in SageMaker gaan gebruiken voor uw werk.
We moedigen u aan om te experimenteren met verschillende functies en technieken.
Over de auteurs
Dr. Baichuan Zon is Senior Data Scientist bij AWS AI/ML. Hij heeft een passie voor het oplossen van strategische zakelijke problemen met klanten met behulp van datagestuurde methodologie in de cloud, en hij heeft projecten geleid op uitdagende gebieden, waaronder robotica, computervisie, voorspelling van tijdreeksen, prijsoptimalisatie, voorspellend onderhoud, farmaceutische ontwikkeling, productaanbevelingssysteem, enz. In zijn vrije tijd houdt hij van reizen en uitgaan met familie.
Manoj Ravi is Senior Product Manager voor Amazon SageMaker. Hij is gepassioneerd door het bouwen van next-gen AI-producten en werkt aan software en tools om grootschalige machine learning makkelijker te maken voor klanten. Hij heeft een MBA van de Haas School of Business en een Master in Information Systems Management van de Carnegie Mellon University. In zijn vrije tijd speelt Manoj graag tennis en houdt hij zich bezig met landschapsfotografie.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
- De toekomst slaan met Adryenn Ashley. Toegang hier.
- Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-with-tensorboard-overview-of-a-hosted-tensorboard-experience/
- : heeft
- :is
- $UP
- 1
- 10
- 100
- 11
- 15%
- 26%
- 28
- 7
- 8
- 9
- a
- Over
- toegang
- Account
- nauwkeurigheid
- Adam
- Na
- AI
- AI / ML
- Alles
- toestaat
- ook
- Amazone
- Amazon Sage Maker
- onder
- an
- analyseren
- het analyseren van
- en
- elke
- api
- gebruiken
- verschijnen
- Aanvraag
- toepassingen
- ZIJN
- gebieden
- argument
- AS
- aspecten
- At
- webmaster.
- AWS
- BE
- geweest
- wezen
- zowel
- Box camera's
- dozen
- Brengt
- Gebouw
- bedrijfsdeskundigen
- by
- CAN
- Carnegie Mellon
- uitdagend
- Wijzigingen
- controle
- Kies
- het kiezen van
- klasse
- Cloud
- code
- verzamelen
- Collectie
- gemeenschap
- computer
- Computer visie
- Configuratie
- gekoppeld blijven
- consequent
- troosten
- Containers
- Hoek
- en je merk te creëren
- Klanten
- gegevens
- data scientist
- Gegevensgestuurde
- datasets
- datetime
- deep
- diepgaand leren
- tonen
- Afhankelijk
- inzet
- Ontwikkeling
- distributie
- documentatie
- domein
- domeinen
- gedaan
- beneden
- gedurende
- dynamisch
- dynamisch
- elk
- gemakkelijker
- anders
- aanmoedigen
- onderschreven
- tijdperken
- etc
- geëvalueerd
- Onderzoeken
- voorbeeld
- voorbeelden
- uitvoering
- ervaring
- experiment
- Verken
- Verkennen
- familie
- Voordelen
- geschikt
- volgend
- volgt
- Voor
- formaat
- Achtergrond
- oppompen van
- vol
- geheel
- functie
- genereert
- diagram
- grafiek
- gids
- Hebben
- he
- helpt
- Verbergen
- zijn
- houdt
- gehost
- Hoe
- How To
- Echter
- HTML
- http
- HTTPS
- ICON
- identificeren
- Identiteit
- if
- importeren
- in
- omvatten
- Inclusief
- individueel
- informatie
- Informatie Systemen
- geïntegreerde
- in
- problemen
- IT
- Jobomschrijving:
- Vacatures
- jpg
- json
- Keras
- landing
- Landschap
- grootschalig
- lanceert
- Legkippen
- leidend
- leren
- links
- Lijst
- laden
- ladingen
- lokaal
- inloggen
- uit
- machine
- machine learning
- Hoofd
- onderhoud
- maken
- management
- manager
- veel
- Maps
- Maak kennis met
- Mellon
- Bericht
- Methodologie
- methoden
- Metriek
- minimum
- ML
- model
- modellen
- Module
- Grensverkeer
- meer
- Dan moet je
- OP DEZE WEBSITE VIND JE
- Navigatie
- Noodzaak
- behoeften
- netwerk
- neuraal netwerk
- aantal
- object
- of
- on
- EEN
- open
- opening
- opent
- optimalisatie
- Opties
- or
- Georganiseerd
- OS
- Overige
- uit
- uitgang
- overzicht
- pagina
- gepaarde
- brood
- parameter
- passeren
- hartstochtelijk
- pad
- Uitvoeren
- permissies
- Farmaceutisch
- fotografie
- plaats
- Plato
- Plato gegevensintelligentie
- PlatoData
- spelen
- dan
- inpluggen
- plugins
- Populair
- Post
- krachtige
- voorbereiding
- vorig
- prijs
- problemen
- processen
- Product
- product manager
- productie
- Producten
- projecten
- zorgen voor
- biedt
- Python
- pytorch
- Quick
- Aanbeveling
- regio
- verwijderen
- vereisen
- nodig
- terugkeer
- Retourneren
- robotica
- Rol
- RIJ
- sagemaker
- Bespaar
- besparing
- School
- Wetenschapper
- wetenschappers
- screenshots
- sdk
- Ontdek
- zien
- gekozen
- senior
- -Series
- Sessie
- reeks
- setup
- moet
- tonen
- Shows
- Eenvoudig
- Software
- Het oplossen van
- standaard
- begin
- Stap voor
- Stappen
- mediaopslag
- shop
- strategisch
- strategisch bedrijf
- structuur
- studio
- Met goed gevolg
- suite
- OVERZICHT
- ondersteunde
- system
- Systems
- doelen
- Taak
- taken
- technieken
- tensorflow
- Testen
- dat
- De
- hun
- harte
- Deze
- ze
- dit
- Door
- niet de tijd of
- Tijdreeksen
- naar
- tools
- toolkit
- tools
- top
- Trainen
- Trainingen
- Reizend
- twee
- type dan:
- typisch
- voor
- universiteit-
- ongebruikt
- URL
- .
- Gebruiker
- gebruikers
- gebruik
- gebruik maken van
- waarde
- divers
- Bekijk
- .
- visie
- visualisatie
- willen
- Manier..
- we
- wanneer
- welke
- en
- WIE
- Met
- binnen
- Mijn werk
- Bedrijven
- schrijver
- You
- Your
- zephyrnet