Tämän viestin sisältö ja mielipiteet ovat kolmannen osapuolen kirjoittajan omia, eikä AWS ole vastuussa tämän viestin sisällöstä tai oikeellisuudesta.
Kun yhä useammat organisaatiot käyttävät syväoppimistekniikoita, kuten tietokonenäköä ja luonnollisen kielen käsittelyä, koneoppimisen (ML) kehittäjäpersoona tarvitsee skaalautuvaa työkalua kokeiden seurantaan, sukulinjaan ja yhteistyöhön. Kokeiluseuranta sisältää metatietoja, kuten käyttöjärjestelmän, käytetyn infrastruktuurin, kirjaston sekä syöttö- ja lähtötietojoukot, joita seurataan usein laskentataulukolla manuaalisesti. Sukulinjaan kuuluu ML-mallin luomiseen käytettyjen tietojoukkojen, muunnosten ja algoritmien seuranta. Yhteistyö sisältää yhden projektin parissa työskenteleviä ML-kehittäjiä ja myös ML-kehittäjiä, jotka jakavat tuloksiaan ryhmien kesken ja yritysten sidosryhmille – tämä prosessi tehdään yleensä sähköpostitse, kuvakaappauksilla ja PowerPoint-esityksillä.
Tässä viestissä koulutamme mallin tunnistamaan esineitä autonomiseen ajoneuvokäyttöön käyttämällä painoja ja painotuksia (W&B) ja Amazon Sage Maker. Esittelemme, kuinka yhteinen ratkaisu vähentää manuaalista työtä ML-kehittäjälle, lisää mallien kehitysprosessin läpinäkyvyyttä ja mahdollistaa tiimien yhteistyön projekteissa.
Käytämme tätä esimerkkiä Amazon SageMaker Studio jotta voit kokeilla itse.
Yleiskatsaus painoista ja painotuksista
Painot & Biases auttavat ML-tiimejä rakentamaan parempia malleja nopeammin. Vain muutamalla koodirivillä SageMaker-muistikirjassasi voit tehdä virheenkorjauksen, vertailla ja toistaa mallejasi – arkkitehtuuria, hyperparametrejä, git-sitoumuksia, mallien painotuksia, grafiikkasuorittimen käyttöä, tietojoukkoja ja ennusteita – samalla kun teet yhteistyötä joukkuetovereidesi kanssa.
W&B:hen luottaa yli 200,000 XNUMX ML-alan ammattilaista joistakin maailman innovatiivisimmista yrityksistä ja tutkimusorganisaatioista. Jos haluat kokeilla sitä ilmaiseksi, rekisteröidy osoitteessa Painot ja painotuksetTai käydä W&B AWS Marketplace -listaus.
SageMaker Studion käytön aloittaminen
SageMaker Studio on ensimmäinen täysin integroitu kehitysympäristö (IDE) ML:lle. Studio tarjoaa yhden verkkopohjaisen käyttöliittymän, jossa ML-ammattilaiset ja datatieteilijät voivat rakentaa, kouluttaa ja ottaa käyttöön malleja muutamalla napsautuksella, kaikki yhdessä paikassa.
Studion käytön aloittamiseksi tarvitset AWS-tilin ja AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttäjä tai rooli, jolla on oikeudet luoda Studio-verkkotunnus. Viitata Sisääntulo Amazon SageMaker -verkkotunnukseen verkkotunnuksen luomiseen ja Studion dokumentaatio saadaksesi yleiskatsauksen Studion visuaalisen käyttöliittymän ja muistikirjojen käytöstä.
Määritä ympäristö
Tätä viestiä varten olemme kiinnostuneita oman koodimme suorittamisesta, joten tuodaan joitain muistikirjoja GitHubista. Käytämme seuraavaa GitHub repo esimerkkinä, joten ladataan tämä muistikirja.
Voit kloonata arkiston joko päätteen tai Studion käyttöliittymän kautta. Jos haluat kloonata arkiston päätteen kautta, avaa järjestelmäpääte ( filee valikosta, valitse Uusi ja terminaali) ja anna seuraava komento:
Jos haluat kloonata arkiston Studion käyttöliittymästä, katso Kloonaa Git-arkisto SageMaker Studiossa.
Aloita valitsemalla 01_data_processing.ipynb muistikirja. Sinua kehotetaan antamaan ytimen vaihtajakehote. Tämä esimerkki käyttää PyTorchia, joten voimme valita valmiiksi rakennetun PyTorch 1.10 Python 3.8 GPU optimoitu kuva aloittaaksesi muistikirjamme. Näet sovelluksen käynnistyvän, ja kun ydin on valmis, se näyttää ilmentymän tyypin ja ytimen muistikirjan oikeassa yläkulmassa.
Muistikirjamme tarvitsee joitain lisäriippuvuuksia. Tämä arkisto tarjoaa vaatimusten.txt-tiedoston lisäriippuvuuksilla. Suorita ensimmäinen solu asentaaksesi tarvittavat riippuvuudet:
Voit myös luoda elinkaarimäärityksen, joka asentaa paketit automaattisesti aina, kun käynnistät PyTorch-sovelluksen. Katso Räätälöi Amazon SageMaker Studio käyttämällä Lifecycle Configurations -asetuksia ohjeita ja esimerkkitoteutusta.
Käytä painoja ja painotuksia SageMaker Studiossa
Painot ja painot (wandb
) on tavallinen Python-kirjasto. Kun se on asennettu, se on niin helppoa kuin lisätä muutaman rivin koodia harjoitusskriptiin ja olet valmis kirjaamaan kokeita. Olemme jo asentaneet sen vaatimuksemme.txt-tiedostomme kautta. Voit asentaa sen myös manuaalisesti seuraavalla koodilla:
Tapaustutkimus: Autonominen ajoneuvon semanttinen segmentointi
aineisto
Käytämme Cambridge-ajo Labeled Video Database (CamVid) tälle esimerkille. Se sisältää kokoelman videoita, joissa on objektiluokan semanttiset tunnisteet ja metatiedot. Tietokanta tarjoaa perustotuustunnisteita, jotka yhdistävät jokaisen pikselin johonkin 32 semanttisesta luokasta. Voimme versioida tietojoukomme muodossa a wandb.Artefact, jotta voimme viitata siihen myöhemmin. Katso seuraava koodi:
Voit seurata mukana 01_data_processing.ipynb muistikirja.
Kirjaamme myös a taulukko tietojoukosta. Taulukot ovat monipuolisia ja tehokkaita DataFrame-tyyppisiä kokonaisuuksia, joiden avulla voit tehdä kyselyjä ja analysoida taulukkotietoja. Voit ymmärtää tietojoukkojasi, visualisoida malliennusteita ja jakaa oivalluksia keskitetyssä kojetaulussa.
Painot & Biases -taulukot tukevat monia multimediamuotoja, kuten kuva-, ääni- ja aaltomuotoja. Täydellinen luettelo mediamuodoista on kohdassa Tietotyypit.
Seuraavassa kuvakaappauksessa on taulukko, jossa on raakakuvia perustotuussegmentoinneilla. Voit myös katsella an tämän taulukon interaktiivinen versio.
Kouluta malli
Voimme nyt luoda mallin ja harjoitella sitä tietojoukossamme. Käytämme PyTorch ja fastai perustilan nopeaan prototyyppiin ja sen käyttöön wandb.Sweeps
optimoidaksemme hyperparametrimme. Seuraa mukana 02_semantic_segmentation.ipynb muistikirja. Kun tietokonetta avattaessa kehotetaan antamaan ydin, valitse sama ydin ensimmäisestä muistikirjastamme, PyTorch 1.10 Python 3.8 GPU optimoitu. Pakettisi on jo asennettu, koska käytät samaa sovellusta.
Mallin oletetaan oppivan pikselikohtaista merkintää kohtauksesta, joka on kaapattu autonomisen agentin näkökulmasta. Mallin on luokiteltava tai segmentoitava tietyn kohtauksen jokainen pikseli 32 asiaankuuluvaan luokkaan, kuten tie, jalankulku, jalkakäytävä tai autot. Voit valita minkä tahansa taulukon segmentoiduista kuvista ja käyttää tätä interaktiivista käyttöliittymää segmentoinnin tuloksiin ja luokkiin.
Koska fastai kirjastossa on integraatio wandb
, voit yksinkertaisesti ohittaa WandbCallback
Oppijalle:
Perustason kokeissa päätimme käyttää yksinkertaista arkkitehtuuria, joka on saanut inspiraationsa UNet paperia, jossa on eri selkäranka timm. Koulutamme mallejamme Polttoväli kriteerinä. Weights & Biases -asetuksella voit helposti luoda kojetauluja, joissa on yhteenvetoja kokeiluistasi, jotta voit analysoida nopeasti harjoitustuloksia seuraavan kuvakaappauksen mukaisesti. Voit myös tarkastella tätä kojelautaa interaktiivisesti.
Hyperparametrihaku pyyhkäisyillä
Perusmallin suorituskyvyn parantamiseksi meidän on valittava paras malli ja paras joukko opetettavaa hyperparametria. W&B tekee tästä käytöstä helppoa pyyhkäisee.
Suoritamme a Bayesin hyperparametrihaku tavoitteena maksimoida mallin etualalla oleva tarkkuus validointitietojoukossa. Pyyhkäisyä varten määritämme määritystiedoston sweep.yaml. Tämän tiedoston sisällä välitämme halutun menetelmän käytettäväksi: bayes ja parametrit ja niitä vastaavat arvot etsittäväksi. Meidän tapauksessamme kokeilemme erilaisia runkoja, eräkokoja ja häviötoimintoja. Tutkimme myös erilaisia optimointiparametreja, kuten oppimisnopeutta ja painon heikkenemistä. Koska nämä ovat jatkuvia arvoja, otamme näytteen jakaumasta. Niitä on useita konfigurointivaihtoehtoja pyyhkäisyjä varten.
Tämän jälkeen käynnistät pyyhkäisyn terminaalissa käyttämällä wandb-komentorivi:
Ja käynnistä sitten pyyhkäisyagentti tälle koneelle seuraavalla koodilla:
Kun pyyhkäisy on valmis, voimme käyttää rinnakkaista koordinaattikaaviota tutkiaksemme mallien suorituskykyä erilaisilla rungoilla ja erilaisilla hyperparametrijoukoilla. Sen perusteella voimme nähdä, mikä malli toimii parhaiten.
Seuraavassa kuvakaappauksessa näkyy pyyhkäisyjen tulokset, mukaan lukien rinnakkaiskoordinaattikaavio ja parametrien korrelaatiokaaviot. Voit myös tarkastella tätä pyyhkäisymittaristoa interaktiivisesti.
Voimme saada seuraavat keskeiset oivallukset pyyhkäisystä:
- Pienempi oppimisnopeus ja pienempi painon heikkeneminen johtavat parempaan etualan tarkkuuteen ja noppapisteisiin.
- Erän koolla on vahva positiivinen korrelaatio mittareiden kanssa.
- - VGG-pohjaiset runkoverkot ei ehkä ole hyvä vaihtoehto lopullisen mallimme kouluttamiseen, koska ne voivat johtaa a katoava kaltevuus. (Ne suodatetaan pois, kun tappio eroaa.)
- - ResNet runkoverkot johtavat parhaaseen yleiseen suorituskykyyn mittojen suhteen.
- Lopulliseen malliin tulisi valita ResNet34- tai ResNet50-runkoverkko niiden vahvan suorituskyvyn vuoksi.
Data ja malliperintö
W&B-artefaktit on suunniteltu tekemään tietojoukkojen ja mallien versioinnista vaivatonta riippumatta siitä, haluatko tallentaa tiedostosi W&B:hen vai onko sinulla jo ämpäri, jota haluat W&B:n seurattavan. Kun olet seurannut tietojoukkojasi tai mallitiedostojasi, W&B kirjaa automaattisesti lokiin jokaisen muutoksen, jolloin saat täydellisen ja tarkastettavan tiedostojesi muutoshistorian.
Meidän tapauksessamme harjoituksen aikana luodut tietojoukot, mallit ja erilaiset taulukot kirjataan työtilaan. Voit nopeasti tarkastella ja visualisoida tätä sukulinjaa siirtymällä kohtaan Esineet sivu.
Tulkitse mallien ennusteet
Weight & Biases on erityisen hyödyllinen arvioitaessa mallin suorituskykyä käyttämällä tehoa wandb.taulukot visualisoida, missä mallillamme menee huonosti. Tässä tapauksessa olemme erityisen kiinnostuneita tunnistamaan oikein haavoittuvat käyttäjät, kuten polkupyörät ja jalankulkijat.
Kirjasimme ennustetut maskit ja luokkakohtaisen noppapistekertoimen taulukkoon. Sitten suodatimme rivien mukaan, jotka sisälsivät halutut luokat, ja lajittelimme noppapisteiden nousevaan järjestykseen.
Seuraavassa taulukossa suodatamme ensin valitsemalla, missä Dice-pistemäärä on positiivinen (jalankulkijat ovat läsnä kuvassa). Sitten lajittelemme nousevaan järjestykseen tunnistaaksemme huonoimmin havaitut jalankulkijamme. Muista, että Dice-pistemäärä, joka on yhtä suuri kuin yksi, tarkoittaa jalankulkijaluokan oikeaa segmentointia. Voit myös tarkastella tätä taulukkoa interaktiivisesti.
Voimme toistaa tämän analyysin muiden haavoittuvien luokkien, kuten polkupyörien tai liikennevalojen, kanssa.
Tämä ominaisuus on erittäin hyvä tapa tunnistaa kuvat, joita ei ole merkitty oikein, ja merkitä ne uudelleen huomautuksia varten.
Yhteenveto
Tämä viesti esitteli Weights & Biases MLOps -alustan, kuinka W&B määritetään SageMaker Studiossa ja miten johdattelevaa muistikirjaa käytetään yhteisratkaisusta. Sitten käytiin läpi autonomisen ajoneuvon semanttisen segmentoinnin käyttötapauksen ja esitimme seurantaharjoituksia W&B-kokeiluilla, hyperparametrien optimoinnilla W&B-pyyhkäisyillä ja tulosten tulkinnalla W&B-taulukoiden avulla.
Jos olet kiinnostunut oppimaan lisää, pääset mukaan livenä W&B raportti. Jos haluat kokeilla Weights & Biases -sovellusta ilmaiseksi, rekisteröidy osoitteessa Painot ja painotuksetTai käydä W&B AWS Marketplace -listaus.
Tietoja Tekijät
Thomas Capelle on koneoppimisinsinööri painojen ja harhojen alalla. Hän on vastuussa www.github.com/wandb/examples -tietovaraston pitämisestä käytössä ja ajan tasalla. Hän rakentaa myös sisältöä MLOPS:iin, W&B:n sovelluksiin teollisuuteen ja hauskaan syvälliseen oppimiseen yleensä. Aiemmin hän käytti syväoppimista ratkaistakseen aurinkoenergian lyhyen aikavälin ennusteita. Hänellä on tausta kaupunkisuunnittelusta, kombinatorisesta optimoinnista, liikennetaloudesta ja sovelletusta matematiikasta.
Durga Sury on ML Solutions -arkkitehti Amazon SageMaker Service SA -tiimissä. Hän haluaa tehdä koneoppimisesta kaikkien ulottuville. Kolmen vuoden aikana AWS:ssä hän on auttanut luomaan AI/ML-alustoja yritysasiakkaille. Kun hän ei ole töissä, hän rakastaa moottoripyöräilyä, mysteeriromaaneja ja patikointia nelivuotiaan huskynsa kanssa.
Karthik Bharathy on Amazon SageMakerin tuotejohtaja, jolla on yli vuosikymmenen kokemus tuotehallinnasta, tuotestrategiasta, toteutuksesta ja lanseerauksesta.
- Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
- CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
- Lähde: https://aws.amazon.com/blogs/machine-learning/improve-ml-developer-productivity-with-weights-biases-a-computer-vision-example-on-amazon-sagemaker/
- "
- &
- 000
- 10
- 100
- a
- Meistä
- pääsy
- saatavilla
- Pääsy
- Tili
- poikki
- lisä-
- AI
- algoritmit
- Kaikki
- jo
- Amazon
- analyysi
- analysoida
- sovelluksen
- sovellukset
- sovellettu
- arkkitehtuuri
- noin
- Työtoveri
- audio-
- automaattisesti
- autonominen
- saatavissa
- AWS
- tausta
- Lähtötilanne
- koska
- PARAS
- rakentaa
- rakentaa
- liiketoiminta
- autot
- tapaus
- keskeinen
- Kaaviot
- Valita
- valittu
- luokka
- luokat
- koodi
- tehdä yhteistyötä
- yhteistyössä
- yhteistyö
- kokoelma
- Yritykset
- täydellinen
- tietokone
- Konfigurointi
- sisältää
- pitoisuus
- vastaava
- luoda
- luo
- Asiakkaat
- kojelauta
- tiedot
- tietokanta
- vuosikymmen
- päätti
- syvä
- osoittivat
- sijoittaa
- suunniteltu
- Kehittäjä
- kehittäjille
- Kehitys
- eri
- jakelu
- verkkotunnuksen
- aikana
- kukin
- helposti
- Taloustiede
- mahdollistaa
- mahdollistaa
- energia
- insinööri
- enter
- yritys
- yksiköt
- ympäristö
- erityisesti
- jokainen
- esimerkki
- teloitus
- experience
- kokeilu
- tutkia
- FAST
- nopeampi
- Ominaisuus
- Etunimi
- seurata
- jälkeen
- Ilmainen
- alkaen
- koko
- hauska
- tehtävät
- general
- syntyy
- mennä
- GitHub
- Antaminen
- tavoite
- menee
- hyvä
- GPU
- auttanut
- auttaa
- historia
- Miten
- Miten
- HTTPS
- tunnistaa
- tunnistaminen
- Identiteetti
- kuva
- kuvien
- täytäntöönpano
- parantaa
- sisältää
- Mukaan lukien
- teollisuuden
- Infrastruktuuri
- innovatiivinen
- panos
- oivalluksia
- innoittamana
- asentaa
- esimerkki
- integroitu
- integraatio
- vuorovaikutteinen
- kiinnostunut
- liitäntä
- alustava
- IT
- Pitää
- pito
- avain
- tarrat
- Kieli
- käynnistää
- johtaja
- OPPIA
- oppiminen
- Kirjasto
- linjat
- Lista
- elää
- kuormitus
- kone
- koneoppiminen
- tehdä
- TEE
- Tekeminen
- johto
- manuaalinen
- ruumiillinen työ
- käsin
- markkinat
- Maskit
- matematiikka
- välineet
- Media
- Metrics
- ehkä
- mielessä
- ML
- malli
- mallit
- lisää
- eniten
- moottoripyörä
- moninkertainen
- Mysteeri
- Luonnollinen
- tarpeet
- muistikirja
- avata
- avaaminen
- toiminta
- käyttöjärjestelmän
- Lausunnot
- optimointi
- Optimoida
- Vaihtoehto
- Vaihtoehdot
- tilata
- organisaatioiden
- Muut
- yleinen
- oma
- Paperi
- erityisesti
- intohimoinen
- suorituskyky
- Esitykset
- suunnittelu
- foorumi
- Platforms
- Kohta
- Näkökulma
- positiivinen
- teho
- voimakas
- Ennusteet
- esittää
- Esitykset
- prosessi
- käsittely
- Tuotteet
- tuotehallinta
- tuottavuus
- projekti
- hankkeet
- tarjoaa
- nopeasti
- raaka
- merkityksellinen
- toistaa
- säilytyspaikka
- tarvitaan
- vaatimukset
- tutkimus
- vastuullinen
- Saatu ja
- tulokset
- tie
- Rooli
- ajaa
- juoksu
- sama
- skaalautuva
- kohtaus
- tutkijat
- Haku
- segmentti
- jakautuminen
- palvelu
- setti
- Jaa:
- jakaminen
- Lyhytaikainen
- näyteikkuna
- esitetty
- merkki
- Yksinkertainen
- single
- Koko
- So
- aurinko-
- aurinkoenergia
- ratkaisu
- Ratkaisumme
- SOLVE
- jonkin verran
- standardi
- Alkaa
- alkoi
- verkkokaupasta
- Strategia
- vahva
- studio
- tutkimus
- tuki
- Sweep
- järjestelmä
- joukkue-
- tiimit
- tekniikat
- terminaali
- ehdot
- -
- nivel
- maailma
- kolmannen osapuolen
- Kautta
- aika
- ylin
- raita
- Seuranta
- liikenne
- koulutus
- muunnokset
- Läpinäkyvyys
- luotettu
- ui
- ymmärtää
- kaupunki-
- us
- käyttää
- Käyttäjät
- validointi
- arvo
- eri
- ajoneuvo
- versio
- Video
- Videoita
- Näytä
- visio
- Haavoittuva
- Web-pohjainen
- onko
- vaikka
- wikipedia
- Referenssit
- työskentely
- maailman-
- vuotta
- Sinun