Koneoppimiskokeilujen (ML) suorittaminen pilvessä voi kattaa monia palveluita ja komponentteja. Kyky jäsentää, automatisoida ja seurata ML-kokeita on välttämätöntä ML-mallien nopean kehityksen mahdollistamiseksi. Automaattisen koneoppimisen (AutoML) alan uusimpien edistysaskeleiden, nimittäin ML-prosessien automatisointiin omistetun ML-alueen, avulla voit rakentaa tarkkoja päätöksentekomalleja ilman syvällistä ML-tietoa. Tässä viestissä tarkastelemme AutoGluonia, avoimen lähdekoodin AutoML-kehystä, jonka avulla voit rakentaa tarkkoja ML-malleja vain muutamalla Python-rivillä.
AWS tarjoaa laajan valikoiman palveluita ML-työnkulkujen hallintaan ja suorittamiseen, joten voit valita ratkaisun osaamisesi ja sovelluksesi perusteella. Esimerkiksi jos käytät jo AWS-vaihetoiminnot Hajautettujen sovellusten komponenttien organisoimiseksi voit käyttää samaa palvelua ML-työnkulkujen rakentamiseen ja automatisointiin. Muita AWS:n tarjoamia MLOps-työkaluja ovat mm Amazon SageMaker -putkistot, jonka avulla voit rakentaa ML-malleja Amazon SageMaker Studio MLOps-ominaisuuksilla (kuten CI/CD-yhteensopivuus, mallin valvonta ja mallien hyväksynnät). Avoimen lähdekoodin työkalut, kuten apache-ilmavirta-saatavilla AWS:stä kautta Amazonin hallinnoidut työnkulut Apache Airflowlle-ja KubeFlow, sekä hybridiratkaisut ovat myös tuettuja. Voit esimerkiksi hallita tietojen keräämistä ja käsittelyä Step Functions -toiminnolla samalla, kun harjoitat ja otat käyttöön ML-mallejasi SageMaker Pipelinesin avulla.
Tässä viestissä näytämme, kuinka jopa kehittäjät, joilla ei ole ML-asiantuntemusta, voivat helposti rakentaa ja ylläpitää huippuluokan ML-malleja käyttämällä AutoGluonia on Amazon Sage Maker ja Step Functions työnkulun komponenttien organisoimiseksi.
AutoGluon-algoritmin yleiskatsauksen jälkeen esittelemme työnkulun määritelmät sekä esimerkit ja koodin opetusohjelma joita voit soveltaa omiin tietoihisi.
AutoGluon
AutoGluon on avoimen lähdekoodin AutoML-kehys, joka nopeuttaa ML:n käyttöönottoa kouluttamalla tarkkoja ML-malleja vain muutamalla Python-koodirivillä. Vaikka tämä viesti keskittyy taulukkotietoihin, AutoGluon antaa sinun myös kouluttaa uusimpia malleja kuvien luokitteluun, objektien havaitsemiseen ja tekstin luokitteluun. AutoGluon tablear luo ja yhdistää erilaisia malleja löytääkseen optimaalisen ratkaisun.
AWS:n AutoGluon-tiimi julkaisi a paperi joka esittelee kirjaston rakenteelliset periaatteet:
- Yksinkertaisuus – Voit luoda luokittelu- ja regressiomalleja suoraan raakatiedoista ilman, että sinun tarvitsee analysoida tietoja tai suorittaa ominaisuussuunnittelua
- kestävyys – Kokonaisharjoitteluprosessin pitäisi onnistua, vaikka jotkin yksittäiset mallit epäonnistuisivat
- Ennustettava ajoitus – Saat optimaaliset tulokset ajassa, jonka haluat sijoittaa harjoitteluun
- Vikasietoisuus - Voit keskeyttää harjoittelun ja jatkaa sitä milloin tahansa, mikä optimoi kustannukset, jos prosessi suoritetaan pistekuvilla pilvessä
Lisätietoja algoritmista on kohdassa paperi julkaisi AWS:n AutoGluon-tiimi.
Kun olet asentanut AutoGluon paketti ja sen riippuvuuksista mallin kouluttaminen on yhtä helppoa kuin kolmen koodirivin kirjoittaminen:
AutoGluon-tiimi osoitti kehyksen vahvuuden saavuttamalla 10 parhaan tulostaulukon useissa Kaggle-kilpailuissa.
Ratkaisun yleiskatsaus
Käytämme Step Functions -toimintoja toteuttaaksemme ML-työnkulun, joka kattaa koulutuksen, arvioinnin ja käyttöönoton. Liukulinjan suunnittelu mahdollistaa nopeat ja konfiguroitavat kokeilut muokkaamalla syöttöparametreja, jotka syötät liukuhihnaan suorituksen aikana.
Voit määrittää putkilinjan toteuttamaan erilaisia työnkulkuja, kuten seuraavat:
- Kouluta uusi ML-malli ja tallenna se SageMaker-mallirekisteriin, jos käyttöönottoa ei tässä vaiheessa tarvita
- Ota käyttöön esikoulutettu ML-malli joko verkossa (SageMaker-päätepiste) tai offline-tilassa (SageMaker-erämuunnos) johtopäätös
- Suorita täydellinen putki kouluttaaksesi, arvioidaksesi ja ottaaksesi käyttöön ML-mallin tyhjästä
Ratkaisut koostuvat yleisestä valtion kone (katso seuraava kaavio), joka järjestää suoritettavat toiminnot syöteparametrijoukon perusteella.
Tilakoneen vaiheet ovat seuraavat:
- Ensimmäinen vaihe
IsTraining
päättää, käytämmekö esikoulutettua mallia vai opetamme mallia tyhjästä. Jos käytät esikoulutettua mallia, tilakone siirtyy vaiheeseen 7. - Kun uusi ML-malli tarvitaan,
TrainSteps
laukaisee toisen tilakoneen, joka suorittaa kaikki tarvittavat toiminnot ja palauttaa tuloksen nykyiseen tilakoneeseen. Käsittelemme harjoitustilakonetta tarkemmin seuraavassa osiossa. - Kun koulutus on päättynyt,
PassModelName
tallentaa koulutustyön nimen tilakonekontekstin määritettyyn paikkaan käytettäväksi uudelleen seuraavissa tiloissa. - Jos arviointivaihe valitaan,
IsEvaluation
ohjaa tilakoneen kohti arviointihaaraa. Muussa tapauksessa se siirtyy vaiheeseen 7. - Arviointivaihe toteutetaan sitten käyttämällä a AWS Lambda -toiminnon kutsuma
ModelValidation
askel. Lambda-toiminto noutaa mallin suorituskykyä testijoukossa ja vertaa sitä käyttäjän määritettävään syöttöparametreissa määritettyyn kynnykseen. Seuraava koodi on esimerkki arviointituloksista: - Jos mallin arviointi klo
EvaluationResults
onnistuu, tilakone jatkaa mahdollisilla käyttöönottovaiheilla. Jos malli toimii alle käyttäjän määrittämien ehtojen, tilakone pysähtyy ja käyttöönotto ohitetaan. - Jos käyttöönotto valitaan,
IsDeploy
käynnistää kolmannen tilan koneen kauttaDeploySteps
, jota kuvailemme myöhemmin tässä viestissä. Jos käyttöönottoa ei tarvita, tilakone pysähtyy tähän.
Joukko syöttöparametrinäytteitä on saatavilla osoitteessa GitHub repo.
Koulutustilakone
Tilakone uuden ML-mallin kouluttamiseksi AutoGluonilla koostuu kahdesta vaiheesta, kuten seuraavassa kaaviossa on kuvattu. Ensimmäinen askel on SageMaker-koulutustyö, joka luo mallin. Toinen tallentaa merkinnät SageMaker-mallirekisteriin.
Voit suorittaa nämä vaiheet joko automaattisesti osana päätilakonetta tai itsenäisenä prosessina.
Käyttöönottotilan kone
Katsotaan nyt käyttöönottovaiheelle omistettua tilakonetta (katso seuraava kaavio). Kuten aiemmin mainittiin, arkkitehtuuri tukee sekä online- että offline-käyttöönottoa. Edellinen koostuu SageMaker-päätepisteen käyttöönotosta, kun taas jälkimmäinen suorittaa SageMaker-erämuunnostyön.
Toteutusvaiheet ovat seuraavat:
ChoiceDeploymentMode
tutkii syöttöparametreja määrittääkseen, mikä käyttöönottotila tarvitaan, ja ohjaa tilakoneen vastaavaa haaraa kohti.- Jos päätepiste valitaan,
EndpointConfig
vaihe määrittää sen kokoonpanon, kunCreateEndpoint
aloittaa tarvittavien laskentaresurssien allokoinnin. Tämä allokointi voi kestää useita minuutteja, joten tilakone pysähtyy kloWaitForEndpoint
ja käyttää lambda-funktiota päätepisteen tilan kyselyyn. - Kun päätepistettä määritetään,
ChoiceEndpointStatus
palaaWaitForEndpoint
tilassa, muuten se jatkaa jokoDeploymentFailed
orDeploymentSucceeded
. - Jos offline-käyttöönotto on valittuna, tilakone suorittaa SageMaker-erämuunnostyön, jonka jälkeen tilakone pysähtyy.
Yhteenveto
Tämä viesti esittelee helppokäyttöisen putkilinjan AutoML-työnkulkujen organisoimiseksi ja nopeat kokeilut pilvessä, mikä mahdollistaa tarkkojen ML-ratkaisujen vaatimatta kehittynyttä ML-tietoa.
Tarjoamme yleisen putkilinjan sekä kaksi modulaarista putkistoa, joiden avulla voit tarvittaessa suorittaa koulutuksen ja käyttöönoton erikseen. Lisäksi ratkaisu on täysin integroitu SageMakeriin, mikä hyötyy sen ominaisuuksista ja laskentaresursseista.
Aloita nyt tämän kanssa koodin opetusohjelma ottaaksesi tässä viestissä esitetyt resurssit käyttöön AWS-tilillesi ja suorittaaksesi ensimmäiset AutoML-kokeilusi.
Tietoja Tekijät
Federico Piccinini on syväoppiva arkkitehti Amazon Machine Learning Solutions Labissa. Hän on intohimoinen koneoppimisesta, selitettävistä tekoälystä ja MLOpsista. Hän keskittyy ML-putkien suunnitteluun AWS-asiakkaille. Työn ulkopuolella hän pitää urheilusta ja pizzasta.
Paolo Irrera on tietotutkija Amazon Machine Learning Solutions Labissa, jossa hän auttaa asiakkaita ratkaisemaan ML- ja pilvitoimintoihin liittyviä liiketoimintaongelmia. Hän on väitellyt tohtorintutkintoon tietokonenäöstä Telecom ParisTechistä, Pariisista.
- Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
- CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
- Lähde: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- kyky
- Meistä
- Tili
- tarkka
- poikki
- toimet
- osoite
- Hyväksyminen
- kehittynyt
- edistysaskeleet
- AI
- algoritmi
- Kaikki
- jako
- Salliminen
- mahdollistaa
- jo
- Vaikka
- Amazon
- analysoida
- Hakemus
- sovellukset
- käyttää
- arkkitehtuuri
- ALUE
- automatisoida
- Automatisoitu
- automaattisesti
- Automaatio
- saatavissa
- AWS
- ovat
- alle
- rakentaa
- liiketoiminta
- Voi saada
- kyvyt
- valittu
- luokittelu
- pilvi
- koodi
- yhteensopivuus
- Kilpailut
- täydellinen
- osat
- tietokone
- tietojenkäsittely
- Konfigurointi
- jatkuu
- vastaava
- kustannukset
- luoda
- luo
- kriteerit
- Nykyinen
- Nykyinen tila
- Asiakkaat
- tiedot
- tietojen tutkija
- omistautunut
- syvä
- sijoittaa
- levityspinnalta
- käyttöönotto
- kuvata
- Malli
- suunnittelu
- yksityiskohta
- yksityiskohdat
- Detection
- kehittäjille
- Kehitys
- eri
- suoraan
- jaettu
- helposti
- helppo käyttää
- mahdollistaa
- mahdollistaa
- päätepiste
- olennainen
- arvioida
- arviointi
- esimerkki
- Esimerkit
- asiantuntemus
- FAST
- Ominaisuus
- Ominaisuudet
- Etunimi
- keskittyy
- jälkeen
- seuraa
- Puitteet
- alkaen
- toiminto
- tehtävät
- general
- ottaa
- auttaa
- tätä
- pitää
- Miten
- HTTPS
- Hybridi
- kuva
- kuvien
- toteuttaa
- täytäntöönpano
- täytäntöön
- sisältää
- henkilökohtainen
- panos
- asentaa
- integroitu
- IT
- Job
- tuntemus
- laboratorio
- uusin
- oppiminen
- Kirjasto
- linjat
- sijainti
- katso
- kone
- koneoppiminen
- ylläpitää
- hoitaa
- onnistui
- mainitsi
- ML
- malli
- mallit
- modulaarinen
- seuranta
- lisää
- moninkertainen
- nimittäin
- välttämätön
- tarvitsevat
- seuraava
- tarjotaan
- Tarjoukset
- offline
- verkossa
- Muut
- muuten
- yleinen
- oma
- Pariisi
- osa
- intohimoinen
- Esitykset
- esittävä
- vaihe
- Pizza
- äänestys
- esittää
- lahjat
- ongelmia
- prosessi
- Prosessit
- käsittely
- toimittaa
- alue
- raaka
- julkaistu
- tarvitaan
- Esittelymateriaalit
- tulokset
- jatkaa
- Tuotto
- ajaa
- sama
- Tiedemies
- valittu
- palvelu
- Palvelut
- setti
- useat
- näyttää
- taitoja
- So
- ratkaisu
- Ratkaisumme
- jonkin verran
- Urheilu
- Kaupallinen
- itsenäinen
- alkoi
- alkaa
- Osavaltio
- huippu-
- Valtiot
- Tila
- verkkokaupasta
- varastot
- vahvuus
- onnistunut
- Tuetut
- Tukee
- joukkue-
- Telecom
- testi
- -
- kolmella
- kynnys
- Kautta
- aika
- työkalut
- ylin
- kohti
- raita
- Juna
- koulutus
- Muuttaa
- käyttää
- visio
- onko
- vaikka
- sisällä
- ilman
- Referenssit
- työnkulkuja
- kirjoittaminen
- Sinun