Izvajanje poskusov strojnega učenja (ML) v oblaku lahko obsega številne storitve in komponente. Sposobnost strukturiranja, avtomatizacije in sledenja poskusom ML je bistvena za omogočanje hitrega razvoja modelov ML. Z najnovejšim napredkom na področju avtomatiziranega strojnega učenja (AutoML), in sicer področja ML, ki je namenjeno avtomatizaciji procesov ML, lahko zgradite natančne modele odločanja, ne da bi potrebovali poglobljeno znanje ML. V tej objavi si ogledamo AutoGluon, odprtokodno ogrodje AutoML, ki omogoča izdelavo natančnih modelov ML s samo nekaj vrsticami Pythona.
AWS ponuja široko paleto storitev za upravljanje in izvajanje delovnih tokov ML, kar vam omogoča, da izberete rešitev glede na svoje sposobnosti in uporabo. Na primer, če že uporabljate Korak funkcije AWS za orkestriranje komponent porazdeljenih aplikacij lahko uporabite isto storitev za gradnjo in avtomatizacijo delovnih tokov ML. Druga orodja MLOps, ki jih ponuja AWS, vključujejo Amazonski cevovodi SageMaker, ki vam omogoča vgradnjo modelov ML Amazon SageMaker Studio z zmogljivostmi MLOps (kot so združljivost CI/CD, spremljanje modela in odobritve modela). Odprtokodna orodja, kot npr pretok zraka apache— na voljo prek AWS Delovni tokovi, ki jih upravlja Amazon za Apache Airflow—In KubeFlow, kot tudi hibridne rešitve, so prav tako podprte. Na primer, lahko upravljate vnos in obdelavo podatkov s funkcijami korakov, medtem ko usposabljate in uvajate svoje modele ML s SageMaker Pipelines.
V tej objavi prikazujemo, kako lahko tudi razvijalci brez strokovnega znanja o ML preprosto zgradijo in vzdržujejo najsodobnejše modele ML z uporabo AutoGluon na Amazon SageMaker in funkcije korakov za orkestriranje komponent poteka dela.
Po pregledu algoritma AutoGluon predstavljamo definicije delovnega toka skupaj s primeri in vadnica za kodo ki jih lahko uporabite za svoje podatke.
AutoGluon
AutoGluon je odprtokodno ogrodje AutoML, ki pospešuje sprejemanje ML z usposabljanjem natančnih modelov ML z le nekaj vrsticami kode Python. Čeprav se ta objava osredotoča na tabelarične podatke, vam AutoGluon omogoča tudi usposabljanje najsodobnejših modelov za klasifikacijo slik, zaznavanje objektov in klasifikacijo besedila. AutoGluon tabular ustvarja in združuje različne modele za iskanje optimalne rešitve.
Ekipa AutoGluon pri AWS je izdala a papirja ki predstavlja načela, ki strukturirajo knjižnico:
- Preprostost – Ustvarite lahko klasifikacijske in regresijske modele neposredno iz neobdelanih podatkov, ne da bi morali analizirati podatke ali izvajati inženiring funkcij
- Robustnost – Celoten proces usposabljanja bi moral uspeti, tudi če nekateri posamezni modeli odpovejo
- Predvidljiv čas – Dobite lahko optimalne rezultate v času, ki ga želite vložiti v usposabljanje
- Toleranca napak – Usposabljanje lahko prekinete in ga kadar koli nadaljujete, kar optimizira stroške, če proces poteka na spot slikah v oblaku
Za več podrobnosti o algoritmu glejte papirja izdala ekipa AutoGluon pri AWS.
Ko namestite Paket AutoGluon in njegovih odvisnosti je usposabljanje modela tako enostavno kot pisanje treh vrstic kode:
Ekipa AutoGluon je dokazala moč ogrodja z doseganjem lestvice najboljših 10 na več tekmovanjih Kaggle.
Pregled rešitev
Funkcije korakov uporabljamo za izvajanje delovnega toka ML, ki zajema usposabljanje, vrednotenje in uvajanje. Zasnova cevovoda omogoča hitre in nastavljive poskuse s spreminjanjem vhodnih parametrov, ki jih vnesete v cevovod med izvajanjem.
Cevovod lahko konfigurirate za izvajanje različnih delovnih tokov, kot so naslednji:
- Usposobite nov model ML in ga shranite v register modelov SageMaker, če na tej točki ni potrebna uvedba
- Namestite predhodno usposobljen model ML, bodisi za spletno (Končna točka SageMaker) ali brez povezave (Serijska preobrazba SageMaker) sklepanje
- Zaženite celoten cevovod za usposabljanje, ovrednotenje in uvajanje modela ML iz nič
Rešitve so sestavljene iz splošnega državni stroj (glejte naslednji diagram), ki orkestrira nabor dejanj, ki jih je treba izvesti na podlagi nabora vhodnih parametrov.
Koraki državnega stroja so naslednji:
- Prvi korak
IsTraining
odloči, ali bomo uporabili vnaprej usposobljen model ali usposobili model iz nič. Če uporabljate predhodno usposobljen model, stanje stroj preskoči na 7. korak. - Ko je potreben nov model ML,
TrainSteps
sproži drugi stroj stanja, ki izvede vsa potrebna dejanja in vrne rezultat trenutnemu stroju stanja. V naslednjem razdelku gremo podrobneje o stroju stanja usposabljanja. - Ko je usposabljanje končano,
PassModelName
shrani ime opravila usposabljanja na določeno lokacijo konteksta stroja stanja, da se ponovno uporabi v naslednjih stanjih. - Če je izbrana faza ocenjevanja,
IsEvaluation
preusmeri državni stroj proti veji vrednotenja. V nasprotnem primeru preskoči na 7. korak. - Faza ocenjevanja se nato izvede z uporabo AWS Lambda funkcija, ki jo prikliče
ModelValidation
korak. Funkcija Lambda pridobi zmogljivosti modela na testnem nizu in jih primerja s pragom, ki ga lahko konfigurira uporabnik in je določen v vhodnih parametrih. Naslednja koda je primer rezultatov vrednotenja: - Če vrednotenje modela pri
EvaluationResults
je uspešen, stanje stroj nadaljuje s končnimi koraki uvajanja. Če model deluje pod merili, ki jih določi uporabnik, se končni avtomat ustavi in uvedba se preskoči. - Če je izbrana uvedba,
IsDeploy
zažene tretji državni stroj skoziDeploySteps
, ki ga opisujemo kasneje v tej objavi. Če razmestitev ni potrebna, se stanje stroj tukaj ustavi.
Niz vzorcev vhodnih parametrov je na voljo na GitHub repo.
Državni stroj za usposabljanje
Stroj stanja za usposabljanje novega modela ML z uporabo AutoGluon je sestavljen iz dveh korakov, kot je prikazano v naslednjem diagramu. Prvi korak je usposabljanje SageMaker, ki ustvari model. Drugi shrani vnose v register modelov SageMaker.
Te korake lahko zaženete samodejno kot del glavnega stroja stanja ali kot samostojen proces.
Stroj stanja razmestitve
Poglejmo zdaj stroj stanja, namenjen fazi uvajanja (glejte naslednji diagram). Kot smo že omenili, arhitektura podpira spletno in nespletno uvajanje. Prvi obsega uvajanje končne točke SageMaker, medtem ko drugi izvaja opravilo paketnega preoblikovanja SageMaker.
Koraki izvedbe so naslednji:
ChoiceDeploymentMode
pogleda v vhodne parametre, da definira, kateri način razmestitve je potreben, in usmeri stanje stroj k ustrezni veji.- Če je izbrana končna točka,
EndpointConfig
korak določa njegovo konfiguracijo, medtem koCreateEndpoint
začne postopek dodeljevanja zahtevanih računalniških virov. Ta dodelitev lahko traja nekaj minut, zato se državni avtomat ustavi priWaitForEndpoint
in uporablja funkcijo Lambda za preverjanje stanja končne točke. - Medtem ko se končna točka konfigurira,
ChoiceEndpointStatus
se vrne vWaitForEndpoint
stanje, sicer še naprej bodisiDeploymentFailed
orDeploymentSucceeded
. - Če je izbrana uvedba brez povezave, avtomat stanja zažene opravilo paketnega preoblikovanja SageMaker, po katerem se avtomat stanja ustavi.
zaključek
Ta objava predstavlja cevovod, ki je enostaven za uporabo za orkestriranje delovnih tokov AutoML in omogočanje hitrih poskusov v oblaku, kar omogoča natančne rešitve ML, ne da bi zahtevali napredno znanje ML.
Ponujamo splošen cevovod kot tudi dva modularna, ki vam omogočata ločeno izvajanje usposabljanja in uvajanja, če je potrebno. Poleg tega je rešitev popolnoma integrirana s SageMakerjem, kar izkorišča njegove funkcije in računalniške vire.
Začnite s tem zdaj vadnica za kodo za uvedbo virov, predstavljenih v tej objavi, v vaš račun AWS in izvajanje vaših prvih poskusov AutoML.
O avtorjih
Federico Piccinini je arhitekt globokega učenja za Amazon Machine Learning Solutions Lab. Navdušuje ga strojno učenje, razložljiva umetna inteligenca in MLOps. Osredotoča se na oblikovanje cevovodov ML za stranke AWS. Izven dela se ukvarja s športom in pico.
Paolo Irrera je Data Scientist v Amazon Machine Learning Solutions Lab, kjer strankam pomaga pri reševanju poslovnih težav z ML in zmogljivostmi v oblaku. Ima doktorat iz računalniškega vida pri Telecom ParisTech v Parizu.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- sposobnost
- O meni
- Račun
- natančna
- čez
- dejavnosti
- Naslov
- Sprejetje
- napredno
- napredek
- AI
- algoritem
- vsi
- dodelitev
- Dovoli
- omogoča
- že
- Čeprav
- Amazon
- analizirati
- uporaba
- aplikacije
- Uporabi
- Arhitektura
- OBMOČJE
- avtomatizirati
- Avtomatizirano
- samodejno
- Avtomatizacija
- Na voljo
- AWS
- počutje
- spodaj
- izgradnjo
- poslovni
- Lahko dobiš
- Zmogljivosti
- izbran
- Razvrstitev
- Cloud
- Koda
- združljivost
- Tekmovanja
- dokončanje
- deli
- računalnik
- računalništvo
- konfiguracija
- se nadaljuje
- Ustrezno
- stroški
- ustvarjajo
- ustvari
- Merila
- Trenutna
- Trenutno stanje
- Stranke, ki so
- datum
- podatkovni znanstvenik
- namenjen
- globoko
- razporedi
- uvajanja
- uvajanje
- opisati
- Oblikovanje
- oblikovanje
- Podatki
- Podrobnosti
- Odkrivanje
- Razvijalci
- Razvoj
- drugačen
- neposredno
- porazdeljena
- enostavno
- enostaven za uporabo
- omogočajo
- omogoča
- Končna točka
- bistvena
- oceniti
- Ocena
- Primer
- Primeri
- strokovno znanje
- FAST
- Feature
- Lastnosti
- prva
- Osredotoča
- po
- sledi
- Okvirni
- iz
- funkcija
- funkcije
- splošno
- ob
- Pomaga
- tukaj
- drži
- Kako
- HTTPS
- Hybrid
- slika
- slike
- izvajati
- Izvajanje
- izvajali
- vključujejo
- individualna
- vhod
- namestitev
- integrirana
- IT
- Job
- znanje
- lab
- Zadnji
- učenje
- Knjižnica
- linije
- kraj aktivnosti
- Poglej
- stroj
- strojno učenje
- vzdrževati
- upravljanje
- upravlja
- omenjeno
- ML
- Model
- modeli
- Modularna
- spremljanje
- več
- več
- in sicer
- potrebno
- potrebujejo
- Naslednja
- ponujen
- Ponudbe
- offline
- na spletu
- Ostalo
- drugače
- Splošni
- lastne
- paris
- del
- strastno
- predstave
- izvajati
- faza
- Pizza
- Anketa
- predstaviti
- darila
- Težave
- Postopek
- Procesi
- obravnavati
- zagotavljajo
- območje
- Surovi
- sprosti
- obvezna
- viri
- Rezultati
- Nadaljuj
- vrne
- Run
- Enako
- Znanstvenik
- izbran
- Storitev
- Storitve
- nastavite
- več
- Prikaži
- spretnosti
- So
- Rešitev
- rešitve
- nekaj
- Šport
- Komercialni
- samostojna
- začel
- začne
- Država
- state-of-the-art
- Države
- Status
- trgovina
- trgovine
- moč
- uspešno
- Podprti
- Podpira
- skupina
- telecom
- Test
- O
- 3
- Prag
- skozi
- čas
- orodja
- vrh
- proti
- sledenje
- Vlak
- usposabljanje
- Transform
- uporaba
- Vizija
- ali
- medtem
- v
- brez
- delo
- delovnih tokov
- pisanje
- Vaša rutina za