Masinõppe (ML) katsete käitamine pilves võib hõlmata paljusid teenuseid ja komponente. ML-i eksperimentide struktureerimise, automatiseerimise ja jälgimise võimalus on oluline ML-mudelite kiireks arendamiseks. Uusimate edusammudega automatiseeritud masinõppe (AutoML) valdkonnas, nimelt ML-i valdkonnaga, mis on pühendatud ML-protsesside automatiseerimisele, saate luua täpseid otsustusmudeleid ilma sügavaid ML-teadmisi vajamata. Selles postituses vaatleme AutoGluoni, avatud lähtekoodiga AutoML-i raamistikku, mis võimaldab teil luua täpseid ML-mudeleid vaid mõne Pythoni reaga.
AWS pakub laia valikut teenuseid ML-i töövoogude haldamiseks ja käitamiseks, võimaldades teil valida oma oskuste ja rakenduste põhjal lahenduse. Näiteks kui te juba kasutate AWS-i astmefunktsioonid hajutatud rakenduste komponentide korraldamiseks saate kasutada sama teenust oma ML-i töövoogude koostamiseks ja automatiseerimiseks. Muud AWS-i pakutavad MLOps-tööriistad hõlmavad Amazon SageMakeri torujuhtmed, mis võimaldab teil luua ML-mudeleid Amazon SageMaker Studio MLOps-võimalustega (nagu CI/CD ühilduvus, mudeli jälgimine ja mudelite kinnitused). Avatud lähtekoodiga tööriistad, nt Apache õhuvool-saadaval AWS-i kaudu Amazoni hallatavad töövood Apache Airflow jaoks—Ja KubeFlow, aga ka hübriidlahendusi. Näiteks saate hallata andmete sisestamist ja töötlemist Step Functions'iga, samal ajal treenides ja juurutades oma ML-mudeleid SageMakeri torujuhtmetega.
Selles postituses näitame, kuidas isegi ML-i teadmisteta arendajad saavad hõlpsasti luua ja hooldada tipptasemel ML-mudeleid, kasutades AutoGluoni. Amazon SageMaker ja astmefunktsioonid töövoo komponentide korraldamiseks.
Pärast AutoGluoni algoritmi ülevaadet esitame töövoo definitsioonid koos näidete ja koodi õpetus mida saate oma andmetele rakendada.
AutoGluon
AutoGluon on avatud lähtekoodiga AutoML-i raamistik, mis kiirendab ML-i kasutuselevõttu, treenides täpseid ML-mudeleid vaid mõne Pythoni koodireaga. Kuigi see postitus keskendub tabeliandmetele, võimaldab AutoGluon koolitada ka tipptasemel mudeleid piltide klassifitseerimiseks, objektide tuvastamiseks ja tekstide klassifitseerimiseks. AutoGluon tabel loob ja kombineerib erinevaid mudeleid, et leida optimaalne lahendus.
AWS-i AutoGluoni meeskond avaldas a paber mis esitab raamatukogu ülesehituse põhimõtted:
- Lihtsus – Saate luua klassifitseerimis- ja regressioonimudeleid otse toorandmetest, ilma et peaksite andmeid analüüsima või funktsioonide projekteerimist tegema
- Tugevus – Üldine koolitusprotsess peaks õnnestuma isegi siis, kui mõned üksikud mudelid ebaõnnestuvad
- Ettenähtav ajastus – Saate saavutada optimaalseid tulemusi aja jooksul, mille soovite treenimiseks investeerida
- Veataluvus - Saate koolituse igal ajal peatada ja jätkata, mis optimeerib kulusid, kui protsess töötab pilves olevate punktkujutiste alusel
Algoritmi kohta lisateabe saamiseks vaadake paber välja antud AWS-i AutoGluoni meeskonna poolt.
Pärast installimist AutoGluoni pakett ja selle sõltuvuste põhjal on mudeli koolitamine sama lihtne kui kolme koodirea kirjutamine:
AutoGluoni meeskond tõestas raamistiku tugevust, jõudes mitmel Kaggle'i võistlusel edetabeli 10 parima hulka.
Lahenduse ülevaade
Kasutame Step Functions ML-i töövoo rakendamiseks, mis hõlmab koolitust, hindamist ja juurutamist. Konveieri disain võimaldab kiireid ja konfigureeritavaid katseid, muutes sisendparameetreid, mida konveierisse tööajal sisestate.
Saate konfigureerida konveieri erinevate töövoogude rakendamiseks, näiteks järgmised.
- Treenige uus ML-mudel ja salvestage see SageMakeri mudeliregistrisse, kui praegu pole juurutamist vaja
- Juurutage eelkoolitatud ML-mudel kas võrgus (SageMakeri lõpp-punkt) või võrguühenduseta (SageMakeri partii teisendus) järeldus
- Käivitage täielik torujuhe, et koolitada, hinnata ja juurutada ML-mudelit nullist
Lahendused koosnevad üldisest olekumasin (vt järgmist diagrammi), mis korraldab sisendparameetrite komplekti alusel käivitatavate toimingute komplekti.
Olekumasina etapid on järgmised:
- Esimene samm
IsTraining
otsustab, kas kasutame eelkoolitatud mudelit või õpetame mudelit nullist välja. Kui kasutate eelkoolitatud mudelit, liigub olekumasin 7. sammu juurde. - Kui on vaja uut ML-mudelit,
TrainSteps
käivitab teise olekumasina, mis teeb kõik vajalikud toimingud ja tagastab tulemuse praegusele olekumasinale. Treeningolekumasinat käsitleme üksikasjalikumalt järgmises jaotises. - Kui treening on lõppenud,
PassModelName
salvestab koolitustöö nime olekumasina konteksti määratud asukohta, et seda järgmistes olekutes uuesti kasutada. - Kui valitakse hindamisfaas,
IsEvaluation
suunab olekumasina ümber hindamisharu. Vastasel juhul liigub see 7. sammu juurde. - Seejärel rakendatakse hindamisfaasi kasutades AWS Lambda poolt välja kutsutud funktsioon
ModelValidation
samm. Lambda funktsioon hangib testikomplekti mudeli jõudluse ja võrdleb seda sisendparameetrites määratud kasutaja seadistatava lävega. Järgmine kood on näide hindamistulemustest: - Kui mudeli hindamine kl
EvaluationResults
on edukas, jätkab olekumasin võimalike juurutamisetappidega. Kui mudel töötab allpool kasutaja määratud kriteeriume, peatub olekumasin ja juurutamine jäetakse vahele. - Kui on valitud juurutamine,
IsDeploy
käivitab läbi kolmanda oleku masinaDeploySteps
, mida kirjeldame selles postituses hiljem. Kui juurutamist pole vaja, peatub olekumasin siin.
Sisendparameetri näidiste komplekt on saadaval saidil GitHub repo.
Treeningu olekumasin
AutoGluoni abil uue ML-mudeli treenimise olekumasin koosneb kahest etapist, nagu on näidatud järgmisel diagrammil. Esimene samm on SageMakeri koolitustöö, mis loob mudeli. Teine salvestab kirjed SageMakeri mudeliregistrisse.
Saate neid toiminguid käivitada kas automaatselt põhiolekumasina osana või eraldiseisva protsessina.
Kasutuselevõtu olekumasin
Vaatame nüüd kasutuselevõtufaasile pühendatud olekumasinat (vt järgmist diagrammi). Nagu varem mainitud, toetab arhitektuur nii võrgu- kui ka võrguühenduseta juurutamist. Esimene hõlmab SageMakeri lõpp-punkti juurutamist, samas kui teine käitab SageMakeri partii teisendustööd.
Rakendamise etapid on järgmised:
ChoiceDeploymentMode
uurib sisendparameetreid, et määratleda, millist juurutusrežiimi on vaja, ja suunab olekumasina vastava haru poole.- Kui valitakse lõpp-punkt, siis
EndpointConfig
samm määrab selle konfiguratsiooni, samasCreateEndpoint
alustab vajalike arvutusressursside eraldamise protsessi. See eraldamine võib võtta mitu minutit, nii et olekumasin peatub kellWaitForEndpoint
ja kasutab lõpp-punkti oleku küsitlemiseks lambda funktsiooni. - Lõpp-punkti konfigureerimise ajal
ChoiceEndpointStatus
naasebWaitForEndpoint
olekut, vastasel juhul jätkab see kumbagiDeploymentFailed
orDeploymentSucceeded
. - Kui on valitud võrguühenduseta juurutamine, käivitab olekumasin SageMakeri pakkteisendustöö, mille järel olekumasin peatub.
Järeldus
See postitus esitleb lihtsalt kasutatavat konveieri AutoML-i töövoogude korraldamiseks ja kiirete eksperimentide võimaldamiseks pilves, võimaldades täpseid ML-lahendusi ilma täiendavaid ML-teadmisi nõudmata.
Pakume nii üldist torustikku kui ka kahte modulaarset torustikku, mis võimaldavad vajadusel koolitust ja kasutuselevõttu eraldi läbi viia. Lisaks on lahendus täielikult integreeritud SageMakeriga, saades kasu selle funktsioonidest ja arvutusressurssidest.
Alustage sellega kohe koodi õpetus et juurutada selles postituses esitatud ressursid oma AWS-i kontole ja käivitada oma esimesed AutoML-i katsed.
Autoritest
Federico Piccinini on Amazoni masinõppelahenduste labori süvaõppe arhitekt. Ta on kirglik masinõppe, seletatava AI ja MLO-de vastu. Ta keskendub AWS-i klientidele mõeldud ML torujuhtmete projekteerimisele. Väljaspool tööd naudib ta sporti ja pitsat.
Paolo Irrera on andmeteadlane Amazoni masinõppelahenduste laboris, kus ta aitab klientidel lahendada ML-i ja pilvevõimalustega seotud äriprobleeme. Tal on doktorikraad arvutinägemise alal Pariisis Telecom ParisTechis.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- võime
- MEIST
- konto
- täpne
- üle
- meetmete
- aadress
- Vastuvõtmine
- edasijõudnud
- edusammud
- AI
- algoritm
- Materjal: BPA ja flataatide vaba plastik
- eraldamine
- Lubades
- võimaldab
- juba
- Kuigi
- Amazon
- analüüsima
- taotlus
- rakendused
- kehtima
- arhitektuur
- PIIRKOND
- automatiseerima
- Automatiseeritud
- automaatselt
- Automaatika
- saadaval
- AWS
- on
- alla
- ehitama
- äri
- Saab
- võimeid
- valitud
- klassifikatsioon
- Cloud
- kood
- ühilduvus
- Võistlused
- täitma
- komponendid
- arvuti
- arvutustehnika
- konfiguratsioon
- pidev
- Vastav
- kulud
- looma
- loob
- kriteeriumid
- Praegune
- Praegune olek
- Kliendid
- andmed
- andmeteadlane
- pühendunud
- sügav
- juurutada
- juurutamine
- kasutuselevõtu
- kirjeldama
- Disain
- projekteerimine
- detail
- detailid
- Detection
- Arendajad
- & Tarkvaraarendus
- erinev
- otse
- jagatud
- kergesti
- lihtne-to-use
- võimaldama
- võimaldab
- Lõpp-punkt
- oluline
- hindama
- hindamine
- näide
- näited
- teadmised
- KIIRE
- tunnusjoon
- FUNKTSIOONID
- esimene
- keskendub
- Järel
- järgneb
- Raamistik
- Alates
- funktsioon
- funktsioonid
- Üldine
- võttes
- aitab
- siin
- omab
- Kuidas
- HTTPS
- hübriid
- pilt
- pildid
- rakendada
- täitmine
- rakendatud
- sisaldama
- eraldi
- sisend
- paigaldama
- integreeritud
- IT
- töö
- teadmised
- labor
- hiljemalt
- õppimine
- Raamatukogu
- liinid
- liising
- Vaata
- masin
- masinõpe
- säilitada
- juhtima
- juhitud
- mainitud
- ML
- mudel
- mudelid
- modulaarne
- järelevalve
- rohkem
- mitmekordne
- nimelt
- vajalik
- vajav
- järgmine
- pakutud
- Pakkumised
- offline
- Internetis
- Muu
- muidu
- üldine
- enda
- Paris
- osa
- kirglik
- etendused
- esitades
- faas
- pitsa
- küsitlus
- esitada
- kingitusi
- probleeme
- protsess
- Protsessid
- töötlemine
- anda
- valik
- Töötlemata
- vabastatud
- nõutav
- Vahendid
- Tulemused
- Jätka
- Tulu
- jooks
- sama
- teadlane
- väljavalitud
- teenus
- Teenused
- komplekt
- mitu
- näitama
- oskused
- So
- lahendus
- Lahendused
- mõned
- sport
- Kaubandus-
- standalone
- alustatud
- algab
- riik
- modernne
- Ühendriigid
- olek
- salvestada
- kauplustes
- tugevus
- edukas
- Toetatud
- Toetab
- meeskond
- telekommunikatsiooni
- test
- .
- kolm
- künnis
- Läbi
- aeg
- töövahendid
- ülemine
- suunas
- jälgida
- Rong
- koolitus
- Muutma
- kasutama
- nägemus
- kas
- kuigi
- jooksul
- ilma
- Töö
- Töövoogud
- kirjutamine
- Sinu