Amazon SageMaker har annonsert støtten til tre nye fullføringskriterier for Amazon SageMaker automatisk modellinnstilling, og gir deg et ekstra sett med spaker for å kontrollere stoppkriteriene for innstillingsjobben når du finner den beste hyperparameterkonfigurasjonen for modellen din.
I dette innlegget diskuterer vi disse nye fullføringskriteriene, når de skal brukes, og noen av fordelene de gir.
SageMaker automatisk modellinnstilling
Automatisk modellinnstilling, også kalt hyperparameterinnstilling, finner den beste versjonen av en modell målt ved metrikken vi velger. Den spinner opp mange treningsjobber på datasettet som er gitt, ved å bruke den valgte algoritmen og spesifiserte hyperparameterområder. Hver treningsjobb kan fullføres tidlig når den objektive beregningen ikke forbedres nevneverdig, som er kjent som tidlig stopp.
Inntil nå var det begrensede måter å kontrollere den generelle tuningjobben på, for eksempel å spesifisere maksimalt antall treningsjobber. Valget av denne parameterverdien er imidlertid i beste fall heuristisk. En større verdi øker tuningkostnadene, og en mindre verdi gir kanskje ikke den beste versjonen av modellen til enhver tid.
SageMaker automatisk modellinnstilling løser disse utfordringene ved å gi deg flere fullføringskriterier for tuningjobben. Den brukes på innstillingsnivå i stedet for på hvert enkelt treningsjobbnivå, noe som betyr at den opererer på et høyere abstraksjonslag.
Fordeler med å justere kriterier for fullføring av jobb
Med bedre kontroll over når tuningjobben stopper, får du fordelen av kostnadsbesparelser ved å ikke la jobben kjøre over lengre perioder og være beregningsmessig dyr. Det betyr også at du kan sørge for at jobben ikke stopper for tidlig og at du får en tilstrekkelig god kvalitetsmodell som oppfyller dine mål. Du kan velge å stoppe innstillingsjobben når modellene ikke lenger forbedres etter et sett med iterasjoner eller når den estimerte gjenværende forbedringen ikke rettferdiggjør beregningsressursene og tiden.
I tillegg til det eksisterende maksimale antall opplæringsjobbgjennomføringskriterier MaksAntall Treningsjobber, automatisk modellinnstilling introduserer muligheten til å stoppe tuning basert på maksimal tuningtid, forbedringsovervåking og konvergensdeteksjon.
La oss utforske hvert av disse kriteriene.
Maksimal innstillingstid
Tidligere hadde du muligheten til å definere et maksimalt antall treningsjobber som en ressursgrenseinnstilling for å kontrollere innstillingsbudsjettet når det gjelder beregningsressurs. Dette kan imidlertid føre til unødvendig lengre eller kortere treningstider enn nødvendig eller ønsket.
Med tillegg av kriteriene for maksimal innstillingstid, kan du nå allokere treningsbudsjettet ditt i form av tid for å kjøre innstillingsjobben og automatisk avslutte jobben etter en spesifisert tidsperiode definert i sekunder.
Som vist ovenfor bruker vi MaxRuntimeInSeconds
for å definere innstillingstiden i sekunder. Å angi tidsbegrensningen for tuning hjelper deg med å begrense varigheten av tuning-jobben og også den anslåtte kostnaden for eksperimentet.
Den totale kostnaden før eventuell kontraktsrabatt kan estimeres med følgende formel:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Maksimal kjøretid i sekunder kan brukes til å binde kostnad og kjøretid. Det er med andre ord et fullføringskriterie for budsjettkontroll.
Denne funksjonen er en del av et ressurskontrollkriterium og tar ikke hensyn til modellenes konvergens. Som vi ser senere i dette innlegget kan disse kriteriene brukes i kombinasjon med andre stoppkriterier for å oppnå kostnadskontroll uten å ofre nøyaktigheten.
Ønsket målberegning
Et annet tidligere introdusert kriterium er å definere målmålet på forhånd. Kriteriene overvåker ytelsen til den beste modellen basert på en spesifikk målberegning og stopper tuning når modellene når den definerte terskelen i forhold til en spesifisert målberegning.
Med TargetObjectiveMetricValue
kriterier, kan vi instruere SageMaker om å slutte å justere modellen etter at den objektive beregningen for den beste modellen har nådd den angitte verdien:
I dette eksemplet blir vi instruert SageMaker om å slutte å justere modellen når den objektive metrikken til den beste modellen har nådd 0.95.
Denne metoden er nyttig når du har et spesifikt mål som du vil at modellen skal nå, for eksempel et visst nivå av nøyaktighet, presisjon, tilbakekalling, F1-score, AUC, loggtap og så videre.
Et typisk brukstilfelle for dette kriteriet vil være for en bruker som allerede er kjent med modellens ytelse ved gitte terskler. En bruker i utforskningsfasen kan først justere modellen med et lite delsett av et større datasett for å identifisere en tilfredsstillende evalueringsmetrisk terskel å målrette mot når han trener med hele datasettet.
Forbedringsovervåking
Dette kriteriet overvåker modellenes konvergens etter hver iterasjon og stopper justeringen hvis modellene ikke forbedres etter et definert antall treningsjobber. Se følgende konfigurasjon:
I dette tilfellet setter vi MaxNumberOfTrainingJobsNotImproving
til 10, som betyr at hvis den objektive metrikken slutter å forbedre seg etter 10 treningsjobber, vil tuningen bli stoppet og den beste modellen og metrikken rapportert.
Forbedringsovervåking bør brukes til å justere en avveining mellom modellkvalitet og total arbeidsflytvarighet på en måte som sannsynligvis kan overføres mellom forskjellige optimaliseringsproblemer.
Konvergensdeteksjon
Konvergensdeteksjon er et fullføringskriterie som lar automatisk modellinnstilling bestemme når innstillingen skal stoppes. Vanligvis vil automatisk modellinnstilling stoppe innstillingen når den anslår at ingen vesentlig forbedring kan oppnås. Se følgende konfigurasjon:
Kriteriene passer best når du i utgangspunktet ikke vet hvilke stoppinnstillinger du skal velge.
Det er også nyttig hvis du ikke vet hvilken målmålverdi som er rimelig for en god prediksjon gitt problemet og datasettet i hånden, og du heller vil ha tuning-jobben fullført når den ikke lenger forbedres.
Eksperimenter med en sammenligning av fullføringskriterier
I dette eksperimentet, gitt en regresjonsoppgave, kjører vi 3 tuning-eksperimenter for å finne den optimale modellen innenfor et søkerom på 2 hyperparametre med totalt 200 hyperparameterkonfigurasjoner ved å bruke direkte markedsføring datasett.
Med alt annet likt, ble den første modellen innstilt med BestObjectiveNotImproving
fullføringskriterier ble den andre modellen innstilt med CompleteOnConvergence
og den tredje modellen ble innstilt uten fullføringskriterier definert.
Når vi beskriver hver jobb, kan vi observere at innstillingen BestObjectiveNotImproving
kriteriene har ført til den mest optimale ressursen og tiden i forhold til den objektive beregningen med betydelig færre jobber.
De CompleteOnConvergence
kriterier var også i stand til å stoppe tuning halvveis i eksperimentet, noe som resulterte i færre treningsjobber og kortere treningstid sammenlignet med å ikke sette et kriterium.
Selv om det ikke ble satt noen fullføringskriterier resulterte i et kostbart eksperiment, men definering av MaxRuntimeInSeconds
som en del av ressursgrensen vil være en måte å minimere kostnadene på.
Resultatene ovenfor viser at når Amazon SageMaker definerer et fullføringskriterium, er det i stand til å stoppe innstillingsprosessen på en intelligent måte når den oppdager at modellen er mindre sannsynlig å forbedre seg utover det nåværende resultatet.
Merk at fullføringskriteriene som støttes i SageMaker automatiske modellinnstilling ikke utelukker hverandre og kan brukes samtidig ved innstilling av en modell.
Når mer enn ett fullføringskriterie er definert, fullføres innstillingsjobben når noen av kriteriene er oppfylt.
For eksempel kan en kombinasjon av ressursgrensekriterier som maksimal innstillingstid med konvergenskriterier, for eksempel forbedringsovervåking eller konvergensdeteksjon, gi en optimal kostnadskontroll og en optimal objektiv metrikk.
konklusjonen
I dette innlegget diskuterte vi hvordan du nå intelligent kan stoppe tuningjobben din ved å velge et sett med fullføringskriterier som nylig er introdusert i SageMaker, for eksempel maksimal tuningtid, forbedringsovervåking eller konvergensdeteksjon.
Vi demonstrerte med et eksperiment at intelligent stopp basert på forbedringsobservasjon på tvers av iterasjoner kan føre til et betydelig optimalisert budsjett og tidsstyring sammenlignet med å ikke definere et fullføringskriterie.
Vi viste også at disse kriteriene ikke utelukker hverandre og kan brukes samtidig når man justerer en modell, for å dra nytte av begge deler, budsjettkontroll og optimal konvergens.
For mer informasjon om hvordan du konfigurerer og kjører automatisk modellinnstilling, se Spesifiser innstillingene for Hyperparameter Tuning Job Settings.
Om forfatterne
Doug Mbaya er en Senior Partner Solution arkitekt med fokus på data og analyse. Doug jobber tett med AWS-partnere, og hjelper dem med å integrere data- og analyseløsninger i skyen.
Chaitra Mathur er en hovedløsningsarkitekt ved AWS. Hun veileder kunder og partnere i å bygge svært skalerbare, pålitelige, sikre og kostnadseffektive løsninger på AWS. Hun er lidenskapelig opptatt av maskinlæring og hjelper kundene med å oversette ML-behovene deres til løsninger som bruker AWS AI/ML-tjenester. Hun har 5 sertifiseringer inkludert ML Specialty-sertifiseringen. På fritiden liker hun å lese, yoga og tilbringe tid med døtrene sine.
Iaroslav Shcherbatyi er maskinlæringsingeniør ved AWS. Han jobber hovedsakelig med forbedringer av Amazon SageMaker-plattformen og hjelper kundene best mulig å bruke funksjonene. På fritiden liker han å gå på treningsstudio, drive med utendørssport som skøyter eller fotturer, og å ta igjen ny AI-forskning.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- I stand
- Om oss
- ovenfor
- Logg inn
- nøyaktighet
- Oppnå
- oppnådd
- tvers
- tillegg
- Ytterligere
- Fordel
- Etter
- AI
- ai forskning
- AI / ML
- algoritme
- Alle
- allerede
- Amazon
- Amazon SageMaker
- beløp
- analytics
- og
- anvendt
- Automatisk
- automatisk
- AWS
- basert
- før du
- være
- nytte
- Fordeler
- BEST
- Bedre
- mellom
- Beyond
- Bound
- bringe
- budsjett
- Bygning
- som heter
- saken
- Catch
- viss
- sertifisering
- sertifiseringer
- utfordringer
- Velg
- valgt ut
- tett
- Cloud
- kombinasjon
- sammenlignet
- sammenligning
- fullføre
- Terminado
- Fullfører
- ferdigstillelse
- Beregn
- Konfigurasjon
- kontroll
- Konvergens
- Kostnad
- kostnadsbesparelser
- kostnadseffektiv
- Kostnader
- kunne
- kriterier
- Gjeldende
- Kunder
- dato
- definert
- definere
- demonstrert
- ønsket
- detaljer
- Gjenkjenning
- forskjellig
- Rabatt
- diskutere
- diskutert
- ikke
- ikke
- hver enkelt
- Tidlig
- aktivert
- ingeniør
- sikre
- anslått
- estimater
- evaluering
- alt
- eksempel
- Eksklusiv
- eksisterende
- dyrt
- eksperiment
- leting
- utforske
- kjent
- Trekk
- Egenskaper
- Finn
- finne
- funn
- Først
- Fokus
- etter
- formel
- fullt
- generelt
- få
- gitt
- Giving
- Go
- mål
- god
- Guider
- gym
- å ha
- hjelpe
- hjelper
- høyere
- svært
- holder
- Hvordan
- Hvordan
- Men
- HTML
- HTTPS
- Optimalisering av hyperparameter
- Innstilling av hyperparameter
- ICE
- identifisere
- forbedre
- forbedring
- forbedringer
- bedre
- in
- I andre
- Inkludert
- øker
- individuelt
- i utgangspunktet
- integrere
- Intelligent
- introdusert
- Introduserer
- IT
- køyring
- gjentakelser
- Jobb
- Jobb
- Vet
- kjent
- større
- lag
- føre
- læring
- Led
- Lar
- Nivå
- Sannsynlig
- BEGRENSE
- Begrenset
- lenger
- maskin
- maskinlæring
- ledelse
- mange
- Marketing
- max
- Maksimer
- maksimal
- midler
- møter
- metode
- metrisk
- Metrics
- minimere
- ML
- modell
- modeller
- overvåking
- skjermer
- mer
- mest
- flere
- gjensidig
- behov
- Ny
- Antall
- Målet
- mål
- observere
- ONE
- opererer
- optimal
- optimalisering
- optimalisert
- Alternativ
- Annen
- samlet
- parameter
- del
- partner
- partnere
- lidenskapelig
- ytelse
- perioder
- fase
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Post
- Precision
- prediksjon
- tidligere
- Principal
- Problem
- problemer
- prosess
- produsere
- anslått
- forutsatt
- gi
- kvalitet
- å nå
- nådd
- Lesning
- rimelig
- forhold
- pålitelig
- rapportert
- forskning
- ressurs
- Ressurser
- resultere
- resulterende
- Resultater
- Kjør
- ofre
- sagemaker
- SageMaker Automatisk modellinnstilling
- Besparelser
- skalerbar
- Søk
- Sekund
- sekunder
- sikre
- velge
- utvalg
- senior
- Tjenester
- sett
- innstilling
- innstillinger
- bør
- Vis
- signifikant
- betydelig
- liten
- mindre
- So
- løsning
- Solutions
- løser
- noen
- Rom
- Spesialitet
- spesifikk
- spesifisert
- utgifter
- spins
- Sports
- Stopp
- stoppet
- stoppe
- Stopper
- slik
- støtte
- Støttes
- Støtter
- Ta
- Target
- Oppgave
- vilkår
- De
- deres
- Tredje
- tre
- terskel
- Gjennom
- tid
- ganger
- til
- også
- Totalt
- Kurs
- oversette
- typisk
- bruke
- bruk sak
- Bruker
- validering
- verdi
- versjon
- måter
- Hva
- hvilken
- HVEM
- vil
- innenfor
- uten
- ord
- virker
- ville
- Utbytte
- yoga
- Du
- Din
- zephyrnet